Data Engineer PySpark / Big Data · Freelance

BravoTime; Lombardia; Hybrid; EUR 62,000 - 90,000; Full time

Job summary

BravoTime ricerca un data engineer freelance per un incarico ibrido a Milano, integrando un team dati avviato. Si lavorerà su pipeline PySpark e orchestrazione con Airflow, con integrazione di nuove fonti dati tramite NiFi e attenzione a tempi/costi dei job sul cluster.

Il candidato ideale ha almeno 2 anni di esperienza come data engineer, una forte propensione all’apprendimento e capacità di risolvere problemi in ambienti complessi.

Qualifications

• Almeno 2 anni di esperienza come data engineer
• Conoscenza pratica di PySpark, Airflow e NiFi
• Disponibilità a lavoro ibrido su Milano

Responsibilities

• Sviluppare e mantenere pipeline di dati in PySpark
• Orchestrare i flussi con Airflow e gestirne gli errori
• Integrare nuove fonti di dati con Apache NiFi
• Ottimizzare tempi e costi dei job sul cluster
• Documentare flussi e trasformazioni per il resto del team

Tools

PySpark

Airflow

Apache NiFi

Cloudera

Kafka

Hive

Job description

Cerchiamo un data engineer freelance, ibrido su Milano, per entrare in un team dati già avviato, su pipeline PySpark e orchestrazione con Airflow.

Attività previste

• Sviluppare e mantenere pipeline di dati in PySpark
• Orchestrare i flussi con Airflow e gestirne gli errori
• Integrare nuove fonti di dati con Apache NiFi
• Ottimizzare tempi e costi dei job sul cluster
• Documentare flussi e trasformazioni per il resto del team

Conoscenze richieste

• Almeno 2 anni come data engineer

Contano più la testa e la voglia di imparare della lista degli strumenti: se hai lavorato bene su Spark e NiFi o Airflow li conosci poco, candidati lo stesso.

Costituiranno un titolo preferenziale conoscenze di:

• Pagamenti digitali o pubblica amministrazione
• Cloudera
• Apache NiFi
• Airflow
• Kafka
• Hive

Le condizioni

• Dove: ibrido su Milano, con alcuni giorni in sede

Il processo di selezione

Il processo di selezione prevede di rispondere solo alle candidature compatibili, di solito entro 48 ore dall'invio. Dopodiché si svolgerà un colloquio conoscitivo e successivamente potranno esserci uno o due colloqui di approfondimento tecnico.