Data Engineer PySpark & Airflow - Hybrid Milano

BravoTime; Lombardia; Hybrid; EUR 62,000 - 90,000; Full time

Job summary

BravoTime ricerca un data engineer freelance per un incarico ibrido a Milano, integrando un team dati avviato. Si lavorerà su pipeline PySpark e orchestrazione con Airflow, con integrazione di nuove fonti dati tramite NiFi e attenzione a tempi/costi dei job sul cluster.

Il candidato ideale ha almeno 2 anni di esperienza come data engineer, una forte propensione all’apprendimento e capacità di risolvere problemi in ambienti complessi.

Qualifications

• Almeno 2 anni di esperienza come data engineer
• Conoscenza pratica di PySpark, Airflow e NiFi
• Disponibilità a lavoro ibrido su Milano

Responsibilities

• Sviluppare e mantenere pipeline di dati in PySpark
• Orchestrare i flussi con Airflow e gestirne gli errori
• Integrare nuove fonti di dati con Apache NiFi
• Ottimizzare tempi e costi dei job sul cluster
• Documentare flussi e trasformazioni per il resto del team

Tools

PySpark

Airflow

Apache NiFi

Cloudera

Kafka

Hive

Job description

BravoTime ricerca un data engineer freelance per un incarico ibrido a Milano, integrando un team dati avviato. Si lavorerà su pipeline PySpark e orchestrazione con Airflow, con integrazione di nuove fonti dati tramite NiFi e attenzione a tempi/costi dei job sul cluster.

Il candidato ideale ha almeno 2 anni di esperienza come data engineer, una forte propensione all’apprendimento e capacità di risolvere problemi in ambienti complessi.