Data Engineer

Siamo alla ricerca di un Data Engineer per la nostra divisione Data Lab. La risorsa sarà responsabile della progettazione, sviluppo e manutenzione di pipeline di dati end-to-end per l'analisi di Big Data. Lavorerà a stretto contatto con altri ingegneri e analisti per acquisire, trasformare, analizzare e visualizzare dati su larga scala.

Responsabilità:

1. Progettare, sviluppare e implementare pipeline di dati utilizzando Apache Spark, Hadoop e altri strumenti di Big Data.
2. Sviluppare e mantenere ETL (Extract, Transform, Load) per caricare dati da diverse sorgenti in data warehouse e data lake.
3. Ottimizzare le prestazioni delle pipeline di dati e dei sistemi di archiviazione dati.
4. Collaborare con data scientist e analisti per comprendere le loro esigenze e sviluppare soluzioni di analisi dati.
5. Sviluppare e mantenere report e dashboard per la visualizzazione dei dati.
6. Assicurare la qualità, la sicurezza e l'integrità dei dati.
7. Tenere aggiornate le proprie conoscenze sulle tecnologie di Big Data e sugli strumenti di analisi.

Requisiti fondamentali:

1. 2+ anni di esperienza lavorativa come Data Engineer.
2. Esperienza con Apache Spark, Hadoop, Hive, Pig e altri strumenti di Big Data.
3. Esperienza con GCP (Google Cloud Platform) e con la gestione di data warehouse e data lake su cloud.
4. Conoscenza di SQL e linguaggi di scripting come Python o Bash.
5. Capacità di progettazione e sviluppo di pipeline di dati end-to-end.
6. Capacità di ottimizzare le prestazioni delle pipeline di dati e dei sistemi di archiviazione dati.
7. Capacità di lavorare in modo indipendente e come parte di un team.

Qualifiche:

1. Laurea in Informatica, Ingegneria Informatica o Matematica.
2. Conoscenza professionale della lingua inglese.

Esperienza desiderabile:

1. Esperienza con GCP (Google Cloud Platform) e con la gestione di data warehouse e data lake su cloud.
2. Esperienza con strumenti di machine learning e deep learning.
3. Conoscenza di Docker e Kubernetes.
4. Esperienza con CI/CD (Continuous Integration/Continuous Delivery).