Data Engineer: Pipelines, Spark & Cloud (Hybrid)

CRAON; Milano; Ibrido; EUR 25.000 - 35.000; Tempo pieno

Descrizione del lavoro

CRAON cerca un Data Engineer da inserire in un contesto enterprise, con focus su pipeline dati scalabili, ETL/ELT e integrazione di dati da sistemi eterogenei. Sarà parte di un team specializzato e supporterà soluzioni moderne orientate al business.

Il candidato dovrà possedere esperienza con Python/Scala, SQL e strumenti Big Data (Spark/Hadoop/Hive/Cloudera), nonché competenze su AWS/Azure/GCP e servizi come BigQuery e Redshift. Preferita conoscenza di Docker e Kubernetes.

Competenze

• Esperienza 2-5 anni nella progettazione e gestione di pipeline dati scalabili ed performanti.
• Buona esperienza nello sviluppo con Python e/o Scala, SQL e database relazionali (PostgreSQL, MySQL).
• Competenze in piattaforme Big Data (Spark, Hadoop, Hive, Cloudera) e in architetture dati/ETL/ELT.
• Esperienza ambienti Cloud (AWS, Azure, GCP) e servizi dati (BigQuery, Redshift; servizi equivalenti).
• Conoscenza strumenti orchestrazione workflow e CI/CD; gestione versioning con Git.
• Preferibile conoscenza NoSQL (MongoDB, Cassandra); containerizzazione (Docker, Kubernetes).

Mansioni

• Progettare e sviluppare pipeline dati; realizzare processi ETL/ELT; integrare dati da sistemi eterogenei e ottimizzare performance.
• Collaborare con Data Engineer, Data Scientist, Software Engineer e stakeholder per soluzioni scalabili orientate al business.
• Garantire qualità, affidabilità e performance delle soluzioni implementate.

Conoscenze

Python

Scala

SQL

PostgreSQL

MySQL

Big Data

Apache Spark

Hadoop

Hive

Cloudera

AWS

Azure

GCP

BigQuery

Redshift

CI/CD

Git

Data Warehouse

Data modeling

Strumenti

Docker

Kubernetes

Descrizione del lavoro

CRAON cerca un Data Engineer da inserire in un contesto enterprise, con focus su pipeline dati scalabili, ETL/ELT e integrazione di dati da sistemi eterogenei. Sarà parte di un team specializzato e supporterà soluzioni moderne orientate al business.

Il candidato dovrà possedere esperienza con Python/Scala, SQL e strumenti Big Data (Spark/Hadoop/Hive/Cloudera), nonché competenze su AWS/Azure/GCP e servizi come BigQuery e Redshift. Preferita conoscenza di Docker e Kubernetes.