Data Engineer

SolutionTech srl; Milano; In loco; EUR 45.000 - 65.000; Tempo pieno

Descrizione del lavoro

Una società tecnologica è alla ricerca di un Data Engineer esperto e motivato, specializzato nello sviluppo di pipeline dati in ambienti cloud, con competenze in AWS e Databricks. Il candidato ideale deve avere esperienza nella progettazione di soluzioni ETL/ELT, lavorare con architetture di Data Lakehouse in AWS, e sviluppare con Python o Scala. Offriamo un ambiente di lavoro dinamico e sfide stimolanti.

Competenze

• Pregressa esperienza nella progettazione e nello sviluppo di pipeline dati.
• Capacità di lavorare con architetture di Data Lakehouse e Data Warehouse.
• Ottima conoscenza di strumenti di monitoring e ottimizzazione.

Mansioni

• Progettare, sviluppare e mantenere pipeline ETL/ELT.
• Implementare soluzioni di Data Lakehouse in AWS e Databricks.
• Collaborare con i team DevOps per automatizzare l'infrastruttura dati.

Conoscenze

Esperienza in AWS

Competenze in Databricks

Sviluppo in Python

Sviluppo in Scala

Progettazione di pipeline ETL/ELT

Strumenti

AWS S3

AWS Redshift

Terraform

CloudFormation

Descrizione del lavoro

Siamo alla ricerca di un Data Engineeresperto e motivato, con un solido background nello sviluppo di pipeline dati scalabili e performanti in ambienti cloud. Il candidato ideale avrà una comprovata esperienza nell'ecosistema AWSe nell'utilizzo intensivo della piattaforma Databricksper la trasformazione e l'analisi dei Big Data.

Si richiede :

• Progettazione e Sviluppo di Pipeline Dati:Progettare, sviluppare e mantenere pipeline ETL/ELT robuste e scalabili utilizzando servizi AWS e Databricks.
• Architetture Dati Cloud:Implementare soluzioni di Data Lakehouse e Data Warehouse in AWS (es. S3, Redshift) e/o in Databricks
• Sviluppo su Databricks:Scrivere, ottimizzare e gestire codice in Pythono Scala(principalmente PySpark) all'interno di notebook Databricks per l'elaborazione di grandi volumi di dati.
• Infrastruttura e Operazioni:Collaborare con i team DevOps per automatizzare l'infrastruttura dati utilizzando strumenti IaaC (es. CloudFormation o Terraform) e garantire l'affidabilità, la sicurezza e la governance dei dati.
• Monitoraggio e Ottimizzazione:Monitorare le pipeline e i cluster Databricks per garantirne l'efficienza, l'ottimizzazione dei costi e le performance, intervenendo proattivamente per risolvere eventuali problematiche.