Remote Data Engineer — AWS Data Lake & Pipelines

Agap2 Italia; Lodi; In loco; EUR 27.000 - 30.000; Tempo pieno

Vantaggi offerti da questo lavoro

Ambiente dinamico

Collaborazioni in P.Iva

Descrizione del lavoro

AGAP2 Italia cerca Data Engineer con esperienza AWS per ruolo completamente remoto. Sarai parte di un team dedicato alla progettazione e all'evoluzione di pipeline dati scalabili, utilizzando servizi serverless e Docker, con focus su Data Lake e governance.

Ti occuperai di sviluppare API in Python (FastAPI), definire architetture, ottimizzare costi e sicurezza, e collaborare con il team per migliorare la piattaforma cloud. Offriamo crescita professionale e possibilità di collaborazione in P. IVA.

Competenze

• Esperienza in AWS serverless e containerizzazione in contesti produttivi.
• Conoscenza approfondita di Lambda, Step Functions, Glue, S3 ed ECS/ECR.
• Ottima padronanza di Python e sviluppo con type hints.
• Esperienza concreta di Data Engineering su AWS e conoscenza di Glue, Athena, S3 e architetture Data Lake.
• Solide competenze nella progettazione, gestione e ottimizzazione di database RDS e database analitici.
• Esperienza con Infrastructure as Code e conoscenza di Pulumi, preferibilmente utilizzato con Python.
• Conoscenza di Data Governance, catalogazione, metadata management e data lineage.
• Esperienza nell'implementazione di soluzioni di observability attraverso metriche, log e sistemi di alerting.
• Conoscenza dei principali principi di sicurezza cloud, IAM, gestione dei secret e least privilege.
• Buona conoscenza di Linux e dimestichezza con la linea di comando.
• Capacità di analizzare e ottimizzare costi e consumi in ambiente AWS.
• Buone capacità di problem solving, autonomia e collaborazione in team tecnici.

Mansioni

• Progettare e sviluppare pipeline dati end-to-end su AWS.
• Realizzare architetture Data Lake con S3, Glue e Athena.
• Sviluppare servizi e API in Python, principalmente attraverso FastAPI, e applicazioni containerizzate con Docker.
• Progettare ETL/ELT robusti, scalabili e idempotenti.
• Progettare, amministrare e ottimizzare database RDS e database analitici.
• Gestire Data Governance, catalogazione, metadata management e data lineage attraverso Glue Data Catalog e DataZone.
• Integrare differenti sorgenti dati attraverso strumenti come AppFlow e DMS.
• Implementare sistemi di observability tramite Grafana, metriche, logging strutturato e alerting.
• Applicare le best practice di sicurezza AWS, con particolare attenzione a IAM, gestione dei secret e principio del minimo privilegio.
• Gestire e ottimizzare i costi e l'utilizzo delle risorse AWS.
• Utilizzare strumenti di Infrastructure as Code, in particolare Pulumi con Python, gestendo moduli, stato e differenti ambienti.
• Collaborare all'evoluzione dell'architettura cloud e al miglioramento continuo della piattaforma.

Conoscenze

AWS serverless

Python

Data Governance

Data Lake

ETL/ELT

Observability

Cost optimization AWS

Containerization (Docker)

Pulumi (Python)

IAM / Security

Strumenti

AWS Lambda

Step Functions

Glue

Athena

S3

ECS

ECR

Pulumi

FastAPI

DataZone

AppFlow

DMS

Descrizione del lavoro

AGAP2 Italia cerca Data Engineer con esperienza AWS per ruolo completamente remoto. Sarai parte di un team dedicato alla progettazione e all'evoluzione di pipeline dati scalabili, utilizzando servizi serverless e Docker, con focus su Data Lake e governance.

Ti occuperai di sviluppare API in Python (FastAPI), definire architetture, ottimizzare costi e sicurezza, e collaborare con il team per migliorare la piattaforma cloud. Offriamo crescita professionale e possibilità di collaborazione in P. IVA.