Data Engineer

Agap2 Italia; Lodi; In loco; EUR 27.000 - 30.000; Tempo pieno

Vantaggi offerti da questo lavoro

Ambiente dinamico

Collaborazioni in P.Iva

Descrizione del lavoro

AGAP2 Italia cerca Data Engineer con esperienza AWS per ruolo completamente remoto. Sarai parte di un team dedicato alla progettazione e all'evoluzione di pipeline dati scalabili, utilizzando servizi serverless e Docker, con focus su Data Lake e governance.

Ti occuperai di sviluppare API in Python (FastAPI), definire architetture, ottimizzare costi e sicurezza, e collaborare con il team per migliorare la piattaforma cloud. Offriamo crescita professionale e possibilità di collaborazione in P. IVA.

Competenze

• Esperienza in AWS serverless e containerizzazione in contesti produttivi.
• Conoscenza approfondita di Lambda, Step Functions, Glue, S3 ed ECS/ECR.
• Ottima padronanza di Python e sviluppo con type hints.
• Esperienza concreta di Data Engineering su AWS e conoscenza di Glue, Athena, S3 e architetture Data Lake.
• Solide competenze nella progettazione, gestione e ottimizzazione di database RDS e database analitici.
• Esperienza con Infrastructure as Code e conoscenza di Pulumi, preferibilmente utilizzato con Python.
• Conoscenza di Data Governance, catalogazione, metadata management e data lineage.
• Esperienza nell'implementazione di soluzioni di observability attraverso metriche, log e sistemi di alerting.
• Conoscenza dei principali principi di sicurezza cloud, IAM, gestione dei secret e least privilege.
• Buona conoscenza di Linux e dimestichezza con la linea di comando.
• Capacità di analizzare e ottimizzare costi e consumi in ambiente AWS.
• Buone capacità di problem solving, autonomia e collaborazione in team tecnici.

Mansioni

• Progettare e sviluppare pipeline dati end-to-end su AWS.
• Realizzare architetture Data Lake con S3, Glue e Athena.
• Sviluppare servizi e API in Python, principalmente attraverso FastAPI, e applicazioni containerizzate con Docker.
• Progettare ETL/ELT robusti, scalabili e idempotenti.
• Progettare, amministrare e ottimizzare database RDS e database analitici.
• Gestire Data Governance, catalogazione, metadata management e data lineage attraverso Glue Data Catalog e DataZone.
• Integrare differenti sorgenti dati attraverso strumenti come AppFlow e DMS.
• Implementare sistemi di observability tramite Grafana, metriche, logging strutturato e alerting.
• Applicare le best practice di sicurezza AWS, con particolare attenzione a IAM, gestione dei secret e principio del minimo privilegio.
• Gestire e ottimizzare i costi e l'utilizzo delle risorse AWS.
• Utilizzare strumenti di Infrastructure as Code, in particolare Pulumi con Python, gestendo moduli, stato e differenti ambienti.
• Collaborare all'evoluzione dell'architettura cloud e al miglioramento continuo della piattaforma.

Conoscenze

AWS serverless

Python

Data Governance

Data Lake

ETL/ELT

Observability

Cost optimization AWS

Containerization (Docker)

Pulumi (Python)

IAM / Security

Strumenti

AWS Lambda

Step Functions

Glue

Athena

S3

ECS

ECR

Pulumi

FastAPI

DataZone

AppFlow

DMS

Descrizione del lavoro

CHI SIAMO?

Se pensa di essere il profilo ideale per la seguente opportunità, si candidi dopo aver letto la descrizione completa.

POSIZIONE: DATA ENGINEER – FULL REMOTE

1. IL TUO RUOLO

• Entrerai a far parte di un team tecnico dedicato alla progettazione e all'evoluzione di piattaforme dati moderne e scalabili in ambiente AWS.
• Ti occuperai della progettazione e dello sviluppo di pipeline dati end-to-end, utilizzando principalmente servizi serverless e containerizzati.
• Sarai coinvolto nella realizzazione di soluzioni di Data Engineering e Data Lake, garantendo qualità, resilienza, scalabilità e affidabilità del dato.
• Svilupperai servizi e API in Python e applicazioni containerizzate, collaborando alle scelte architetturali e all'evoluzione della piattaforma.
• Ti occuperai anche di Data Governance, catalogazione, metadata management e data lineage.
• Avrai un ruolo attivo nell'ottimizzazione delle performance, della sicurezza e dei costi della piattaforma cloud.

2. LE TUE MANSIONI

• Progettare e sviluppare pipeline dati end-to-end su AWS attraverso servizi come Lambda, Step Functions, AWS Pipes, Glue, ECS ed ECR.
• Realizzare e gestire architetture Data Lake utilizzando tecnologie come S3, Glue e Athena.
• Sviluppare servizi e API in Python, principalmente attraverso FastAPI, e applicazioni containerizzate con Docker.
• Progettare ETL/ELT robusti, scalabili e idempotenti.
• Progettare, amministrare e ottimizzare database RDS e database analitici.
• Gestire attività di Data Governance, catalogazione, metadata management e data lineage attraverso Glue Data Catalog e DataZone.
• Integrare differenti sorgenti dati attraverso strumenti come AppFlow e DMS.
• Implementare sistemi di observability tramite Grafana, metriche, logging strutturato e alerting.
• Applicare le best practice di sicurezza AWS, con particolare attenzione a IAM, gestione dei secret e principio del minimo privilegio.
• Gestire e ottimizzare i costi e l'utilizzo delle risorse AWS.
• Utilizzare strumenti di Infrastructure as Code, in particolare Pulumi con Python, gestendo moduli, stato e differenti ambienti.
• Collaborare all'evoluzione dell'architettura cloud e al miglioramento continuo della piattaforma.

3. I REQUISITI

• Esperienza in ambiente AWS in contesti produttivi, con particolare focus su architetture serverless e container.
• Solida conoscenza di AWS Lambda, Step Functions, AWS Pipes, ECS ed ECR.
• Ottima conoscenza di Python, con esperienza nello sviluppo di codice strutturato, testato e con utilizzo di type hints.
• Esperienza concreta di Data Engineering su AWS e conoscenza di Glue, Athena, S3 e architetture Data Lake.
• Solide competenze nella progettazione, gestione e ottimizzazione di database RDS e database analitici.
• Esperienza con Infrastructure as Code e conoscenza di Pulumi, preferibilmente utilizzato con Python.
• Conoscenza di Data Governance, catalogazione, metadata management e data lineage.
• Esperienza nell'implementazione di soluzioni di observability attraverso metriche, log e sistemi di alerting.
• Conoscenza dei principali principi di sicurezza cloud, IAM, gestione dei secret e least privilege.
• Buona conoscenza di Linux e dimestichezza con la linea di comando.
• Capacità di analizzare e ottimizzare costi e consumi in ambiente AWS.
• Buone capacità di problem solving, autonomia e collaborazione in team tecnici.

Costituirà titolo preferenziale:

• Esperienza con Amazon Bedrock e soluzioni di GenAI/Foundation Models, inclusi RAG, agenti e integrazione di LLM.
• Conoscenza di Hasura e di architetture basate su GraphQL.
• Esperienza con AppFlow e DMS per l'integrazione e la migrazione dei dati.
• Conoscenza di Amazon DataZone e dei concetti di Data Mesh e Data Sharing.
• Esperienza nella progettazione di strategie di backup e disaster recovery su AWS.
• Conoscenza e applicazione dell'AWS Well-Architected Framework.
• Esperienza in contesti regolamentati come fintech, banking o insurance.
• Conoscenza di sistemi event-driven e tecnologie di streaming.

SEDE E MODALITÀ DI LAVORO

• Full Remote.
• È preferibile la disponibilità a recarsi presso la sede di Milano indicativamente 1 giorno al mese.

4. COSA OFFRIAMO

• La retribuzione per questo ruolo è compresa tra €27.000 e €30.000. La posizione è inquadrata nell'ambito del CCNL Commercio applicato dalla nostra società, a tempo indeterminato. Il posizionamento all'interno del range sarà definito in base alle competenze tecniche, all'esperienza specifica nel ruolo e agli esiti del processo di selezione, secondo criteri oggettivi e neutri. In presenza di profili con caratteristiche eccezionali rispetto al range indicato, potrà essere valutata una revisione previa approvazione interna.
• Valutiamo anche collaborazioni in P.Iva.
• Ambiente di lavoro dinamico e multidisciplinare, con reali possibilità di crescita professionale.
• Supporto continuo da parte del team tecnico e dei referenti di progetto.

The world needs you!

AGAP2 is an equal-opportunity employer and values diversity as a source of enrichment. We provide an inclusive work environment where every individual can contribute their unique strengths. xlwpduy

We welcome applications regardless of age, gender, nationality, disability, sexual orientation, religion, or marital status.

Special consideration is given to candidates belonging to protected categories under Articles 1 and 18 of Law 68/99.

Personal data will be processed in accordance with EU Regulation 2016/679.