Data Engineer

Agap2 Italia; Terni; In loco; EUR 27.000 - 30.000; Tempo pieno

Descrizione del lavoro

AGAP2 ricerca un Data Engineer per progettare e evolvere pipeline dati su AWS in ambiente serverless e containerizzato. L’operatività è full remote, con disponibilità a recarsi in sede a Milano circa 1 giorno al mese.

Il candidato lavora su Data Lake, API in Python e governance dei dati, contribuendo all’ottimizzazione di sicurezza e costi. Richieste competenze su Pulumi e infrastruttura come codice.

Competenze

• Esperienza AWS con architetture serverless e container.
• Ottima conoscenza di Python con type hints e codice strutturato.
• Esperienza concreta di Data Engineering su AWS con Glue, Athena, S3 e Data Lake.
• Conoscenza di Infrastructure as Code (Pulumi) e gestione dei costi AWS.

Mansioni

• Progettare e sviluppare pipeline dati end-to-end su AWS usando Lambda, Step Functions, AWS Pipes, Glue, ECS ed ECR.
• Realizzare architetture Data Lake con S3, Glue e Athena.
• Sviluppare servizi e API in Python, principalmente con FastAPI, e applicazioni containerizzate (Docker).
• Gestire Data Governance, catalogazione, metadata management e data lineage.
• Implementare sistemi di observability tramite grafana, metriche, logging e alerting.
• Applicare pratiche di sicurezza AWS (IAM, secret management, least privilege).
• Gestire costi e utilizzo su AWS e utilizzare Pulumi per IaC.

Conoscenze

AWS

Python

Data pipelines

Docker

Strumenti

Pulumi

AWS Glue

AWS Athena

AppFlow

DMS

Descrizione del lavoro

Descrizione dell’offerta di lavoro

CHI SIAMO?

AGAP2 è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy. Presente in 14 Paesi europei con oltre 7.500 dipendenti, abbiamo aperto, da quattro anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, SORRISO, DINAMISMO, VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.

POSIZIONE: DATA ENGINEER – FULL REMOTE

1. IL TUO RUOLO

• Entrerai a far parte di un team tecnico dedicato alla progettazione e all’evoluzione di piattaforme dati moderne e scalabili in ambiente AWS.
• Ti occuperai della progettazione e dello sviluppo di pipeline dati end-to-end, utilizzando principalmente servizi serverless e containerizzati.
• Sarai coinvolto nella realizzazione di soluzioni di Data Engineering e Data Lake, garantendo qualità, resilienza, scalabilità e affidabilità del dato.
• Svilupperai servizi e API in Python e applicazioni containerizzate, collaborando alle scelte architetturali e all’evoluzione della piattaforma.
• Ti occuperai anche di Data Governance, catalogazione, metadata management e data lineage.
• Avrai un ruolo attivo nell’ottimizzazione delle performance, della sicurezza e dei costi della piattaforma cloud.

2. LE TUE MANSIONI

• Progettare e sviluppare pipeline dati end-to-end su AWS attraverso servizi come Lambda, Step Functions, AWS Pipes, Glue, ECS ed ECR.
• Realizzare e gestire architetture Data Lake utilizzando tecnologie come S3, Glue e Athena.
• Sviluppare servizi e API in Python, principalmente attraverso FastAPI, e applicazioni containerizzate con Docker.
• Progettare ETL/ELT robusti, scalabili e idempotenti.
• Progettare, amministrare e ottimizzare database RDS e database analitici.
• Gestire attività di Data Governance, catalogazione, metadata management e data lineage attraverso Glue Data Catalog e DataZone.
• Integrare differenti sorgenti dati attraverso strumenti come AppFlow e DMS.
• Implementare sistemi di observability tramite Grafana, metriche, logging strutturato e alerting.
• Applicare le best practice di sicurezza AWS, con particolare attenzione a IAM, gestione dei secret e principio del minimo privilegio.
• Gestire e ottimizzare i costi e l’utilizzo delle risorse AWS.
• Utilizzare strumenti di Infrastructure as Code, in particolare Pulumi con Python, gestendo moduli, stato e differenti ambienti.
• Collaborare all’evoluzione dell’architettura cloud e al miglioramento continuo della piattaforma.

3. I REQUISITI

• Esperienza in ambiente AWS in contesti produttivi, con particolare focus su architetture serverless e container.
• Solida conoscenza di AWS Lambda, Step Functions, AWS Pipes, ECS ed ECR.
• Ottima conoscenza di Python, con esperienza nello sviluppo di codice strutturato, testato e con utilizzo di type hints.
• Esperienza concreta di Data Engineering su AWS e conoscenza di Glue, Athena, S3 e architetture Data Lake.
• Solide competenze nella progettazione, gestione e ottimizzazione di database RDS e database analitici.
• Esperienza con Infrastructure as Code e conoscenza di Pulumi, preferibilmente utilizzato con Python.
• Conoscenza di Data Governance, catalogazione, metadata management e data lineage.
• Esperienza nell’implementazione di soluzioni di observability attraverso metriche, log e sistemi di alerting.
• Conoscenza dei principali principi di sicurezza cloud, IAM, gestione dei secret e least privilege.
• Buona conoscenza di Linux e dimestichezza con la linea di comando.
• Capacità di analizzare e ottimizzare costi e consumi in ambiente AWS.
• Buone capacità di problem solving, autonomia e collaborazione in team tecnici.

Costituirà titolo preferenziale:

• Esperienza con Amazon Bedrock e soluzioni di GenAI/Foundation Models, inclusi RAG, agenti e integrazione di LLM.
• Conoscenza di Hasura e di architetture basate su GraphQL.
• Esperienza con AppFlow e DMS per l’integrazione e la migrazione dei dati.
• Conoscenza di Amazon DataZone e dei concetti di Data Mesh e Data Sharing.
• Esperienza nella progettazione di strategie di backup e disaster recovery su AWS.
• Conoscenza e applicazione dell’AWS Well-Architected Framework.
• Esperienza in contesti regolamentati come fintech, banking o insurance.
• Conoscenza di sistemi event-driven e tecnologie di streaming.

SEDE E MODALITÀ DI LAVORO

• Full Remote.
• È preferibile la disponibilità a recarsi presso la sede di Milano indicativamente 1 giorno al mese.

4. COSA OFFRIAMO

• La retribuzione per questo ruolo è compresa tra €27.000 e €30.000. La posizione è inquadrata nell'ambito del CCNL Commercio applicato dalla nostra società, a tempo indeterminato. Il posizionamento all'interno del range sarà definito in base alle competenze tecniche, all'esperienza specifica nel ruolo e agli esiti del processo di selezione, secondo criteri oggettivi e neutri. In presenza di profili con caratteristiche eccezionali rispetto al range indicato, potrà essere valutata una revisione previa approvazione interna.
• Valutiamo anche collaborazioni in P.Iva.
• Ambiente di lavoro dinamico e multidisciplinare, con reali possibilità di crescita professionale.
• Supporto continuo da parte del team tecnico e dei referenti di progetto.

The world needs you!

AGAP2 is an equal-opportunity employer and values diversity as a source of enrichment. We provide an inclusive work environment where every individual can contribute their unique strengths.

We welcome applications regardless of age, gender, nationality, disability, sexual orientation, religion, or marital status.

Special consideration is given to candidates belonging to protected categories under Articles 1 and 18 of Law 68/99.

Personal data will be processed in accordance with EU Regulation 2016/679.