Data Engineer

Agap2 Italia; Bardi; In loco; EUR 27.000 - 30.000; Tempo pieno

Vantaggi offerti da questo lavoro

Collaborazioni PIva

Descrizione del lavoro

AGAP2 Italia cerca un Data Engineer per progettare e sviluppare pipeline dati su AWS, con focus su servizi serverless e container.

Ti occuperai di Data Lake, integrazione dati, data governance e observability, utilizzando Python e FastAPI in ambienti Docker. La sede è Milano, con full remote e possibilità di presenza mensile in sede.

Competenze

• Esperienza in ambiente AWS con architetture serverless e container.
• Conoscenza di AWS Lambda, Step Functions, AWS Pipes, ECS ed ECR.
• Ottima conoscenza di Python, codice strutturato e uso di type hints.
• Esperienza Data Engineering su AWS e conoscenza di Glue, Athena, S3 e architetture Data Lake.
• Competenze nella progettazione e gestione di database RDS e data warehouse.
• Conoscenza di Data Governance, catalogazione, metadata management e data lineage.
• Integrazione dati tramite AppFlow e DMS.
• Abilità observability con Grafana, metriche e logging.

Mansioni

• Progettare e sviluppare pipeline dati end-to-end su AWS con Lambda, Step Functions e Glue.
• Realizzare Data Lake su S3, Glue e Athena e gestire architetture scalabili.
• Sviluppare servizi e API in Python, preferibilmente FastAPI, in contesto containerizzato.
• Progettare ETL/ELT robusti, scalabili e idempotenti.
• Gestire Data Governance, metadata management e data lineage.
• Ottimizzare sicurezza, costi e prestazioni della piattaforma AWS.
• Utilizzare Pulumi per infrastruttura come codice e multi-ambiente.

Conoscenze

AWS serverless

Python development

Data pipelines

Data governance

Observability

Cloud security

IaC Pulumi

Data Lake

Docker

FastAPI

Strumenti

Docker

Pulumi

Glue

Athena

S3

ECS

ECR

AppFlow

DMS

Descrizione del lavoro

Descrizione dell’offerta di lavoro

CHI SIAMO?

AGAP2 è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy. Presente in 14 Paesi europei con oltre 7.500 dipendenti, abbiamo aperto, da quattro anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, SORRISO, DINAMISMO, VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.

POSIZIONE: DATA ENGINEER – FULL REMOTE

1. IL TUO RUOLO

• Entrerai a far parte di un team tecnico dedicato alla progettazione e all’evoluzione di piattaforme dati moderne e scalabili in ambiente AWS.
• Ti occuperai della progettazione e dello sviluppo di pipeline dati end-to-end, utilizzando principalmente servizi serverless e containerizzati.
• Sarai coinvolto nella realizzazione di soluzioni di Data Engineering e Data Lake, garantendo qualità, resilienza, scalabilità e affidabilità del dato.
• Svilupperai servizi e API in Python e applicazioni containerizzate, collaborando alle scelte architetturali e all’evoluzione della piattaforma.
• Ti occuperai anche di Data Governance, catalogazione, metadata management e data lineage.
• Avrai un ruolo attivo nell’ottimizzazione delle performance, della sicurezza e dei costi della piattaforma cloud.

2. LE MANSIONI

• Progettare e sviluppare pipeline dati end-to-end su AWS attraverso servizi come Lambda, Step Functions, AWS Pipes, Glue, ECS ed ECR.
• Realizzare e gestire architetture Data Lake utilizzando tecnologie come S3, Glue e Athena.
• Sviluppare servizi e API in Python, principalmente attraverso FastAPI, e applicazioni containerizzate con Docker.
• Progettare ETL/ELT robusti, scalabili e idempotenti.
• Progettare, amministrare e ottimizzare database RDS e database analitici.
• Gestire attività di Data Governance, catalogazione, metadata management e data lineage attraverso Glue Data Catalog e DataZone.
• Integrare differenti sorgenti dati attraverso strumenti come AppFlow e DMS.
• Implementare sistemi di observability tramite Grafana, metriche, logging strutturato e alerting.
• Applicare le best practice di sicurezza AWS, con particolare attenzione a IAM, gestione dei secret e principio del minimo privilegio.
• Gestire e ottimizzare i costi e l’utilizzo delle risorse AWS.
• Utilizzare strumenti di Infrastructure as Code, in particolare Pulumi con Python, gestendo moduli, stato e differenti ambienti.
• Collaborare all’evoluzione dell’architettura cloud e al miglioramento continuo della piattaforma.

3. I REQUISITI

• Esperienza in ambiente AWS in contesti produttivi, con particolare focus su architetture serverless e container.
• Solida conoscenza di AWS Lambda, Step Functions, AWS Pipes, ECS ed ECR.
• Ottima conoscenza di Python, con esperienza nello sviluppo di codice strutturato, testato e con utilizzo di type hints.
• Esperienza concreta di Data Engineering su AWS e conoscenza di Glue, Athena, S3 e architetture Data Lake.
• Solide competenze nella progettazione, gestione e ottimizzazione di database RDS e database analitici.
• Esperienza con Infrastructure as Code e conoscenza di Pulumi, preferibilmente utilizzato con Python.
• Conoscenza di Data Governance, catalogazione, metadata management e data lineage.
• Esperienza nell’implementazione di soluzioni di observability attraverso metriche, log e sistemi di alerting.
• Conoscenza dei principali principi di sicurezza cloud, IAM, gestione dei secret e least privilege.
• Buona conoscenza di Linux e dimestichezza con la linea di comando.
• Capacità di analizzare e ottimizzare costi e consumi in ambiente AWS.
• Buone capacità di problem solving, autonomia e collaborazione in team tecnici.

Costituirà titolo preferenziale:

• Esperienza con Amazon Bedrock e soluzioni di GenAI/Foundation Models, inclusi RAG, agenti e integrazione di LLM.
• Conoscenza di Hasura e di architetture basate su GraphQL.
• Esperienza con AppFlow e DMS per l’integrazione e la migrazione dei dati.
• Conoscenza di Amazon DataZone e dei concetti di Data Mesh e Data Sharing.
• Esperienza nella progettazione di strategie di backup e disaster recovery su AWS.
• Conoscenza e applicazione dell’AWS Well-Architected Framework.
• Esperienza in contesti regolamentati come fintech, banking o insurance.
• Conoscenza di sistemi event-driven e tecnologie di streaming.

SEDE E MODALITÀ DI LAVORO

• Full Remote.
• È preferibile la disponibilità a recarsi presso la sede di Milano indicativamente 1 giorno al mese.

4. COSA OFFRIAMO

• La retribuzione per questo ruolo è compresa tra €27.000 e €30.000. La posizione è inquadrata nell'ambito del CCNL Commercio applicato dalla nostra società, a tempo indeterminato. Il posizionamento all'interno del range sarà definito in base alle competenze tecniche, all'esperienza specifica nel ruolo e agli esiti del processo di selezione, secondo criteri oggettivi e neutri. In presenza di profili con caratteristiche eccezionali rispetto al range indicato, potrà essere valutata una revisione previa approvazione interna.
• Valutiamo anche collaborazioni in P.Iva.
• Ambiente di lavoro dinamico e multidisciplinare, con reali possibilità di crescita professionale.
• Supporto continuo da parte del team tecnico e dei referenti di progetto.

The world needs you!

AGAP2 is an equal-opportunity employer and values diversity as a source of enrichment. We provide an inclusive work environment where every individual can contribute their unique strengths.

We welcome applications regardless of age, gender, nationality, disability, sexual orientation, religion, or marital status.

Special consideration is given to candidates belonging to protected categories under Articles 1 and 18 of Law 68/99.

Personal data will be processed in accordance with EU Regulation 2016/679.