Cloud Data Platform Expert AWS Data Streaming

Setting Srl; Milano; In loco; EUR 40.000 - 75.000; Tempo pieno

Descrizione del lavoro

Una società tecnologica innovativa cerca professionisti esperti in infrastrutture cloud e pratiche DevOps, per supportare architetture di data streaming in un progetto di Data Mesh. Il candidato ideale ha esperienza con AWS e strumenti open-source per l'elaborazione e governanza dei dati. Sarà coinvolto nella progettazione di sistemi scalabili, nell'implementazione di pipeline CI/CD e nell'integrazione di soluzioni per la visualizzazione e analisi dei dati con Power BI e Tableau.

Competenze

• Esperienza nella progettazione di infrastrutture scalabili con IaC.
• Competenze nell'implementazione di pipeline CI/CD e automazione di provisioning.
• Familiarità con Data Mesh e governance dei dati.

Mansioni

• Supportare architetture di data streaming all'interno di un framework Data Mesh.
• Implementare soluzioni con strumenti open-source per l'elaborazione dati in tempo reale.
• Integrare pipeline dati per reporting e business intelligence.

Conoscenze

Infrastrutture Cloud

DevOps

AWS

Apache Flink

Confluent Kafka

Apache Airflow

Data Mesh

Power BI

Tableau

Governance dei dati

Strumenti

AWS CloudFormation

GitLab CI/CD

AWS Glue

AWS Lambda

AWS Lake Formation

Descrizione del lavoro

Scopri un Mondo di Innovazione con Noi!

Nel 2018, un gruppo di professionisti nel campo dell’Information Technology si unì per creare Setting, una realtà volta all’innovazione e alla trasformazione digitale. La nostra missione? Rispondere alla crescente richiesta di soluzioni informatiche innovative in ogni ambito. Ma siamo molto più di un’azienda di tecnologia. Siamo costruttori di relazioni, crediamo nella fiducia, nella cooperazione e nella creazione di vere partnership con i nostri Clienti.

Perché Scegliere Noi?

Siamo giovani, appassionati e, soprattutto, innovativi. Ogni giorno, ci immergiamo nella ricerca di nuove tecnologie e idee stimolanti per i nostri clienti. Fondamentale per noi è l’attenzione e la cura che riserviamo alla selezione, alla formazione e alla gestione delle persone. Siamo convinti che dietro ogni grande progetto ci siano persone eccezionali.

Per un nostro cliente in ambito servizi finanziari, stiamo cercando un team di servizi professionali con una forte esperienza in infrastrutture cloud‑native e pratiche DevOps (solo AWS), specificamente orientato al supporto di architetture di data streaming all’interno di un framework Data Mesh. Il partner ideale deve dimostrare esperienza pratica con servizi AWS e strumenti open‑source utilizzati per l’elaborazione dati in tempo reale, orchestrazione, governance e analytics.

Competenze richieste:

Cloud Infrastructure & DevOps

• Progettazione e distribuzione di infrastrutture scalabili utilizzando strumenti Infrastructure as Code (IaC), ad es. AWS CloudFormation.
• Implementazione di pipeline CI/CD (GitLab CI/CD – Sceptre) per workload di dati e analytics.
• Automazione del provisioning degli ambienti, monitoraggio e sistemi di alerting.
• Integrazione con servizi nativi AWS per sicurezza, logging e ottimizzazione dei costi.

Data Streaming & Orchestration

• Esperienza comprovata con AWS Managed Apache Flink per l’elaborazione di stream in tempo reale.
• Confluent Kafka per messaggistica distribuita (layer on‑prem).
• AWS Managed Apache Airflow (MWAA) per l’orchestrazione basata su DAG delle pipeline dati.
• Progettazione di architetture di streaming resilienti e scalabili utilizzando servizi AWS come Flink, Glue e Lambda.

Data Mesh & Governance

• Familiarità con i principi del Data Mesh, incluse ownership orientata ai domini, governance federata e approccio “data product”.
• Utilizzo di strumenti come Witboost per la gestione dei metadati, il ciclo di vita dei data product e la governance decentralizzata.
• Implementazione di framework di governance tramite AWS Lake Formation, inclusi controlli di accesso granulare, data cataloging e tracciamento della lineage.

Storage & Analytics Layer

• Esperienza con Amazon Redshift Serverless per workload analitici (non per il layer computazionale).
• Data lake basati su S3 utilizzando formati come Parquet e formati tabellari come Iceberg.
• Gestione delle S3 Tables, incluse strategie di backup/ripristino e integrazione con motori di query (Athena).

Data Visualization & Business Intelligence

• Integrazione delle pipeline dati con Power BI e Tableau per reporting e dashboard aziendali.
• Supporto per modellazione semantica, strategie di refresh dei dati e accesso sicuro a dataset governati.