Remote DevOps & Data Engineer for ML Pipelines

Dacomat srl; United States; Remote; USD 120,000 - 160,000; Full time

Job description

DevOps & Data Engineer – Full Remote

Dacomat ricerca un DevOps & Data Engineer da inserire stabilmente all’interno di un team dedicato alla gestione di piattaforme cloud, pipeline dati e soluzioni di Machine Learning.

La figura avrà un ruolo operativo e trasversale tra DevOps, Data Engineering e MLOps. Si occuperà principalmente dell’infrastruttura e dei servizi sui quali vengono eseguite le data pipeline, supportando il team Data Science nella costruzione, validazione e messa in produzione dei modelli di Machine Learning.

Cerchiamo un professionista autonomo, capace di intervenire direttamente sulle pipeline CI/CD, sull’infrastruttura AWS e sui componenti applicativi sviluppati in Python

Principali attività

• Gestione e manutenzione dell’infrastruttura cloud utilizzata dalle data pipeline.
• Analisi, gestione ed evoluzione di pipeline CI/CD complesse tramite GitLab.
• Automazione del provisioning infrastrutturale attraverso Terraform, OpenTofu e AWS CloudFormation.
• Sviluppo e manutenzione di componenti object-oriented in Python.
• Realizzazione e manutenzione di test automatici.
• Gestione e troubleshooting di pipeline ETL e processi di elaborazione dati.
• Utilizzo di SQL per interrogazione, verifica e trasformazione dei dati.
• Configurazione e gestione dei principali servizi AWS impiegati dalla piattaforma.
• Supporto al team Data Science nella costruzione e validazione dei modelli di Machine Learning.
• Automazione del deployment dei modelli in ambiente di produzione.
• Implementazione di controlli e processi di Data Quality.
• Monitoraggio di applicazioni, pipeline e infrastrutture.
• Analisi e risoluzione di problematiche applicative e infrastrutturali.
• Collaborazione con Data Engineer, Data Scientist e team applicativi.

Competenze richieste

• Esperienza concreta nella gestione di pipeline complesse con GitLab CI/CD.
• Esperienza con strumenti Infrastructure as Code, in particolare Terraform oppure OpenTofu.
• Conoscenza di AWS CloudFormation.
• Buona autonomia nello sviluppo object-oriented in Python.
• Esperienza nella scrittura di test automatici, preferibilmente con pytest o unittest.
• Buona conoscenza di SQL.
• Conoscenza dei principali processi e delle architetture ETL.
• Esperienza sulla piattaforma AWS.
• Conoscenza di IAM e dei principali meccanismi di gestione di ruoli, policy e autorizzazioni.
• Esperienza con servizi AWS come Lambda, Athena, Glue, RDS, EC2, S3, MWAA/Airflow e Step Functions.
• Conoscenza di processi e framework di Data Quality, preferibilmente Great Expectations.
• Conoscenza del ciclo di vita dei modelli di Machine Learning.
• Conoscenza di Kubernetes.
• Conoscenza di OpenTelemetry.

Profilo ricercato

La figura ideale possiede un’esperienza equilibrata tra DevOps e Data Engineering. Non cerchiamo un Data Engineer esclusivamente focalizzato sullo sviluppo delle pipeline né un DevOps privo di esperienza con dati, SQL e Python.

La persona dovrà essere in grado di comprendere l’intero processo: dall’infrastruttura cloud e dall’automazione CI/CD fino all’esecuzione delle pipeline dati e al deployment dei modelli di Machine Learning.