Remote DevOps & Data Engineer for ML Pipelines

Dacomat Srl

United States

Remote

USD 120,000 - 160,000

Full time

14 days+

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job description

DevOps & Data Engineer – Full Remote

Dacomat ricerca un DevOps & Data Engineer da inserire stabilmente all’interno di un team dedicato alla gestione di piattaforme cloud, pipeline dati e soluzioni di Machine Learning.

La figura avrà un ruolo operativo e trasversale tra DevOps, Data Engineering e MLOps. Si occuperà principalmente dell’infrastruttura e dei servizi sui quali vengono eseguite le data pipeline, supportando il team Data Science nella costruzione, validazione e messa in produzione dei modelli di Machine Learning.

Cerchiamo un professionista autonomo, capace di intervenire direttamente sulle pipeline CI/CD, sull’infrastruttura AWS e sui componenti applicativi sviluppati in Python

Principali attività

  • Gestione e manutenzione dell’infrastruttura cloud utilizzata dalle data pipeline.
  • Analisi, gestione ed evoluzione di pipeline CI/CD complesse tramite GitLab.
  • Automazione del provisioning infrastrutturale attraverso Terraform, OpenTofu e AWS CloudFormation.
  • Sviluppo e manutenzione di componenti object-oriented in Python.
  • Realizzazione e manutenzione di test automatici.
  • Gestione e troubleshooting di pipeline ETL e processi di elaborazione dati.
  • Utilizzo di SQL per interrogazione, verifica e trasformazione dei dati.
  • Configurazione e gestione dei principali servizi AWS impiegati dalla piattaforma.
  • Supporto al team Data Science nella costruzione e validazione dei modelli di Machine Learning.
  • Automazione del deployment dei modelli in ambiente di produzione.
  • Implementazione di controlli e processi di Data Quality.
  • Monitoraggio di applicazioni, pipeline e infrastrutture.
  • Analisi e risoluzione di problematiche applicative e infrastrutturali.
  • Collaborazione con Data Engineer, Data Scientist e team applicativi.

Competenze richieste

  • Esperienza concreta nella gestione di pipeline complesse con GitLab CI/CD.
  • Esperienza con strumenti Infrastructure as Code, in particolare Terraform oppure OpenTofu.
  • Conoscenza di AWS CloudFormation.
  • Buona autonomia nello sviluppo object-oriented in Python.
  • Esperienza nella scrittura di test automatici, preferibilmente con pytest o unittest.
  • Buona conoscenza di SQL.
  • Conoscenza dei principali processi e delle architetture ETL.
  • Esperienza sulla piattaforma AWS.
  • Conoscenza di IAM e dei principali meccanismi di gestione di ruoli, policy e autorizzazioni.
  • Esperienza con servizi AWS come Lambda, Athena, Glue, RDS, EC2, S3, MWAA/Airflow e Step Functions.
  • Conoscenza di processi e framework di Data Quality, preferibilmente Great Expectations.
  • Conoscenza del ciclo di vita dei modelli di Machine Learning.
  • Conoscenza di Kubernetes.
  • Conoscenza di OpenTelemetry.

Profilo ricercato

La figura ideale possiede un’esperienza equilibrata tra DevOps e Data Engineering. Non cerchiamo un Data Engineer esclusivamente focalizzato sullo sviluppo delle pipeline né un DevOps privo di esperienza con dati, SQL e Python.

La persona dovrà essere in grado di comprendere l’intero processo: dall’infrastruttura cloud e dall’automazione CI/CD fino all’esecuzione delle pipeline dati e al deployment dei modelli di Machine Learning.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

DevOps & Data Engineer Full Remote
DevOps & Data Engineer Full Remote

Dacomat Srl • United States

Remote
USD 120,000 - 160,000
Data Engineer
Data Engineer

HireMap • Milano (TX)

On-site
USD 63,327 - 103,626
Devops / Cloud engineer
Devops / Cloud engineer

Dacomat Srl • United States

Remote
USD 110,000 - 150,000
Data engineer - roma
Data engineer - roma

Dacomat Srl • United States

Hybrid
USD 45,000 - 58,000
Data Scientist / AI Engineer
Data Scientist / AI Engineer

Faboci Srl • United States

Remote
USD 120,000 - 180,000
Remoto
Collaborazione con cliente
Data Engineer: Build Robust ETL Pipelines & Data Platforms
Data Engineer: Build Robust ETL Pipelines & Data Platforms

HireMap • Milano (TX)

On-site
USD 63,327 - 103,626
Data Engineer (Freelance)
Data Engineer (Freelance)

Cosmico • Town of Italy (NY)

Remote
USD 75,801
Databricks data engineer
Databricks data engineer

Dacomat Srl • United States

Remote
USD 110,000 - 160,000
Data Scientist - Agile Lab
Data Scientist - Agile Lab

Welyk • Town of Italy (NY)

Remote
USD 44,684 - 71,959
Budget formazione: circa €1.000/anno
Welcome pack con laptop e attrezzature
Opportunità di partecipare a conferenze
+1
Data Scientist / AI Engineer (Financial Servi
Data Scientist / AI Engineer (Financial Servi

Project S.r.l. • United States

Hybrid
USD 93,000 - 185,000