Engenheiro de Dados Azure | Remote & ML Pipelines

LCG; Lisboa; Hybride; EUR 50 000 - 75 000; Plein temps

Résumé du poste

LCG procura um Engenheiro de Dados para integrar a equipa, com experiência em Azure Databricks e pipelines de dados modernos. A posição envolve o design, implementação e monitorização de pipelines, bem como a preparação de dados para modelos de ML.

O candidato ideal possui habilidades em PySpark, SQL, Python e gestão de dados em Data Lakehouse, além de colaborar com equipas de Data Science em contextos internacionais.

Qualifications

• Entre 2 a 3 anos de experiência em Engenharia de Dados, com participação em projetos de ML tradicional.
• Experiência sólida com Azure Databricks, PySpark e pipelines de dados.
• Conhecimentos de ingestão, transformação e modelação de dados em Data Lakehouse.
• Experiência com ML, treino/validação de modelos e integração em pipelines de dados.
• Conhecimentos de monitorização de modelos, data drift e retreino.
• Boa prática de desenvolvimento, versionamento, documentação e testes.

Responsabilités

• Desenvolver e manter pipelines ETL/ELT com Azure Databricks, PySpark e Azure Data Factory.
• Implementar ingestão, transformação e modelação de dados em arquiteturas Data Lakehouse.
• Preparar datasets para ML, incluindo limpeza e feature engineering.
• Colaborar no desenvolvimento, treino e avaliação de modelos.
• Selecionar métricas de avaliação adequadas e monitorizar qualidade de dados e modelos.
• Integrar resultados dos modelos nos pipelines de dados e monitorar desempenho.
• Trabalhar com equipas de negócio e Data Scientists para levantar requisitos.
• Garantir boas práticas de desenvolvimento, documentação e testes.

Connaissances

Trabalho analítico

Autonomia

Proatividade

Boa comunicação

Outils

Azure Databricks

PySpark

Azure Data Factory

Azure Data Lake Storage

Parquet

Delta Lake

Git

Jira

Confluence

Unity Catalog

Azure Machine Learning

Description du poste

LCG procura um Engenheiro de Dados para integrar a equipa, com experiência em Azure Databricks e pipelines de dados modernos. A posição envolve o design, implementação e monitorização de pipelines, bem como a preparação de dados para modelos de ML.

O candidato ideal possui habilidades em PySpark, SQL, Python e gestão de dados em Data Lakehouse, além de colaborar com equipas de Data Science em contextos internacionais.