Data Engineer - Azure

LCG; Lisboa; Hybrid; EUR 50,000 - 75,000; Full time

Job summary

LCG procura um Engenheiro de Dados para integrar a equipa, com experiência em Azure Databricks e pipelines de dados modernos. A posição envolve o design, implementação e monitorização de pipelines, bem como a preparação de dados para modelos de ML.

O candidato ideal possui habilidades em PySpark, SQL, Python e gestão de dados em Data Lakehouse, além de colaborar com equipas de Data Science em contextos internacionais.

Qualifications

• Entre 2 a 3 anos de experiência em Engenharia de Dados, com participação em projetos de ML tradicional.
• Experiência sólida com Azure Databricks, PySpark e pipelines de dados.
• Conhecimentos de ingestão, transformação e modelação de dados em Data Lakehouse.
• Experiência com ML, treino/validação de modelos e integração em pipelines de dados.
• Conhecimentos de monitorização de modelos, data drift e retreino.
• Boa prática de desenvolvimento, versionamento, documentação e testes.

Responsibilities

• Desenvolver e manter pipelines ETL/ELT com Azure Databricks, PySpark e Azure Data Factory.
• Implementar ingestão, transformação e modelação de dados em arquiteturas Data Lakehouse.
• Preparar datasets para ML, incluindo limpeza e feature engineering.
• Colaborar no desenvolvimento, treino e avaliação de modelos.
• Selecionar métricas de avaliação adequadas e monitorizar qualidade de dados e modelos.
• Integrar resultados dos modelos nos pipelines de dados e monitorar desempenho.
• Trabalhar com equipas de negócio e Data Scientists para levantar requisitos.
• Garantir boas práticas de desenvolvimento, documentação e testes.

Skills

Trabalho analítico

Autonomia

Proatividade

Boa comunicação

Tools

Azure Databricks

PySpark

Azure Data Factory

Azure Data Lake Storage

Parquet

Delta Lake

Git

Jira

Confluence

Unity Catalog

Azure Machine Learning

Job description

Na LCG acreditamos que a inovação acontece quando a tecnologia e o talento trabalham em conjunto. Apoiamos organizações de diferentes setores na sua transformação digital, criando impacto através de projetos desafiantes e equipas de excelência.

Mais do que projetos, oferecemos um ambiente colaborativo onde a aprendizagem contínua, a partilha de conhecimento e a evolução profissional fazem parte do dia a dia. Aqui, terás a oportunidade de colaborar com equipas multidisciplinares, trabalhar em contextos internacionais e contribuir para o desenvolvimento de soluções tecnológicas inovadoras.

Na LCG, o teu talento impulsiona a inovação e o teu crescimento acompanha a evolução da tecnologia.

Procuramos um perfil de Data Engineer para integrar a nossa equipa.

O que vais fazer?

• Desenvolver e manter pipelines ETL/ELT com Azure Databricks, PySpark e, quando aplicável, Azure Data Factory;
• Implementar processos de ingestão, transformação e modelação de dados em arquiteturas Data Lakehouse;
• Preparar datasets para Machine Learning, incluindo limpeza, tratamento de valores em falta, transformação de variáveis e feature engineering;
• Colaborar no desenvolvimento, treino e avaliação de modelos de classificação, regressão, clustering e/ou previsão de séries temporais;
• Selecionar métricas de avaliação adequadas aos objetivos de negócio;
• Implementar pipelines de inferência/scoring e integrar os resultados dos modelos nos processos de dados;
• Monitorizar a qualidade dos dados e o desempenho dos modelos em produção;
• Colaborar com equipas de negócio, Data Scientists e equipas técnicas no levantamento de requisitos e na implementação de soluções;
• Assegurar boas práticas de desenvolvimento, versionamento, documentação e testes.
• Entre 2 a 3 anos de experiência em Engenharia de Dados, incluindo participação em projetos com Machine Learning tradicional;
• Experiência sólida em Azure Databricks;
• Bons conhecimentos de Python, SQL e PySpark;
• Experiência com Azure Data Lake Storage e formatos como Parquet e Delta Lake;
• Experiência no ciclo completo de desenvolvimento de soluções de dados: ingestão, transformação, modelação e disponibilização;
• Experiência prática com bibliotecas de Machine Learning;
• Conhecimentos de preparação de dados, treino, validação e avaliação de modelos;
• Compreensão de conceitos como overfitting, data leakage, separação entre treino e teste e validação cruzada;
• Experiência na integração de modelos em pipelines de processamento e scoring em batch;
• Experiência com Git e boas práticas de desenvolvimento de software;
• Capacidade de desenvolver soluções escaláveis, considerando o desempenho e os custos de execução.
• Experiência com Azure Machine Learning, nomeadamente jobs/pipelines de treino, registo de modelos e endpoints de inferência;
• Conhecimentos de monitorização de modelos, deteção de data drift e processos de retreino;
• Experiência na disponibilização de modelos através de APIs ou endpoints online;
• Conhecimentos de Unity Catalog, governação de dados e controlo de acessos;
• Experiência com metodologias ágeis, nomeadamente Scrum, e ferramentas como Jira e Confluence;
• Proatividade, autonomia e capacidade analítica na resolução de problemas;
• Boa comunicação e facilidade de interação com equipas multidisciplinares;
• Capacidade de traduzir necessidades de negócio em soluções técnicas, com foco na entrega de valor.

Localização: Portugal
Modelo de trabalho: Remoto