Data Engineer - Azure

LCG, Inc.; Lisboa; Remote; EUR 40,000 - 60,000; Full time

Job summary

A LCG Inc. procura um Data Engineer para integrar a equipa em regime remoto.

O papel centra-se em desenhar, desenvolver e manter pipelines de dados eficientes, usando Azure Databricks, PySpark e Azure Data Factory conforme necessário. As responsabilidades incluem ingesto, transformação e modelação de dados num Data Lakehouse, preparação de datasets para Machine Learning, treino e avaliação de modelos, e monitorização de qualidade de dados.

Qualifications

• 2 a 3 anos de experiência em Engenharia de Dados.
• Experiência sólida com Python, SQL e PySpark.
• Conhecimentos em pipelines ETL/ELT e Data Lakehouse.
• Conhecimento de Azure Databricks e armazenamento de dados em Azure Data Lake Storage.
• Familiaridade com ferramentas de versionamento e gestão de projetos (Git, Jira, Confluence).

Responsibilities

• Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark.
• Implementar ingesto, transformação e modelação de dados em Data Lakehouse.
• Preparar datasets para ML incluindo limpeza e engenharia de features.
• Colaborar com Data Scientists para treino e avaliação de modelos.
• Selecionar métricas de avaliação e monitorizar qualidade de dados e desempenho de modelos.
• Integrar outputs de modelos nos fluxos de dados e garantir custos/ performance.
• Assegurar boas práticas de desenvolvimento, documentação e testes.

Skills

Python

SQL

PySpark

Data engineering

Model deployment basics

Tools

Azure Databricks

Azure Data Lake Storage

Parquet

Delta Lake

Git

Jira

Confluence

Unity Catalog

Job description

Shape the Future with LCG

Na LCG acreditamos que a inovao acontece quando a tecnologia e o talento trabalham em conjunto. Apoiamos organizaes de diferentes setores na sua transformao digital, criando impacto atravs de projetos desafiantes e equipas de excelncia.

Mais do que projetos, oferecemos um ambiente colaborativo onde a aprendizagem contnua, a partilha de conhecimento e a evoluo profissional fazem parte do dia a dia. Aqui, ters a oportunidade de colaborar com equipas multidisciplinares, trabalhar em contextos internacionais e contribuir para o desenvolvimento de solues tecnolgicas inovadoras.

Na LCG, o teu talento impulsiona a inovao e o teu crescimento acompanha a evoluo da tecnologia.

Procuramos um perfil de Data Engineer para integrar a nossa equipa.

O que vais fazer?

• Desenvolver e manter pipelines ETL/ELT com Azure Databricks, PySpark e, quando aplicvel, Azure Data Factory;
• Implementar processos de ingesto, transformao e modelao de dados em arquiteturas Data Lakehouse;
• Preparar datasets para Machine Learning, incluindo limpeza, tratamento de valores em falta, transformao de variveis e feature engineering;
• Colaborar no desenvolvimento, treino e avaliao de modelos de classificao, regresso, clustering e/ou previso de sries temporais;
• Selecionar mtricas de avaliao adequadas aos objetivos de negcio;
• Implementar pipelines de inferncia/scoring e integrar os resultados dos modelos nos processos de dados;
• Monitorizar a qualidade dos dados e o desempenho dos modelos em produo;
• Colaborar com equipas de negcio, Data Scientists e equipas tcnicas no levantamento de requisitos e na implementao de solues;
• Assegurar boas prticas de desenvolvimento, versionamento, documentao e testes.

O que precisas de saber?

• Entre 2 a 3 anos de experincia em Engenharia de Dados, incluindo participao em projetos com Machine Learning tradicional;
• Experincia slida em Azure Databricks;
• Bons conhecimentos de Python, SQL e PySpark;
• Experincia com Azure Data Lake Storage e formatos como Parquet e Delta Lake;
• Experincia no ciclo completo de desenvolvimento de solues de dados: ingesto, transformao, modelao e disponibilizao;
• Experincia prtica com bibliotecas de Machine Learning;
• Conhecimentos de preparao de dados, treino, validao e avaliao de modelos;
• Compreenso de conceitos como overfitting, data leakage, separao entre treino e teste e validao cruzada;
• Experincia na integrao de modelos em pipelines de processamento e scoring em batch;
• Experincia com Git e boas prticas de desenvolvimento de software;
• Capacidade de desenvolver solues escalveis, considerando o desempenho e os custos de execuo.

O que valorizamos?

• Experincia com Azure Machine Learning, nomeadamente jobs/pipelines de treino, registo de modelos e endpoints de inferncia;
• Conhecimentos de monitorizao de modelos, deteo de data drift e processos de retreino;
• Experincia na disponibilizao de modelos atravs de APIs ou endpoints online;
• Conhecimentos de Unity Catalog, governao de dados e controlo de acessos;
• Experincia com metodologias geis, nomeadamente Scrum, e ferramentas como Jira e Confluence;
• Proatividade, autonomia e capacidade analtica na resoluo de problemas;
• Boa comunicao e facilidade de interao com equipas multidisciplinares;
• Capacidade de traduzir necessidades de negcio em solues tcnicas, com foco na entrega de valor.

Localizao: Portugal
Modelo de trabalho: Remoto