Azure Data Engineer (Remoto, Portugal)

SHORE; Lisboa; On-site; EUR 45,000 - 65,000; Full time

Job summary

SHORE em Lisboa procura um Engenheiro de Dados com experiência em ML clássico para colaborar com equipas de negócio e técnicas, desenhando soluções de dados, pipelines robustos e modelos preditivos. O candidato ficará responsável por pipelines de ingestão, transformação e modelação em arquiteturas lakehouse, usando Azure Databricks, PySpark e Azure Data Factory, preparando dados para treino e inferência.

Esperamos conhecimentos de Parquet/Delta Lake, Azure Data Lake Storage e gestão de dados,

Qualifications

• Experiência comprovada em Engenharia de Dados com foco em ML clássico.
• Conhecimentos sólidos em Python e SQL.
• Experiência com pipelines de dados end-to-end (inicialização até disponibilização).
• Conhecimento de conceitos de ML como overfitting, data leakage, validação cruzada.

Responsibilities

• Colaborar com equipas de negócio e técnicas para levantamento de requisitos e definição de soluções de dados.
• Desenvolver e manter pipelines ETL/ELT com Databricks e PySpark, usando Azure Data Factory quando aplicável.
• Implementar processos de ingestão, transformação e modelação de dados em arquiteturas lakehouse.
• Preparar dados para treino de modelos, incluindo limpeza e criação de variáveis (feature engineering).
• Colaborar no treino, validação e avaliação de modelos de ML clássico, usando métricas adequadas.
• Implementar pipelines de inferência em batch e integrar previsões nos fluxos de dados.
• Acompanhar qualidade dos dados e desempenho de modelos em produção, com boas práticas de versionamento, testes e documentação.

Skills

Python

SQL

PySpark

Machine Learning basics

Data engineering

Git

Tools

Azure Databricks

Azure Data Factory

Azure Data Lake Storage

Parquet

Delta Lake

Git

Job description

Principais Responsabilidades

• Colaborar com as equipas de negócio e técnicas no levantamento de requisitos e na definição das soluções de dados.
• Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark, recorrendo a Azure Data Factory quando aplicável.
• Implementar processos de ingestão, transformação e modelação de dados em arquiteturas lakehouse.
• Preparar dados para treino de modelos, incluindo limpeza, tratamento de valores em falta e criação de variáveis (feature engineering).
• Colaborar no treino, na validação e na avaliação de modelos de Machine Learning clássico, utilizando métricas adequadas ao problema de negócio.
• Implementar pipelines de inferência em batch e integrar as previsões dos modelos nos fluxos de dados.
• Acompanhar a qualidade dos dados e o desempenho dos modelos em produção, aplicando boas práticas de versionamento, testes e documentação.

Requisitos mínimos

• 2+ anos de experiência em Engenharia de Dados, incluindo participação prática em projetos de Machine Learning clássico.
• Experiência sólida com Azure Databricks e bons conhecimentos de Python, SQL e PySpark.
• Experiência com Azure Data Lake Storage, Parquet e Delta Lake.
• Experiência no ciclo completo de desenvolvimento de soluções de dados, da ingestão à disponibilização.
• Experiência com bibliotecas de Machine Learning e conhecimentos de preparação de dados, treino, validação e avaliação de modelos.
• Compreensão de conceitos como overfitting, data leakage, separação entre dados de treino e de teste e validação cruzada.
• Experiência na integração de modelos em pipelines de processamento e inferência em batch.
• Experiência com Git e capacidade de desenvolver soluções escaláveis, tendo em conta o desempenho e os custos de execução.