Azure Data Engineer Remoto | ML & Lakehouse Pipelines

SHORE; Lisboa; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

SHORE em Lisboa procura um Engenheiro de Dados com experiência em ML clássico para colaborar com equipas de negócio e técnicas, desenhando soluções de dados, pipelines robustos e modelos preditivos. O candidato ficará responsável por pipelines de ingestão, transformação e modelação em arquiteturas lakehouse, usando Azure Databricks, PySpark e Azure Data Factory, preparando dados para treino e inferência.

Esperamos conhecimentos de Parquet/Delta Lake, Azure Data Lake Storage e gestão de dados,

Qualifications

• Experiência comprovada em Engenharia de Dados com foco em ML clássico.
• Conhecimentos sólidos em Python e SQL.
• Experiência com pipelines de dados end-to-end (inicialização até disponibilização).
• Conhecimento de conceitos de ML como overfitting, data leakage, validação cruzada.

Responsabilités

• Colaborar com equipas de negócio e técnicas para levantamento de requisitos e definição de soluções de dados.
• Desenvolver e manter pipelines ETL/ELT com Databricks e PySpark, usando Azure Data Factory quando aplicável.
• Implementar processos de ingestão, transformação e modelação de dados em arquiteturas lakehouse.
• Preparar dados para treino de modelos, incluindo limpeza e criação de variáveis (feature engineering).
• Colaborar no treino, validação e avaliação de modelos de ML clássico, usando métricas adequadas.
• Implementar pipelines de inferência em batch e integrar previsões nos fluxos de dados.
• Acompanhar qualidade dos dados e desempenho de modelos em produção, com boas práticas de versionamento, testes e documentação.

Connaissances

Python

SQL

PySpark

Machine Learning basics

Data engineering

Git

Outils

Azure Databricks

Azure Data Factory

Azure Data Lake Storage

Parquet

Delta Lake

Git

Description du poste

SHORE em Lisboa procura um Engenheiro de Dados com experiência em ML clássico para colaborar com equipas de negócio e técnicas, desenhando soluções de dados, pipelines robustos e modelos preditivos. O candidato ficará responsável por pipelines de ingestão, transformação e modelação em arquiteturas lakehouse, usando Azure Databricks, PySpark e Azure Data Factory, preparando dados para treino e inferência.

Esperamos conhecimentos de Parquet/Delta Lake, Azure Data Lake Storage e gestão de dados,