Engenheiro de Dados Azure com Pipelines e ML

Shore; Lisboa; Híbrido; EUR 50 000 - 70 000; Tempo integral

Resumo da oferta

Shore procura um Engenheiro de Dados para colaborar com equipas de negócio e técnicas na definição de soluções de dados, implementando pipelines com Azure Databricks e PySpark. O papel envolve preparação de dados, treino e avaliação de modelos de ML clássico, bem como a integração de previsões em fluxos de dados.

O candidato deve possuir experiência em pipelines ETL/ELT, gestão de qualidade de dados e know-how em ferramentas como Azure Data Factory e Git, com foco em soluções escaláveis e

Qualificações

• 2+ anos de experiência em Engenharia de Dados.
• Experiência com Azure Databricks.
• Conhecimentos de Python, SQL e PySpark.
• Experiência em pipelines ETL/ELT e arquitetura lakehouse.
• Experiência em ML clássico: treino, validação e avaliação.
• Integração de modelos em pipelines de processamento e inferência.
• Boas práticas de versionamento, testes e documentação.
• Conceitos de overfitting, data leakage e validação cruzada.

Responsabilidades

• Colaborar com equipas de negócio e técnicas no levantamento de requisitos e definição das soluções de dados.
• Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark, recorrendo a Azure Data Factory quando aplicável.
• Implementar processos de ingestão, transformação e modelação de dados em arquiteturas lakehouse.
• Preparar dados para treino de modelos, incluindo limpeza, tratamento de valores em falta e criação de variáveis (feature engineering).
• Colaborar no treino, na validação e na avaliação de modelos de Machine Learning clássico, utilizando métricas adequadas ao problema de negócio.
• Implementar pipelines de inferência em batch e integrar as previsões dos modelos nos fluxos de dados.
• Acompanhar a qualidade dos dados e o desempenho dos modelos em produção, aplicando boas práticas de versionamento, testes e documentação.

Conhecimentos

Engenharia de Dados

Azure Databricks

Python

SQL

PySpark

Machine Learning

Data pipelines

Model deployment

Versionamento & Tests

Ferramentas

Azure Data Factory

Git

Descrição da oferta de emprego

Shore procura um Engenheiro de Dados para colaborar com equipas de negócio e técnicas na definição de soluções de dados, implementando pipelines com Azure Databricks e PySpark. O papel envolve preparação de dados, treino e avaliação de modelos de ML clássico, bem como a integração de previsões em fluxos de dados.

O candidato deve possuir experiência em pipelines ETL/ELT, gestão de qualidade de dados e know-how em ferramentas como Azure Data Factory e Git, com foco em soluções escaláveis e