Azure Data Engineer

Shore; Lisboa; Hybrid; EUR 50,000 - 70,000; Full time

Job summary

Shore procura um Engenheiro de Dados para colaborar com equipas de negócio e técnicas na definição de soluções de dados, implementando pipelines com Azure Databricks e PySpark. O papel envolve preparação de dados, treino e avaliação de modelos de ML clássico, bem como a integração de previsões em fluxos de dados.

O candidato deve possuir experiência em pipelines ETL/ELT, gestão de qualidade de dados e know-how em ferramentas como Azure Data Factory e Git, com foco em soluções escaláveis e

Qualifications

• 2+ anos de experiência em Engenharia de Dados.
• Experiência com Azure Databricks.
• Conhecimentos de Python, SQL e PySpark.
• Experiência em pipelines ETL/ELT e arquitetura lakehouse.
• Experiência em ML clássico: treino, validação e avaliação.
• Integração de modelos em pipelines de processamento e inferência.
• Boas práticas de versionamento, testes e documentação.
• Conceitos de overfitting, data leakage e validação cruzada.

Responsibilities

• Colaborar com equipas de negócio e técnicas no levantamento de requisitos e definição das soluções de dados.
• Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark, recorrendo a Azure Data Factory quando aplicável.
• Implementar processos de ingestão, transformação e modelação de dados em arquiteturas lakehouse.
• Preparar dados para treino de modelos, incluindo limpeza, tratamento de valores em falta e criação de variáveis (feature engineering).
• Colaborar no treino, na validação e na avaliação de modelos de Machine Learning clássico, utilizando métricas adequadas ao problema de negócio.
• Implementar pipelines de inferência em batch e integrar as previsões dos modelos nos fluxos de dados.
• Acompanhar a qualidade dos dados e o desempenho dos modelos em produção, aplicando boas práticas de versionamento, testes e documentação.

Skills

Engenharia de Dados

Azure Databricks

Python

SQL

PySpark

Machine Learning

Data pipelines

Model deployment

Versionamento & Tests

Tools

Azure Data Factory

Git

Job description

• Colaborar com as equipas de negócio e técnicas no levantamento de requisitos e na definição das soluções de dados.
• Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark, recorrendo a Azure Data Factory quando aplicável.
• Implementar processos de ingestão, transformação e modelação de dados em arquiteturas lakehouse.
• Preparar dados para treino de modelos, incluindo limpeza, tratamento de valores em falta e criação de variáveis (feature engineering).
• Colaborar no treino, na validação e na avaliação de modelos de Machine Learning clássico, utilizando métricas adequadas ao problema de negócio.
• Implementar pipelines de inferência em batch e integrar as previsões dos modelos nos fluxos de dados.
• Acompanhar a qualidade dos dados e o desempenho dos modelos em produção, aplicando boas práticas de versionamento, testes e documentação.
• 2+ anos de experiência em Engenharia de Dados, incluindo participação prática em projetos de Machine Learning clássico.
• Experiência sólida com Azure Databricks e bons conhecimentos de Python, SQL e PySpark.
• Experiência no ciclo completo de desenvolvimento de soluções de dados, da ingestão à disponibilização.
• Experiência com bibliotecas de Machine Learning e conhecimentos de preparação de dados, treino, validação e avaliação de modelos.
• Compreensão de conceitos como overfitting, data leakage, separação entre dados de treino e de teste e validação cruzada.
• Experiência na integração de modelos em pipelines de processamento e inferência em batch.
• Experiência com Git e capacidade de desenvolver soluções escaláveis, tendo em conta o desempenho e os custos de execução.