Azure Data Engineer

Shore

Lisboa

On-site

EUR 45,000 - 65,000

Full time

2 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

A Shore está à procura de um Engenheiro de Dados com experiência em pipelines de ETL/ELT, Azure Databricks e PySpark para colaborar com equipas de negócio e técnicas na definição de soluções de dados. O candidato deverá trabalhar no treino e avaliação de modelos de ML clássico e na integração de inferência em batch.

Esperam-se conhecimentos de Azure Data Lake Storage, Parquet e Delta Lake, bem como gestão de dados, documentação e boas práticas de custo/execução.

Qualifications

  • 2+ anos de experiência em Engenharia de Dados, incluindo ML clássico.
  • Experiência sólida com Azure Databricks, Python, SQL e PySpark.
  • Conhecimento de Azure Data Lake Storage, Parquet e Delta Lake.
  • Experiência no ciclo completo de desenvolvimento de soluções de dados, da ingestão à disponibilização.
  • Conhecimentos de bibliotecas de ML e de preparação de dados, treino, validação e avaliação de modelos.
  • Compreensão de overfitting, data leakage, separação entre dados de treino e de teste e validação cruzada.
  • Experiência na integração de modelos em pipelines de processamento e inferência em batch.
  • Experiência com Git e foco em soluções escaláveis, tendo em conta desempenho e custos.

Responsibilities

  • Colaborar com equipas de negócio e técnicas no levantamento de requisitos e definição de soluções de dados.
  • Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark, recorrendo a Azure Data Factory quando aplicável.
  • Implementar processos de ingestão, transformação e modelação de dados em architectures lakehouse.
  • Preparar dados para treino de modelos, incluindo limpeza, tratamento de valores em falta e criação de variáveis.
  • Colaborar no treino, validação e avaliação de modelos de ML clássico, usando métricas adequadas.
  • Implementar pipelines de inferência em batch e integrar previsões nos fluxos de dados.
  • Acompanhar qualidade dos dados e desempenho de modelos em produção, com versionamento, testes e documentação.

Skills

Python
SQL
PySpark
Machine Learning
Git

Tools

Azure Databricks
Azure Data Lake Storage
Parquet
Delta Lake
Azure Data Factory
PySpark

Job description

Principais Responsabilidades:
  • Colaborar com as equipas de negócio e técnicas no levantamento de requisitos e na definição das soluções de dados.
  • Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark, recorrendo a Azure Data Factory quando aplicável.
  • Implementar processos de ingestão, transformação e modelação de dados em arquiteturas lakehouse.
  • Preparar dados para treino de modelos, incluindo limpeza, tratamento de valores em falta e criação de variáveis (feature engineering).
  • Colaborar no treino, na validação e na avaliação de modelos de Machine Learning clássico, utilizando métricas adequadas ao problema de negócio.
  • Implementar pipelines de inferência em batch e integrar as previsões dos modelos nos fluxos de dados.
  • Acompanhar a qualidade dos dados e o desempenho dos modelos em produção, aplicando boas práticas de versionamento, testes e documentação.
Requisitos
  • 2+ anos de experiência em Engenharia de Dados, incluindo participação prática em projetos de Machine Learning clássico.
  • Experiência sólida com Azure Databricks e bons conhecimentos de Python, SQL e PySpark.
  • Experiência com Azure Data Lake Storage, Parquet e Delta Lake.
  • Experiência no ciclo completo de desenvolvimento de soluções de dados, da ingestão à disponibilização.
  • Experiência com bibliotecas de Machine Learning e conhecimentos de preparação de dados, treino, validação e avaliação de modelos.
  • Compreensão de conceitos como overfitting, data leakage, separação entre dados de treino e de teste e validação cruzada.
  • Experiência na integração de modelos em pipelines de processamento e inferência em batch.
  • Experiência com Git e capacidade de desenvolver soluções escaláveis, tendo em conta o desempenho e os custos de execução.
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer - Azure
Data Engineer - Azure

LCG • Lisboa

Hybrid
EUR 50,000 - 75,000
Data Engineer - Azure
Data Engineer - Azure

LCG Inc. • Lisboa

Remote
EUR 40,000 - 60,000
Data Architect (Azure & Databricks)
Data Architect (Azure & Databricks)

Timestamp • Alvalade

On-site
EUR 70,000 - 90,000
Azure Data Engineer: Data Factory Pipelines & SQL (Hybrid)
Azure Data Engineer: Data Factory Pipelines & SQL (Hybrid)

Shore • Porto

Hybrid
EUR 45,000 - 65,000
Regime de trabalho híbrido
Azure Data Engineer
Azure Data Engineer

Adentis • Lisboa

On-site
EUR 45,000 - 75,000
Saúde para colaboradores
Formação contínua
Plano de carreira
+1
Senior Data Platform Engineer
Senior Data Platform Engineer

ELEVUS • Lisboa

On-site
EUR 70,000 - 110,000
Senior Data Platform Engineer
Senior Data Platform Engineer

LUZA Group • Lisboa

On-site
EUR 75,000 - 90,000
Data Engineer (M/F) Venda do Pinheiro
Data Engineer (M/F) Venda do Pinheiro

Human Profiler - IT Outsourcing & Recruitment • Lisboa

On-site
EUR 55,000 - 85,000
Azure Data Engineer: Lakehouse Pipelines & ML Readiness
Azure Data Engineer: Lakehouse Pipelines & ML Readiness

Shore • Lisboa

On-site
EUR 45,000 - 65,000
Azure Data Factory Data Engineer (Hibrido, Porto)
Azure Data Factory Data Engineer (Hibrido, Porto)

Shore • Porto

Hybrid
EUR 45,000 - 65,000
Regime de trabalho híbrido
Top locations