Azure Data Engineer: Lakehouse Pipelines & ML Readiness

Shore

Lisboa

On-site

EUR 45,000 - 65,000

Full time

2 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

A Shore está à procura de um Engenheiro de Dados com experiência em pipelines de ETL/ELT, Azure Databricks e PySpark para colaborar com equipas de negócio e técnicas na definição de soluções de dados. O candidato deverá trabalhar no treino e avaliação de modelos de ML clássico e na integração de inferência em batch.

Esperam-se conhecimentos de Azure Data Lake Storage, Parquet e Delta Lake, bem como gestão de dados, documentação e boas práticas de custo/execução.

Qualifications

  • 2+ anos de experiência em Engenharia de Dados, incluindo ML clássico.
  • Experiência sólida com Azure Databricks, Python, SQL e PySpark.
  • Conhecimento de Azure Data Lake Storage, Parquet e Delta Lake.
  • Experiência no ciclo completo de desenvolvimento de soluções de dados, da ingestão à disponibilização.
  • Conhecimentos de bibliotecas de ML e de preparação de dados, treino, validação e avaliação de modelos.
  • Compreensão de overfitting, data leakage, separação entre dados de treino e de teste e validação cruzada.
  • Experiência na integração de modelos em pipelines de processamento e inferência em batch.
  • Experiência com Git e foco em soluções escaláveis, tendo em conta desempenho e custos.

Responsibilities

  • Colaborar com equipas de negócio e técnicas no levantamento de requisitos e definição de soluções de dados.
  • Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark, recorrendo a Azure Data Factory quando aplicável.
  • Implementar processos de ingestão, transformação e modelação de dados em architectures lakehouse.
  • Preparar dados para treino de modelos, incluindo limpeza, tratamento de valores em falta e criação de variáveis.
  • Colaborar no treino, validação e avaliação de modelos de ML clássico, usando métricas adequadas.
  • Implementar pipelines de inferência em batch e integrar previsões nos fluxos de dados.
  • Acompanhar qualidade dos dados e desempenho de modelos em produção, com versionamento, testes e documentação.

Skills

Python
SQL
PySpark
Machine Learning
Git

Tools

Azure Databricks
Azure Data Lake Storage
Parquet
Delta Lake
Azure Data Factory
PySpark

Job description

A Shore está à procura de um Engenheiro de Dados com experiência em pipelines de ETL/ELT, Azure Databricks e PySpark para colaborar com equipas de negócio e técnicas na definição de soluções de dados. O candidato deverá trabalhar no treino e avaliação de modelos de ML clássico e na integração de inferência em batch.

Esperam-se conhecimentos de Azure Data Lake Storage, Parquet e Delta Lake, bem como gestão de dados, documentação e boas práticas de custo/execução.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Azure Databricks Data Architect: Lakehouse & Pipelines
Azure Databricks Data Architect: Lakehouse & Pipelines

Timestamp • Alvalade

On-site
EUR 70,000 - 90,000
Azure Data Engineer - Remote ML Pipelines
Azure Data Engineer - Remote ML Pipelines

LCG Inc. • Lisboa

Remote
EUR 40,000 - 60,000
Engenheiro de Dados Azure | Remote & ML Pipelines
Engenheiro de Dados Azure | Remote & ML Pipelines

LCG • Lisboa

Hybrid
EUR 50,000 - 75,000
Azure Data Engineer
Azure Data Engineer

Shore • Lisboa

On-site
EUR 45,000 - 65,000
Senior Data Engineer: Lakehouse, CI/CD, Remote
Senior Data Engineer: Lakehouse, CI/CD, Remote

Affinity • Portugal

Hybrid
EUR 60,000 - 90,000
Lifetime Experience
Plano de carreira
Ambiente acolhedor
+2
AWS Data Engineer: Pipelines, Lakes & Analytics
AWS Data Engineer: Pipelines, Lakes & Analytics

Elevus • Lisboa

Hybrid
EUR 40,000 - 60,000
Azure Data Engineer | Scalable Pipelines & BI
Azure Data Engineer | Scalable Pipelines & BI

Adentis • Lisboa

On-site
EUR 45,000 - 75,000
Saúde para colaboradores
Formação contínua
Plano de carreira
+1
Azure Data Engineer (Databricks) — Global Data Pipelines
Azure Data Engineer (Databricks) — Global Data Pipelines

NBCC Consulting • Portugal

On-site
EUR 45,000 - 60,000
Formação contínua
Oportunidades de evolução profissional
Ambiente de trabalho dinâmico
Azure Data Engineer: PySpark, Databricks & Cloud Mastery
Azure Data Engineer: PySpark, Databricks & Cloud Mastery

Bee-Eng • Lisboa

Hybrid
EUR 40,000 - 64,000
Senior Lakehouse Data Platform Engineer
Senior Lakehouse Data Platform Engineer

ELEVUS • Lisboa

On-site
EUR 70,000 - 110,000
Top locations