Azure Data Engineer: Databricks Pipelines & PySpark

Expleo; Viseu; Presencial; EUR 50 000 - 70 000; Tempo integral

Resumo da oferta

A Expleo procura um Engenheiro de Dados para atuar em Lisboa, desenvolvendo soluções de dados na plataforma Microsoft Azure. O candidato ideal tem experiência com pipelines, ingestão, transformação e disponibilização de informação, com foco em Azure Databricks e PySpark.

Este papel envolve desenvolvimento de ETL/ELT, bem como gestão de dados em ADLS, Parquet e Delta Lake, com alinhamento a práticas SCRUM/Agile. Conhecimentos em Azure Data Factory e Synapse são desejáveis.

Qualificações

• Experiência com pipelines de dados, ingestão e transformação.
• Conhecimento em Azure Databricks e PySpark.
• Experiência com armazenamento e formatos de dados (ADLS, Parquet, Delta Lake).
• Capacidade de trabalhar em ambientes SCRUM/Agile.
• Desejável conhecimento de Azure Data Factory e Synapse.

Responsabilidades

• Desenvolver ETL/ELT e pipelines de dados.
• Gerir dados em ADLS, Parquet e Delta Lake.
• Alinhar atividades com práticas SCRUM/Agile.
• Contribuir para integração com Azure Data Factory e Synapse (desejável).

Conhecimentos

Pipelines de dados

Ingestão de dados

Transformação de dados

Disponibilização de informação

PySpark

Azure Databricks

Ferramentas

Azure Data Factory

Synapse

ADLS

Parquet

Delta Lake

Descrição da oferta de emprego

A Expleo procura um Engenheiro de Dados para atuar em Lisboa, desenvolvendo soluções de dados na plataforma Microsoft Azure. O candidato ideal tem experiência com pipelines, ingestão, transformação e disponibilização de informação, com foco em Azure Databricks e PySpark.

Este papel envolve desenvolvimento de ETL/ELT, bem como gestão de dados em ADLS, Parquet e Delta Lake, com alinhamento a práticas SCRUM/Agile. Conhecimentos em Azure Data Factory e Synapse são desejáveis.