Data Engineer Senior | Microsoft Azure

Expleo; São Domingos de Benfica; Presencial; EUR 50 000 - 70 000; Tempo integral

Resumo da oferta

Expleo procura um Engenheiro de Dados com forte domínio em Azure para atuar no design e implementação de pipelines de dados. O profissional terá responsabilidade na ingestão, transformação e disponibilização de dados, assegurando governança e qualidade.

A posição envolve colaboração com equipas técnicas e de negócio, uso de PySpark, Delta Lake e Data Factory, bem como prática de metodologias Ágeis. Localização em Lisboa, com atuação principalmente no mercado europeu.

Qualificações

• 5+ anos de experiência comprovada em Data Engineering.
• Sólida experiência em Microsoft Azure e Azure Databricks.
• Conhecimento de PySpark, Data Factory e ETL/ELT.
• Experiência com ADLS, Parquet e Delta Lake.
• Capacidade de desenhar arquiteturas escaláveis e com boa performance.
• Experiência com DataHub ou plataformas de dados.

Responsabilidades

• Interagir com equipas de negócio e técnicas para levantar requisitos.
• Transformar requisitos em especificações técnicas.
• Desenhar soluções de dados e pipelines de transformação.
• Desenvolver pipelines de dados e otimizar processos.
• Participar na definição de arquitetura e standards de dados.
• Garantir qualidade, segurança e governança dos dados.
• Apoiar perfis mais juniores tecnicamente.

Conhecimentos

5+ anos de experiência

Microsoft Azure

Azure Databricks

PySpark

Azure Data Factory

ETL/ELT

Azure Data Lake Storage / ADLS

Parquet

Delta Lake

End-to-end data engineering

Arquiteturas escaláveis

DataHub / plataformas de dados

Traduzir requisitos em soluções

Agile / SCRUM

Descrição da oferta de emprego

Overview

Expleo is a trusted partner for your innovation journey. As a global engineering, technology and consulting service provider, we are ideally positioned to help you achieve your ambitions and future-proof your business. With a smart blend of bold thinking and reliable execution, we’re able to fast-track innovation through each step of your value chain.

We are strategically positioned to build value, with global footprint across 30 countries.We are as global and local as you need us to be, with strong best-in-class pan-European technological centres and unique best-shoring capabilities.

We leverage a network of high value-adding affiliates in consulting and industrial excellence, and leading partners across multiple sectors to provide you with the most comprehensive services and solutions in an ever-changing environment.

Responsibilities

• Interagir diretamente com equipas de negócio e técnicas
• Levantar e interpretar requisitos
• Transformar requisitos em especificações técnicas
• Desenhar soluções de dados
• Desenvolver pipelines
• Otimizar processos de transformação
• Participar na definição de arquitetura e standards
• Garantir qualidade, segurança e governança dos dados
• Apoiar tecnicamente perfis mais juniores

Essential skills

• 5+ anos de experiência em Data Engineering
• Experiência sólida em Microsoft Azure
• Forte experiência em Azure Databricks
• Experiência com PySpark
• Experiência com Azure Data Factory
• Experiência em desenvolvimento e otimização de ETL/ELT
• Experiência com Azure Data Lake Storage / ADLS
• Experiência com Parquet
• Experiência com Delta Lake
• Experiência end-to-end:- ingestão, transformação, modelação, disponibilização
• Capacidade de desenhar arquiteturas escaláveis e orientadas a performance
• Experiência com DataHub / plataformas de dados
• Capacidade de traduzir requisitos funcionais em soluções técnicas
• Experiência em Agile / SCRUM

Desired skills

• Migração Scala PySpark
• Azure Synapse
• JIRA
• Confluence
• Experiência de liderança técnica
• Experiência em arquitetura de dados
• Diferença fundamental face ao P1 (perful mid level)