Data Engineer Mid-Level | Microsoft Azure

Expleo; São Domingos de Benfica; Presencial; EUR 45 000 - 70 000; Tempo integral

Resumo da oferta

A Expleo procura um Engenheiro de Dados para atuar em Lisboa, desenvolvendo soluções de dados na plataforma Microsoft Azure. O candidato ideal tem experiência com pipelines, ingestão, transformação e disponibilização de informação, com foco em Azure Databricks e PySpark.

Este papel envolve desenvolvimento de ETL/ELT, bem como gestão de dados em ADLS, Parquet e Delta Lake, com alinhamento a práticas SCRUM/Agile. Conhecimentos em Azure Data Factory e Synapse são desejáveis.

Qualificações

• Experiência prática em desenvolver soluções de dados em Microsoft Azure.
• Foco em pipelines, ingestão, transformação e disponibilização de informação.
• Experiência com Azure Databricks, PySpark e ETL/ELT.

Responsabilidades

• Desenvolver pipelines de dados no Azure Databricks.
• Ingestão, transformação e modelação de dados.
• Disponibilização de informação e preparação de datasets.

Conhecimentos

Data Engineering

Microsoft Azure

Azure Databricks

PySpark

ETL/ELT

Azure Data Lake Storage

Parquet

Delta Lake

SCRUM/Agile

Ferramentas

Azure Data Factory

Azure Synapse

JIRA

Confluence

Descrição da oferta de emprego

Overview

Expleo is a trusted partner for your innovation journey. As a global engineering, technology and consulting service provider, we are ideally positioned to help you achieve your ambitions and future-proof your business. With a smart blend of bold thinking and reliable execution, we’re able to fast-track innovation through each step of your value chain.

We are strategically positioned to build value, with global footprint across 30 countries.We are as global and local as you need us to be, with strong best-in-class pan-European technological centres and unique best-shoring capabilities.

We leverage a network of high value-adding affiliates in consulting and industrial excellence, and leading partners across multiple sectors to provide you with the most comprehensive services and solutions in an ever-changing environment.

Responsibilities

Procuramos um Data Engineer com experiência prática no desenvolvimento de soluções de dados em Microsoft Azure, com especial foco em Azure Databricks.O profissional deverá ter capacidade para trabalhar no desenvolvimento de pipelines, ingestão e transformação de dados, preparação/modelação e disponibilização de informação.

Essential skills

- 2-5 anos de experiência em Data Engineering- Experiência sólida em Microsoft Azure- Experiência em Azure Databricks- Experiência com PySpark / notebooks- Experiência em desenvolvimento de ETL/ELT- Experiência com Azure Data Lake Storage / ADLS- Conhecimentos de Parquet- Conhecimentos de Delta Lake

Experiência no ciclo completo de dados:- ingestão, transformação, modelação, disponibilizaçãoCapacidade de desenvolver soluções escaláveis e com atenção a performanceExperiência em SCRUM / Agile

Desired skills

- Experiência com Azure Data Factory- Experiência de migração de Scala para PySpark- Azure Synapse- JIRA- Confluence