Data Engineer - Mid - Remote Hibrido Lisboa

emagine; Lisboa; Presencial; EUR 55 000 - 75 000; Tempo integral

Resumo da oferta

A emagine está recrutando um especialista para estruturar o Pipeline de Dados em Lisboa, Portugal. O foco é construir, otimizar e manter pipelines ETL/ELT, definindo camadas (raw, bronze, silver, gold) e governança.

O papel coordena a implementação técnica, assegurando padrões de arquitetura, desempenho, confiabilidade e escalabilidade, atuando como ponte entre o time técnico e stakeholders, promovendo melhorias contínuas e inovação.

Qualificações

• Experiência em construção de pipelines de dados (ETL/ELT) e governança de dados.
• Capacidade de manter alta performance, confiabilidade e escalabilidade de código e jobs.
• Habilidade de atuar como ponte entre time técnico e stakeholders.
• Conhecimento de padrões de camadas (raw, bronze, silver, gold) e catalogação de dados.
• Capacidade de resolver gargalos técnicos e capacitar a equipe com as tecnologias escolhidas.

Responsabilidades

• Constrói, otimiza e mantém pipelines de ingestão, transformação e carga de dados (ETL/ELT).
• Define a arquitetura dos pipelines, padrões, camadas e governança.
• Coordena a implementação técnica dos pipelines, assegurando boas práticas e padrões da arquitetura.
• Foco na execução técnica, performance e confiabilidade do código e jobs.
• Ferramentas e tecnologias: Spark, SQL, Python, Delta Lake e Azure Fabric.

Ferramentas

Spark

SQL

Python

Delta Lake

Arquitetura de dados

Azure Fabric

Descrição da oferta de emprego

1. Estruturação do Pipeline de Dados

• Constrói, otimiza e mantém pipelines de ingestão, transformação e carga de dados (ETL/ELT).
• Define a arquitetura dos pipelines, os padrões, camadas (raw, bronze, silver, gold) e governança.
• Coordena a implementação técnica dos pipelines, garantindo boas práticas e padrões definidos pela arquitetura.

2. Visão Técnica e Estratégica

• Foco na execução técnica, performance e confiabilidade do código e jobs.
• Foco em escalabilidade, interoperabilidade entre sistemas, e desenho da malha de dados.
• Equilibra visão técnica e de produto; atua como ponte entre time técnico e stakeholders.

3. Ferramentas e Tecnologias

• Especialista em Spark, SQL, Python, Delta Lake e Arquitetura de dados.
• Escolhe as ferramentas e tecnologias do ecossistema - Azure Fabric.
• Garante que o time esteja capacitado nas tecnologias escolhidas e ajuda a resolver gargalos técnicos.

4. Segurança e Qualidade dos Dados

• Implementa testes, validações, e lida com tratamento de erros e dados corrompidos.
• Define padrões de qualidade, catalogação, segurança e políticas de acesso.
• Garante que essas diretrizes sejam seguidas no dia a dia do time.

5. Evolução Contínua e Inovação

• Automatiza e monitora para melhorar continuamente performance e custo.
• Avalia e propõe novas abordagens arquiteturais conforme o crescimento do negócio.
• Estimula inovação no time, prom> o POCs e adoção de novas soluções alinhadas à estratégia.