Data Engineer: Lakehouse Pipelines & Iceberg (Remote/Lisbon)

Mcc Consulting; Lisboa; Hybrid; EUR 42,000 - 64,000; Full time

Job summary

MCC Consulting, sediada em Lisboa, procura um(a) Data Engineer para integrar um projeto desafiador com foco em desenvolvimento, otimização e manutenção de soluções de processamento de dados em arquiteturas Lakehouse.

Procuramos experiência em engenharia de dados, pipelines otimizados e tecnologias como Apache Iceberg, para assegurar performance, fiabilidade e escalabilidade ao longo do ciclo de desenvolvimento de software (SDLC).

Qualifications

• Experiência em engenharia de dados e arquiteturas Lakehouse.
• Conhecimentos sólidos de Apache Iceberg e operações de tabelas.
• Experiência em desenvolvimento, manutenção e orquestração de pipelines de dados.
• Capacidade de colaboração com equipas multidisciplinares e resolução de problemas.

Responsibilities

• Assegurar o suporte e evolução de frameworks de ingestão e transformação de dados.
• Desenvolver e otimizar processos de processamento de dados em ambientes Lakehouse.
• Gerir e otimizar tabelas Apache Iceberg, garantindo eficiência e desempenho.
• Implementar processos de compaction e retention.
• Identificar, analisar e resolver problemas em pipelines de dados.
• Colaborar com equipas de diferentes domínios na implementação de padrões ELT e orquestração.
• Contribuir para a melhoria de performance, fiabilidade e escalabilidade.
• Participar em gestão de releases e documentação técnica ao longo do SDLC.
• Experiência em Engenharia de Dados e arquiteturas Lakehouse.

Skills

Data engineering

Pipeline optimization

Lakehouse architectures

Apache Iceberg

ELT orchestration

SDLC documentation

Performance tuning

Tools

Apache Iceberg

Job description

MCC Consulting, sediada em Lisboa, procura um(a) Data Engineer para integrar um projeto desafiador com foco em desenvolvimento, otimização e manutenção de soluções de processamento de dados em arquiteturas Lakehouse.

Procuramos experiência em engenharia de dados, pipelines otimizados e tecnologias como Apache Iceberg, para assegurar performance, fiabilidade e escalabilidade ao longo do ciclo de desenvolvimento de software (SDLC).