Senior Data Platform Engineer

ELEVUS

Lisboa

On-site

EUR 70,000 - 110,000

Full time

3 days ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

A ELEVUS procura um Senior Data Platform Engineer para desenhar, desenvolver e evoluir a plataforma empresarial de dados baseada em Databricks, assegurando escalabilidade, governação, segurança e disponibilidade de informação fiável para várias aplicações.

Este profissional lidera pipelines, modelação de dados e soluções reutilizáveis, promovendo Data as a Product e dados acessíveis via APIs REST/GraphQL, streaming e Knowledge Graphs.

Qualifications

  • Experiência 6+ anos em Data Engineering.
  • 2+ anos em plataformas Lakehouse com Databricks.
  • Conhecimentos de Apache Spark e Delta Lake.
  • Unity Catalog ou equivalente para access control e Data Lineage.
  • Técnicas de anonimização/pseudonimização em ambientes regulados.
  • Data Modeling Canonical/Conformed (Data Vault, Dimensional, DDD).
  • APIs REST e GraphQL: desenho de schemas e contratos.
  • Python e/ou Scala e SQL avançado.
  • Infrastructure as Code, Terraform.
  • Governação de dados, GDPR/GDPR e privacidade.
  • Cloud: Azure, AWS, GCP.
  • Pipelines distribuídas; resolução de problemas técnicos.
  • Autonomia no desenvolvimento de soluções de engenharia de dados.
  • Colaboração com equipas multidisciplinares.
  • Compromisso com qualidade, segurança e manutenção.

Responsibilities

  • Desenvolver e manter padrões modulares de ingestão de dados com Batch, APIs e Kafka.
  • Definir frameworks reutilizáveis de ingestão e facilitar novas fontes.
  • Desenvolver pipelines em Databricks com Spark, Delta Lake e DLTs.
  • Implementar architectures Medallion Bronze-Silver-Gold para transformação.
  • Desenvolver governança de dados (acesso, lineage, catalogação, auditoria).
  • Aplicar Data Quality, Data Contracts, monitorização e alertas.
  • Proteger dados com Data Masking, Tokenization e pseudonimização.
  • Desenvolver Data Products alinhados com modelos canónicos e SLAs.
  • Colaborar com equipas de origem de dados mantendo o modelo de dados.
  • Promover Data as a Product com discovery, self-service e contratos de consumo.
  • Disponibilizar dados via BI, APIs REST/GraphQL e Streaming.
  • Definir standards de CI/CD, IaC, testes, observabilidade e custos.
  • Apoiar engenheiros e partilhar conhecimento com boas práticas.
  • Colaborar com Data Governance, Security, Architecture e negócio.
  • Contribuir para melhoria contínua da arquitetura e escalabilidade.

Skills

Apache Spark
Delta Lake
Python
Scala
SQL
Data Modeling
REST APIs
GraphQL
Terraform
Data Governance
GDPR
Azure
AWS
GCP
Data Pipelines
Knowledge Graphs
Databricks
Data Mesh

Tools

Delta Live Tables
Lakeflow Declarative Pipelines
OpenMetadata
Collibra
Purview
Neo4j
Debezium

Job description

Enquadramento da Função

Procuramos um Senior Data Platform Engineer para assumir responsabilidades no desenho, desenvolvimento e evolução de uma plataforma empresarial de dados baseada em Databricks, assegurando a escalabilidade, governação, segurança e disponibilização de informação fiável para diferentes aplicações e serviços.

A função combina conhecimentos avançados de Data Engineering, Data Platform Architecture e Data Governance com competências de desenvolvimento de pipelines, modelação de dados e implementação de soluções reutilizáveis.

O profissional terá um papel central na construção e evolução de uma plataforma modular de dados, suportando processos de ingestão, transformação e disponibilização de informação através de Analytics, APIs, Streaming e Knowledge Graphs.

Trata-se de uma função técnica com forte componente prática, orientada para o desenvolvimento de capacidades reutilizáveis, implementação de modelos de dados consistentes e promoção de uma abordagem Data as a Product.

Principais Responsabilidades
  • Desenvolver e manter padrões modulares de ingestão de dados, suportando fontes Batch, APIs e arquiteturas Event-Driven, incluindo JDBC, conectores SaaS/ERP, Kafka e CDC;
  • Definir e implementar frameworks reutilizáveis de ingestão de dados, preferencialmente orientadas por metadados, facilitando a integração consistente de novas fontes de informação;
  • Desenvolver e otimizar pipelines de dados em Databricks, recorrendo a Apache Spark, Delta Lake e Delta Live Tables/Lakeflow Declarative Pipelines;
  • Implementar arquiteturas Medallion, incluindo as camadas Bronze, Silver e Gold, assegurando a organização e qualidade dos processos de transformação;
  • Desenvolver e evoluir mecanismos de Data Governance, incluindo controlo de acessos, Data Lineage, Data Cataloguing, auditoria, classificação de dados e conformidade com requisitos de privacidade;
  • Definir e aplicar standards de Data Quality, Data Contracts, monitorização e alertas nos processos de ingestão e transformação;
  • Implementar mecanismos de proteção de dados, incluindo Data Masking, Tokenization, Pseudonymization e outras técnicas de anonimização, em conformidade com os requisitos regulamentares aplicáveis;
  • Desenvolver e manter Data Products alinhados com modelos de dados canónicos, assegurando responsabilidades definidas, SLAs e documentação técnica;
  • Colaborar com equipas de diferentes domínios na integração de dados de origem, preservando as especificidades funcionais e o alinhamento com o modelo de dados comum;
  • Promover uma abordagem Data as a Product, assegurando mecanismos de descoberta, self-service, versionamento e contratos de consumo de dados;
  • Desenvolver e manter camadas de disponibilização e consumo de dados, incluindo datasets de BI/Analytics, APIs REST/GraphQL, Streaming e representações em Knowledge Graphs;
  • Definir e promover standards técnicos relacionados com CI/CD, Infrastructure as Code, testes, observabilidade e otimização de custos;
  • Apoiar tecnicamente outros engenheiros, promovendo a partilha de conhecimento e a adoção de boas práticas;
  • Colaborar com equipas de Data Governance, Security, Architecture e stakeholders de negócio na evolução da plataforma;
  • Contribuir para a melhoria contínua da arquitetura e dos processos de engenharia, assegurando a qualidade, segurança e escalabilidade das soluções desenvolvidas.
Requisitos
  • Experiência profissional de aproximadamente 6 anos ou mais em Data Engineering, incluindo pelo menos 2 anos no desenho e operação de plataformas Lakehouse baseadas em Databricks, em ambientes de produção;
  • Experiência prática com Apache Spark e Delta Lake;
  • Experiência na utilização de Unity Catalog ou soluções equivalentes para controlo de acessos, Data Lineage e catalogação de dados;
  • Experiência comprovada na implementação de técnicas de anonimização e pseudonimização em ambientes regulamentados;
  • Conhecimentos sólidos de Canonical/Conformed Data Modelling, incluindo abordagens como Data Vault, Dimensional Modelling e Domain-Driven Design aplicado a dados;
  • Experiência no desenvolvimento e disponibilização de dados através de APIs REST e GraphQL, incluindo desenho de schemas, contratos e mecanismos de versionamento;
  • Conhecimentos avançados de Python e/ou Scala e SQL;
  • Experiência com Infrastructure as Code, preferencialmente Terraform;
  • Conhecimentos sólidos de Data Governance, regulamentação de privacidade, nomeadamente RGPD/GDPR e CCPA, e práticas de Data Security;
  • Experiência com plataformas Cloud, nomeadamente Microsoft Azure, AWS ou Google Cloud Platform, e respetivos serviços de dados e eventos;
  • Capacidade de desenvolvimento e otimização de pipelines de dados em arquiteturas distribuídas;
  • Capacidade de análise técnica e resolução de problemas complexos;
  • Autonomia no desenvolvimento e implementação de soluções de Engenharia de Dados;
  • Capacidade de colaboração com equipas multidisciplinares;
  • Compromisso com a qualidade, segurança e manutenção das soluções desenvolvidas.
Valorizamos
  • Experiência com Delta Live Tables/Lakeflow Declarative Pipelines;
  • Experiência com Structured Streaming e arquiteturas de ingestão Event-Driven, incluindo Kafka e ferramentas CDC, como Debezium;
  • Conhecimentos de Knowledge Graphs e tecnologias associadas, nomeadamente RDF, Property Graphs, Neo4j e Graph Layers sobre Spark;
  • Experiência com arquiteturas Data Mesh ou modelos federados de Data Products;
  • Conhecimentos de ferramentas de Metadata Management e Data Catalog, como OpenMetadata, Collibra ou Microsoft Purview;
  • Experiência com práticas de MLOps ou Feature Stores em ambientes Databricks;
  • Certificações relevantes, nomeadamente Databricks Data Engineer Professional ou certificações de arquitetura Cloud.
Perfil Procurado

Procuramos um profissional com experiência consolidada em Data Engineering e plataformas de dados baseadas em Databricks, capaz de desenvolver soluções escaláveis, seguras e governadas, assegurando a qualidade e disponibilidade da informação em ambientes empresariais complexos.

Deverá combinar conhecimentos avançados de Apache Spark, Delta Lake, modelação de dados e arquiteturas Cloud com autonomia na implementação de pipelines, mecanismos de governação e componentes reutilizáveis.

A capacidade de estruturar soluções técnicas, garantir a proteção e rastreabilidade dos dados e promover a adoção de boas práticas de engenharia será essencial, assim como a facilidade de colaboração com equipas de arquitetura, segurança, governação e negócio.

Valorizamos um perfil analítico, proativo e orientado para a excelência técnica, com capacidade de assumir responsabilidades de desenvolvimento, contribuir para a evolução da arquitetura e promover uma abordagem Data as a Product que assegure consistência, eficiência e escalabilidade na disponibilização de dados.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Platform Lead
Data Platform Lead

ELEVUS • Lisboa

On-site
EUR 70,000 - 110,000
Senior Data Platform Engineer
Senior Data Platform Engineer

LUZA Group • Lisboa

On-site
EUR 75,000 - 90,000
Senior Platform Engineer / Sre
Senior Platform Engineer / Sre

Tangible • Lisboa

On-site
EUR 65,000 - 95,000
Senior Analytics Engineer - Data Platform & Metrics (Lisbon)
Senior Analytics Engineer - Data Platform & Metrics (Lisbon)

Sosafe • Lisboa

On-site
EUR 90,000 - 120,000
Data Platform Lead
Data Platform Lead

LUZA Group • Lisboa

On-site
EUR 70,000 - 110,000
Data Engineer Master
Data Engineer Master

Elevus • Lisboa

On-site
EUR 90,000 - 130,000
Sre Lead Engineer: Platform Reliability & Excellence
Sre Lead Engineer: Platform Reliability & Excellence

Vodafone • Lisboa

On-site
EUR 65,000 - 90,000
Data Architect (Azure & Databricks)
Data Architect (Azure & Databricks)

Timestamp • Alvalade

On-site
EUR 70,000 - 90,000
Senior Data Platform Engineer - Databricks & Data Governance
Senior Data Platform Engineer - Databricks & Data Governance

Tangible • Lisboa

On-site
EUR 65,000 - 95,000
Data Engineer - Databricks
Data Engineer - Databricks

NoeXa - IT Solutions • Lisboa

Hybrid
EUR 45,000 - 65,000
Top locations