Enquadramento da Função
Procuramos um Senior Data Platform Engineer para assumir responsabilidades no desenho, desenvolvimento e evolução de uma plataforma empresarial de dados baseada em Databricks, assegurando a escalabilidade, governação, segurança e disponibilização de informação fiável para diferentes aplicações e serviços.
A função combina conhecimentos avançados de Data Engineering, Data Platform Architecture e Data Governance com competências de desenvolvimento de pipelines, modelação de dados e implementação de soluções reutilizáveis.
O profissional terá um papel central na construção e evolução de uma plataforma modular de dados, suportando processos de ingestão, transformação e disponibilização de informação através de Analytics, APIs, Streaming e Knowledge Graphs.
Trata-se de uma função técnica com forte componente prática, orientada para o desenvolvimento de capacidades reutilizáveis, implementação de modelos de dados consistentes e promoção de uma abordagem Data as a Product.
Principais Responsabilidades
- Desenvolver e manter padrões modulares de ingestão de dados, suportando fontes Batch, APIs e arquiteturas Event-Driven, incluindo JDBC, conectores SaaS/ERP, Kafka e CDC;
- Definir e implementar frameworks reutilizáveis de ingestão de dados, preferencialmente orientadas por metadados, facilitando a integração consistente de novas fontes de informação;
- Desenvolver e otimizar pipelines de dados em Databricks, recorrendo a Apache Spark, Delta Lake e Delta Live Tables/Lakeflow Declarative Pipelines;
- Implementar arquiteturas Medallion, incluindo as camadas Bronze, Silver e Gold, assegurando a organização e qualidade dos processos de transformação;
- Desenvolver e evoluir mecanismos de Data Governance, incluindo controlo de acessos, Data Lineage, Data Cataloguing, auditoria, classificação de dados e conformidade com requisitos de privacidade;
- Definir e aplicar standards de Data Quality, Data Contracts, monitorização e alertas nos processos de ingestão e transformação;
- Implementar mecanismos de proteção de dados, incluindo Data Masking, Tokenization, Pseudonymization e outras técnicas de anonimização, em conformidade com os requisitos regulamentares aplicáveis;
- Desenvolver e manter Data Products alinhados com modelos de dados canónicos, assegurando responsabilidades definidas, SLAs e documentação técnica;
- Colaborar com equipas de diferentes domínios na integração de dados de origem, preservando as especificidades funcionais e o alinhamento com o modelo de dados comum;
- Promover uma abordagem Data as a Product, assegurando mecanismos de descoberta, self-service, versionamento e contratos de consumo de dados;
- Desenvolver e manter camadas de disponibilização e consumo de dados, incluindo datasets de BI/Analytics, APIs REST/GraphQL, Streaming e representações em Knowledge Graphs;
- Definir e promover standards técnicos relacionados com CI/CD, Infrastructure as Code, testes, observabilidade e otimização de custos;
- Apoiar tecnicamente outros engenheiros, promovendo a partilha de conhecimento e a adoção de boas práticas;
- Colaborar com equipas de Data Governance, Security, Architecture e stakeholders de negócio na evolução da plataforma;
- Contribuir para a melhoria contínua da arquitetura e dos processos de engenharia, assegurando a qualidade, segurança e escalabilidade das soluções desenvolvidas.
Requisitos
- Experiência profissional de aproximadamente 6 anos ou mais em Data Engineering, incluindo pelo menos 2 anos no desenho e operação de plataformas Lakehouse baseadas em Databricks, em ambientes de produção;
- Experiência prática com Apache Spark e Delta Lake;
- Experiência na utilização de Unity Catalog ou soluções equivalentes para controlo de acessos, Data Lineage e catalogação de dados;
- Experiência comprovada na implementação de técnicas de anonimização e pseudonimização em ambientes regulamentados;
- Conhecimentos sólidos de Canonical/Conformed Data Modelling, incluindo abordagens como Data Vault, Dimensional Modelling e Domain-Driven Design aplicado a dados;
- Experiência no desenvolvimento e disponibilização de dados através de APIs REST e GraphQL, incluindo desenho de schemas, contratos e mecanismos de versionamento;
- Conhecimentos avançados de Python e/ou Scala e SQL;
- Experiência com Infrastructure as Code, preferencialmente Terraform;
- Conhecimentos sólidos de Data Governance, regulamentação de privacidade, nomeadamente RGPD/GDPR e CCPA, e práticas de Data Security;
- Experiência com plataformas Cloud, nomeadamente Microsoft Azure, AWS ou Google Cloud Platform, e respetivos serviços de dados e eventos;
- Capacidade de desenvolvimento e otimização de pipelines de dados em arquiteturas distribuídas;
- Capacidade de análise técnica e resolução de problemas complexos;
- Autonomia no desenvolvimento e implementação de soluções de Engenharia de Dados;
- Capacidade de colaboração com equipas multidisciplinares;
- Compromisso com a qualidade, segurança e manutenção das soluções desenvolvidas.
Valorizamos
- Experiência com Delta Live Tables/Lakeflow Declarative Pipelines;
- Experiência com Structured Streaming e arquiteturas de ingestão Event-Driven, incluindo Kafka e ferramentas CDC, como Debezium;
- Conhecimentos de Knowledge Graphs e tecnologias associadas, nomeadamente RDF, Property Graphs, Neo4j e Graph Layers sobre Spark;
- Experiência com arquiteturas Data Mesh ou modelos federados de Data Products;
- Conhecimentos de ferramentas de Metadata Management e Data Catalog, como OpenMetadata, Collibra ou Microsoft Purview;
- Experiência com práticas de MLOps ou Feature Stores em ambientes Databricks;
- Certificações relevantes, nomeadamente Databricks Data Engineer Professional ou certificações de arquitetura Cloud.
Perfil Procurado
Procuramos um profissional com experiência consolidada em Data Engineering e plataformas de dados baseadas em Databricks, capaz de desenvolver soluções escaláveis, seguras e governadas, assegurando a qualidade e disponibilidade da informação em ambientes empresariais complexos.
Deverá combinar conhecimentos avançados de Apache Spark, Delta Lake, modelação de dados e arquiteturas Cloud com autonomia na implementação de pipelines, mecanismos de governação e componentes reutilizáveis.
A capacidade de estruturar soluções técnicas, garantir a proteção e rastreabilidade dos dados e promover a adoção de boas práticas de engenharia será essencial, assim como a facilidade de colaboração com equipas de arquitetura, segurança, governação e negócio.
Valorizamos um perfil analítico, proativo e orientado para a excelência técnica, com capacidade de assumir responsabilidades de desenvolvimento, contribuir para a evolução da arquitetura e promover uma abordagem Data as a Product que assegure consistência, eficiência e escalabilidade na disponibilização de dados.