Hybrid Cloud Data Platform Engineer | Data Governance

Sourcing Trust; Lisboa; Hybrid; EUR 42,000 - 66,000; Full time

Job summary

A Sourcing Trust procura um Data Engineer para conceber, implementar e evoluir a plataforma corporativa de dados em ambiente cloud, assegurando disponibilidade, qualidade, segurança, governança e rastreabilidade ao longo do ciclo de vida dos dados.

O candidato irá trabalhar na construção e gestão de Data Lakes, Lakehouses e Data Warehouses, garantindo integração entre várias fontes e conformidade com políticas de governança. Regime híbrido em Lisboa e Santarém.

Qualifications

• Experiência com plataformas cloud, preferencialmente Microsoft Azure.
• Conhecimentos de Data Lakes, Lakehouses, Data Warehouses e arquiteturas de dados modernas.
• Experiência com Azure Data Factory, Azure Data Lake Storage Gen2, SQL e Databricks.
• Conhecimentos de modelação de dados, ETL/ELT, Data Governance, Data Quality, Data Catalog e Metadata Management.
• Programação em Python e SQL; utilização de Git e práticas de DevOps/CI/CD.

Responsibilities

• Conceção e gestão de arquiteturas de dados em cloud, incluindo Data Lakes, Lakehouses e Data Warehouses.
• Desenvolvimento e otimização de pipelines ETL/ELT para integração e transformação de dados provenientes de múltiplas fontes.
• Implementação de práticas de Data Governance, garantindo catalogação, metadados, Data Lineage e conformidade com normas de qualidade e privacidade.
• Definição e monitorização de qualidade e segurança dos dados, incluindo controlos de acesso, validação, integridade e auditoria.
• Automatização, monitorização e observabilidade dos processos e fluxos de dados.
• Disponibilização de dados fiáveis para Analytics, BI e Data Science, apoiando métricas de negócio.
• Colaboração com equipas técnicas e de negócio para transformar dados em informação útil para a decisão estratégica.
• Apresentação de conclusões e recomendações à gestão, contribuindo para iniciativas de melhoria e inovação baseadas em dados.

Skills

Azure Cloud

Data Lakes

Lakehouses

Data Warehouses

ETL/ELT

Data Governance

Data Quality

Python

SQL

Git

CI/CD

Tools

Azure Data Factory

Azure Data Lake Gen2

Databricks

Job description

A Sourcing Trust procura um Data Engineer para conceber, implementar e evoluir a plataforma corporativa de dados em ambiente cloud, assegurando disponibilidade, qualidade, segurança, governança e rastreabilidade ao longo do ciclo de vida dos dados.

O candidato irá trabalhar na construção e gestão de Data Lakes, Lakehouses e Data Warehouses, garantindo integração entre várias fontes e conformidade com políticas de governança. Regime híbrido em Lisboa e Santarém.