Engenheiro de dados

Human Profiler - IT Outsourcing & Recruitment; Lisboa; Presencial; EUR 42 000 - 64 000; Tempo integral

Resumo da oferta

A Human Profiler - IT Outsourcing & Recruitment procura um Data Engineer com 3-5 anos de experiência para desenhar, construir e otimizar pipelines de dados no ecossistema Azure e Lakehouse. O candidato trabalhará com Data Factory, Databricks, Synapse e Power BI para entregar fluxos de dados robustos, seguros e conformes com RGPD.

É essencial dominar SQL avançado, Python (PySpark/pandas) e Spark, bem como comunicar com áreas financeiras (Riscos, Compliance) para assegurar a qualidade dos dados

Qualificações

• Experiência comprovada como Data Engineer (mínimo 3-5 anos, consoante senioridade).
• Experiência prática com Fabric Lakehouse, Data Factory, Notebooks, OneLake e integração com Power BI.
• Experiência sólida em ambientes cloud, preferencialmente Microsoft Azure (AWS ou GCP são uma mais-valia).
• SQL avançado (otimização de queries, stored procedures, performance tuning).
• Python para engenharia de dados (PySpark, pandas).
• Apache Spark / processamento distribuído de grandes volumes de dados.
• Modelação de dados: modelação dimensional, star schema, data vault.
• Conceitos de Data Warehousing e arquiteturas Lakehouse / Medallion.
• Desenho, construção e orquestração de pipelines ETL/ELT.
• Controlo de versões (Git) e práticas de CI/CD aplicadas a dados.
• Conhecimentos de governança, qualidade e segurança de dados, incluindo RGPD.
• Inglês fluente, escrito e falado.
• Compreensão dos principais processos e produtos bancários para construir fluxos de dados que os suportem.
• Capacidade de dialogar com áreas de negócio para esclarecer requisitos e validar dados.
• Conhecimento de conceitos do setor financeiro relevantes para o dia a dia de um Data Engineer: risco de crédito, KYC/AML, reporte regulatório, RGPD aplicado ao setor bancário.
• Capacidade de explicar opções técnicas a interlocutores não técnicos de forma clara e acessível.
• Sentido crítico para identificar inconsistências ou erros nos dados à luz do significado para o negócio.
• Certificações Microsoft — Fabric Analytics Engineer Associate, Azure Data Engineer Associate ou equivalentes.
• Experiência prévia no setor bancário, financeiro ou ambiente altamente regulado.
• Conhecimentos de Power BI (DAX, modelação semântica).
• Experiência com Databricks e/ou Azure Synapse Analytics.
• Conhecimento de processamento de dados em streaming (Kafka, Event Hubs).
• Conhecimentos de Scala ou Java.
• Experiência em metodologias Agile/Scrum.

Conhecimentos

Fabric Lakehouse

Data Factory

Notebooks

OneLake

Power BI

Azure

SQL avançado

Python (PySpark, pandas)

Apache Spark

Dimensional modelling

Star schema

Data vault

ETL/ELT pipelines

Git

CI/CD for data

Data governance (RGPD)

Inglês fluente

Banking domain knowledge

KYC/AML knowledge

Ferramentas

Databricks

Azure Synapse Analytics

Kafka

Event Hubs

Power BI

Descrição da oferta de emprego

Experiência comprovada como Data Engineer (mínimo 3-5 anos, consoante senioridade).

Experiência prática e demonstrável com Microsoft Fabric Lakehouse, Data Factory (pipelines), Notebooks, OneLake e integração com Power BI. (Obrigatório)

Experiência sólida em ambientes cloud, preferencialmente Microsoft Azure (AWS ou GCP são uma mais-valia). (Obrigatório)

SQL avançado (otimização de queries, stored procedures, performance tuning).

Python para engenharia de dados (PySpark, pandas).

Apache Spark / processamento distribuído de grandes volumes de dados.

Modelação de dados: modelação dimensional, star schema, data vault.

Conceitos de Data Warehousing e arquiteturas Lakehouse / Medallion.

Desenho, construção e orquestração de pipelines ETL/ELT.

Controlo de versões (Git) e práticas de CI/CD aplicadas a dados.

Conhecimentos de governança, qualidade e segurança de dados, incluindo RGPD.

Inglês fluente, escrito e falado.

Compreensão dos principais processos e produtos bancários (ex.: crédito, meios de pagamento, contas, poupança/investimento) suficiente para construir corretamente os fluxos de dados que os suportam.

Capacidade de dialogar com as áreas de negócio (Finanças, Risco, Compliance, Comercial) para esclarecer requisitos e validar que os dados entregues correspondem à realidade do negócio.

Conhecimento prático de conceitos do setor financeiro relevantes para o dia a dia de um Data Engineer: risco de crédito, KYC/AML, reporte regulatório, RGPD aplicado ao setor bancário.

Capacidade de explicar opções e limitações técnicas a interlocutores não técnicos, de forma clara e acessível.

Sentido crítico para identificar inconsistências ou erros nos dados à luz do significado que têm para o negócio, e não apenas da sua correção técnica.

Requisitos valorizados (nice-to-have)

Certificações Microsoft — Fabric Analytics Engineer Associate, Azure Data Engineer Associate ou equivalentes.

Experiência prévia no setor bancário, financeiro ou outro ambiente altamente regulado.

Conhecimentos de Power BI (DAX, modelação semântica).

Experiência com Databricks e/ou Azure Synapse Analytics.

Conhecimento de processamento de dados em streaming (Kafka, Event Hubs).

Conhecimentos de Scala ou Java.

Experiência em metodologias Agile/Scrum.