Databricks Data Engineer Lakehouse PySpark

Ytech; Portugal; Presencial; EUR 50.000 - 75.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Seguro de saúde

Formação e certificações

Benefícios flexíveis

Progressão de carreira

Acompanhamento pela equipa

Descripción de la vacante

A Ytech em Portugal procura um Data Engineer - Databricks com +4 anos de experiência para integrar um projeto desafiante e desenvolver pipelines de dados escaláveis numa arquitetura Lakehouse baseada em Databricks.

Vai colaborar com Data Architects, equipas de BI e Analytics, contribuindo para a governação de dados, qualidade e desempenho, num ambiente ágil e de inovação constante. Participação em formação e certificações está prevista.

Formación

• Experiência mínima de 4 anos em Data Engineering.
• Experiência mínima de 2 anos com Databricks.
• Conhecimentos sólidos de PySpark e SQL, incluindo otimização de queries.
• Experiência com Azure Data Platform.
• Experiência no desenvolvimento de pipelines ETL/ELT.
• Conhecimentos de arquitetura Lakehouse e Medallion Architecture.
• Experiência com Git e práticas de CI/CD.
• Experiência em Data Hub ou Enterprise Data Platform (valoriza-se).
• Capacidade de análise, resolução de problemas e trabalho em equipa.

Responsabilidades

• Desenvolver e manter pipelines de ingestão, integração e transformação de dados (ETL/ELT).
• Implementar workflows de processamento de dados utilizando Databricks e PySpark.
• Construir e otimizar as camadas Bronze, Silver e Gold, seguindo a arquitetura Medallion.
• Integrar dados provenientes de diferentes sistemas empresariais, APIs e fontes externas.
• Desenvolver frameworks e componentes reutilizáveis para soluções de Data Engineering.
• Otimizar a performance, escalabilidade e eficiência dos pipelines de dados.
• Garantir a qualidade, segurança e fiabilidade dos dados.
• Apoiar iniciativas de governação, catalogação e rastreabilidade de dados.
• Colaborar com Data Architects, equipas de BI e Analytics na implementação de soluções.
• Participar em metodologias Agile e processos de entrega contínua.

Conocimientos

Data Engineering

Databricks

PySpark

SQL

Azure Data Platform

ETL/ELT pipelines

Medallion Architecture

CI/CD

Git

Lakehouse

Descripción del empleo

A Ytech em Portugal procura um Data Engineer - Databricks com +4 anos de experiência para integrar um projeto desafiante e desenvolver pipelines de dados escaláveis numa arquitetura Lakehouse baseada em Databricks.

Vai colaborar com Data Architects, equipas de BI e Analytics, contribuindo para a governação de dados, qualidade e desempenho, num ambiente ágil e de inovação constante. Participação em formação e certificações está prevista.