Data Engineer – Databricks

Ytech; Portugal; On-site; EUR 50,000 - 75,000; Full time

Benefits offered by this job

Seguro de saúde

Formação e certificações

Benefícios flexíveis

Progressão de carreira

Acompanhamento pela equipa

Job summary

A Ytech em Portugal procura um Data Engineer - Databricks com +4 anos de experiência para integrar um projeto desafiante e desenvolver pipelines de dados escaláveis numa arquitetura Lakehouse baseada em Databricks.

Vai colaborar com Data Architects, equipas de BI e Analytics, contribuindo para a governação de dados, qualidade e desempenho, num ambiente ágil e de inovação constante. Participação em formação e certificações está prevista.

Qualifications

• Experiência mínima de 4 anos em Data Engineering.
• Experiência mínima de 2 anos com Databricks.
• Conhecimentos sólidos de PySpark e SQL, incluindo otimização de queries.
• Experiência com Azure Data Platform.
• Experiência no desenvolvimento de pipelines ETL/ELT.
• Conhecimentos de arquitetura Lakehouse e Medallion Architecture.
• Experiência com Git e práticas de CI/CD.
• Experiência em Data Hub ou Enterprise Data Platform (valoriza-se).
• Capacidade de análise, resolução de problemas e trabalho em equipa.

Responsibilities

• Desenvolver e manter pipelines de ingestão, integração e transformação de dados (ETL/ELT).
• Implementar workflows de processamento de dados utilizando Databricks e PySpark.
• Construir e otimizar as camadas Bronze, Silver e Gold, seguindo a arquitetura Medallion.
• Integrar dados provenientes de diferentes sistemas empresariais, APIs e fontes externas.
• Desenvolver frameworks e componentes reutilizáveis para soluções de Data Engineering.
• Otimizar a performance, escalabilidade e eficiência dos pipelines de dados.
• Garantir a qualidade, segurança e fiabilidade dos dados.
• Apoiar iniciativas de governação, catalogação e rastreabilidade de dados.
• Colaborar com Data Architects, equipas de BI e Analytics na implementação de soluções.
• Participar em metodologias Agile e processos de entrega contínua.

Skills

Data Engineering

Databricks

PySpark

SQL

Azure Data Platform

ETL/ELT pipelines

Medallion Architecture

CI/CD

Git

Lakehouse

Job description

Na Ytech, vivemos e respiramos tecnologia.

A nossa missão é transformar desafios em soluções e encontrar, todos os dias, novas formas de inovar.

Fundada em 2020, somos uma start-up tecnológica que atua nos setores de IT e Telecomunicações, com uma ambição clara: agitar o mercado, romper padrões e criar valor real através da inovação.

Qual o desafio que temos para ti?

Nível de experiência: +4 anos

Procuramos um Data Engineer - Databricks para integrar um projeto desafiante, contribuindo para o desenvolvimento, implementação e otimização de soluções de dados escaláveis numa plataforma Lakehouse baseada em Databricks.

O que vais fazer:

• Desenvolver e manter pipelines de ingestão, integração e transformação de dados (ETL/ELT)
• Implementar workflows de processamento de dados utilizando Databricks e PySpark
• Construir e otimizar as camadas Bronze, Silver e Gold, seguindo a arquitetura Medallion
• Integrar dados provenientes de diferentes sistemas empresariais, APIs e fontes externas
• Desenvolver frameworks e componentes reutilizáveis para soluções de Data Engineering
• Otimizar a performance, escalabilidade e eficiência dos pipelines de dados
• Garantir a qualidade, segurança e fiabilidade dos dados
• Apoiar iniciativas de governação, catalogação e rastreabilidade de dados
• Colaborar com Data Architects, equipas de BI e Analytics na implementação de soluções
• Participar em metodologias Agile e processos de entrega contínua

O que valorizamos em ti:

• Experiência mínima de 4 anos em Data Engineering
• Experiência mínima de 2 anos em desenvolvimento com Databricks
• Conhecimentos sólidos de PySpark e SQL, incluindo otimização de queries
• Experiência com serviços Azure Data Platform
• Experiência no desenvolvimento de pipelines ETL/ELT e frameworks de ingestão de dados
• Conhecimentos de arquitetura Lakehouse e Medallion Architecture
• Experiência com Git e práticas de CI/CD
• Experiência em projetos de Data Hub ou Enterprise Data Platform (valorizada)
• Capacidade de análise, resolução de problemas e trabalho em equipa

Benefícios em fazeres parte da nossa equipa:

• Projeto tecnologicamente desafiante e de longa duração
• Integração numa equipa especializada em tecnologias de dados
• Programa de formações e certificações
• Seguro de saúde
• Benefícios flexíveis
• Progressão de carreira estruturada
• Acompanhamento contínuo pela equipa Ytech