Engenheiro de Dados Databricks (Home Office/Brasil)

Programmers; Brasil; Hybrid; BRL 180,000 - 240,000; Full time

Benefits offered by this job

Política de Home Office

Plano de saúde nacional

Plano odontológico

Convênio Sesc

Wellhub

Vale refeição/alimentação

Auxílio creche

Participação nos resultados

Licença parental estendida

Plano de desenvolvimento com capacita

Treinamento do idioma ingleas

Job summary

A Programmers, com mais de 30 anos de atuação, é especializada em desenvolvimento de software e inteligência de dados. Procuramos Engenheiro de Dados com experiência em Databricks para desenhar, implantar e otimizar pipelines de dados robustos, em ambientes distribuídos, com foco em qualidade, confiabilidade e governança.

O candidato trabalhará em times enxutos, com autonomia para entregar soluções ágeis, aproveitando AWS e ferramentas de orquestração como Airflow.

Qualifications

• Experiência prática em engenharia de dados com Databricks
• Proficiência em PySpark, SQL e processamento distribuído
• Conhecimento sólido de Delta Lake, Lakehouse e modelagem de dados

Responsibilities

• Projetar, desenvolver e implantar pipelines de dados ETL/ELT no Databricks com PySpark, SQL e Delta Lake.
• Otimizar desempenho de pipelines e gerenciar fluxos de trabalho com Jobs, Workflows e notebooks Databricks.
• Ingerir, limpar e transformar dados estruturados e não estruturados de várias fontes.
• Colaborar com arquitetos de dados, analistas e equipes de negócio para traduzir requisitos em modelos.
• Monitorar execução dos pipelines usando Airflow.

Skills

Databricks

PySpark

SQL

Delta Lake

Lakehouse architecture

AWS cloud

Tools

Airflow

Databricks Jobs/Workflows

Git/GitHub/Azure DevOps

Job description

NOSSO NEGÓCIO

Aqui na Programmers, aceleramos grandes ideias com inovação e tecnologia. Com uma trajetória de mais de 30 anos, o que nos move são os desafios em construir ideias em soluções reais, para que nossos clientes sejam referências no segmento que atuam.

Especialistas em desenvolvimento de software e inteligência de dados, temos uma relação de transparência, confiança, credibilidade e reconhecimento neste mercado.

Nosso maior sonho? Impactar empresas e pessoas.

O QUE ESPERAMOS DE VOCÊ?

Buscamos um Engenheiro de Dados com experiência em Databricks, que tenha domínio em processos de ingestão, transformação, processamento e estruturação de dados, garantindo que as informações estejam organizadas, confiáveis e prontas para atender às necessidades do negócio.
É importante ter um perfil dinâmico, proativo e adaptável, com autonomia para atuar em times enxutos, lidar com diferentes desafios e entregar soluções de forma ágil, nos quais a qualidade e a organização dos dados são fundamentais para viabilizar o desenvolvimento de agentes e outras aplicações inteligentes.

RESPONSABILIDADES:

• Projetar, desenvolver e implantar pipelines de dados ETL/ELT escaláveis no Databricks usando PySpark, SQL e Delta Lake.
• Otimizar o desempenho dos pipelines de dados e gerenciar fluxos de trabalho utilizando Jobs, Workflows e notebooks do Databricks.
• Ingerir, limpar, transformar e processar dados estruturados e não estruturados provenientes de diversas fontes.
• Colaborar com arquitetos de dados, analistas e usuários de negócios para traduzir requisitos em modelos.
• Gerenciar e monitorar a execução dos pipelines com ferramentas como Airflow.

PARA ESSA OPORTUNIDADE VOCÊ PRECISA TER:

• Experiência prática em engenharia de dados, trabalhando com Databricks.
• Proficiência em PySpark, SQL e processamento distribuído de dados.
• Compreensão sólida do Delta Lake, arquitetura Lakehouse e princípios de modelagem de dados.
• Experiência com plataformas em nuvem como AWS (Databricks em qualquer nuvem é aceitável).
• Familiaridade com pipelines CI/CD e controle de versão (ex.: Git, GitHub, Azure DevOps).
• Familiaridade com uso de IA no dia a dia.
• Experiência com ferramentas de orquestração (ex.: Airflow, Workflows do Databricks).
• Habilidades avançadas para resolução de problemas e depuração em ambientes distribuídos.

SERIAM PONTOS DE DESTAQUE SE VOCÊ TIVER:

• Certificação Databricks (ex.: Databricks Certified Data Engineer Associate/Professional) éaltamentedesejável

PARA UMA VIDA MAIS SAUDÁVEL, TE PROPORCIONAMOS:

• Política deHome Office
• Plano de saúde, com cobertura nacional
• Plano odontológico
• Convênio com Sesc
• Wellhub

TE APOIAMOS COM:

• Vale refeição ou alimentação
• Auxílio creche
• Participação nos resultados
• Licença parental estendida
• Plano de desenvolvimento individual/anual com subsídio para capacitação
• Treinamento do idioma inglês

Nossas vagas são para todos!
Valorizamos a diversidade, pois ela impulsiona a inovação, fortalece nossas soluções e torna nosso ambiente mais inclusivo. Cada diferença é uma oportunidade de aprendizado, tornando nosso dia a dia mais inspirador e nossas entregas ainda melhores.