Senior Databricks Data Engineer com Inglês (Home Office/Brasil)

Programmers; Brasil; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa inovadora busca um Engenheiro de Dados Databricks para integrar sua equipe. Nesta função, você será responsável por construir e otimizar pipelines de dados escaláveis, utilizando a plataforma Databricks Unified Analytics. Trabalhará em colaboração com cientistas de dados e stakeholders, contribuindo para a tomada de decisões baseadas em dados. Se você é apaixonado por transformar dados em soluções e deseja impactar empresas e pessoas, esta é a oportunidade ideal para você. Junte-se a um time que valoriza a diversidade e a inovação, e faça parte de um ambiente inclusivo e inspirador.

Serviços

Política de Home Office

Plano de saúde

Plano odontológico

Convênio com Sesc

Vale refeição ou alimentação

Auxílio creche

Participação nos resultados

Licença parental estendida

Treinamento do idioma inglês

Plano de desenvolvimento individual

Qualificações

• Experiência prática em engenharia de dados com Databricks.
• Proficiência em PySpark e SQL para processamento de dados.

Responsabilidades

• Projetar e implantar pipelines de dados ETL/ELT escaláveis no Databricks.
• Colaborar com cientistas de dados e analistas para traduzir requisitos.

Conhecimentos

PySpark

SQL

Engenharia de Dados

Delta Lake

AWS

Azure

GCP

Git

Airflow

Resolução de Problemas

Formação académica

Certificação Databricks

Ferramentas

Databricks

Docker

Kubernetes

Terraform

Tableau

Power BI

Looker

Descrição da oferta de emprego

NOSSO NEGÓCIO

Aqui na Programmers, aceleramos grandes ideias com inovação e tecnologia. Com uma trajetória de mais de 30 anos, o que nos move são os desafios em construir ideias em soluções reais, para que nossos clientes sejam referências no segmento que atuam.

NOSSO NEGÓCIO

Aqui na Programmers, aceleramos grandes ideias com inovação e tecnologia. Com uma trajetória de mais de 30 anos, o que nos move são os desafios em construir ideias em soluções reais, para que nossos clientes sejam referências no segmento que atuam.

Especialistas em desenvolvimento de software e inteligência de dados, temos uma relação de transparência, confiança, credibilidade e reconhecimento neste mercado.

Nosso maior sonho? Impactar empresas e pessoas.

O QUE ESPERAMOS DE VOCÊ?

Estamos buscando um Engenheiro de Dados Databricks altamente qualificado para integrar nossa equipe de engenharia de dados. Nesta função, você será responsável por construir, otimizar e manter pipelines de dados escaláveis e soluções analíticas utilizando a plataforma Databricks Unified Analytics. Trabalhará em estreita colaboração com cientistas de dados, analistas e stakeholders para apoiar a tomada de decisões baseada em dados.

Responsabilidades

• Projetar, desenvolver e implantar pipelines de dados ETL/ELT escaláveis no Databricks usando PySpark, SQL e Delta Lake.
• Otimizar o desempenho dos pipelines de dados e gerenciar fluxos de trabalho utilizando Jobs, Workflows e notebooks do Databricks.
• Ingerir, limpar, transformar e processar dados estruturados e não estruturados provenientes de diversas fontes (armazenamento em nuvem, APIs, RDBMS, etc.).
• Implementar verificações de qualidade dos dados, validações e mecanismos de monitoramento.
• Colaborar com arquitetos de dados, analistas e usuários de negócios para traduzir requisitos em modelos e pipelines de dados.
• Gerenciar e monitorar a execução dos pipelines com ferramentas como Databricks Workflows ou Airflow.
• Garantir governança de dados, rastreabilidade e conformidade com boas práticas de segurança e privacidade (ex.: Unity Catalog, controle baseado em funções).
• Contribuir para a melhoria contínua da plataforma de dados por meio de automação, reutilização e documentação.
  
  
  

Para Essa Oportunidade Você Precisa Ter

• Experiência prática em engenharia de dados, trabalhando com Databricks.
• Proficiência em PySpark, SQL e processamento distribuído de dados.
• Compreensão sólida do Delta Lake, arquitetura Lakehouse e princípios de modelagem de dados.
• Experiência com plataformas em nuvem como AWS, Azure ou GCP (Databricks em qualquer nuvem é aceitável).
• Familiaridade com pipelines CI/CD e controle de versão (ex.: Git, GitHub, Azure DevOps).
• Experiência com ferramentas de orquestração (ex.: Airflow, Cloud Composer, Workflows do Databricks).
• Conhecimento sobre formatos modernos de dados como Parquet, Avro e JSON.
• Habilidades avançadas para resolução de problemas e depuração em ambientes distribuídos.
• Certificação Databricks (ex.: Databricks Certified Data Engineer Associate/Professional) é altamente desejável.
  
  
  

Seriam Pontos De Destaque Se Você Tiver

• Experiência com Unity Catalog, Databricks SQL ou integrações via Partner Connect.
• Entendimento sobre DevOps, containerização (Docker/Kubernetes) ou infraestrutura como código (Terraform).
• Familiaridade com ferramentas BI como Tableau, Power BI ou Looker.
• Exposição a fluxos de trabalho de machine learning ou MLOps no Databricks é um diferencial.
  
  
  

Para Uma Vida Mais Saudável, Te Proporcionamos

• Política de Home Office
• Plano de saúde, com cobertura nacional
• Plano odontológico
• Convênio com Sesc
• Wellhub
  
  
  

Te Apoiamos Com

• Vale refeição ou alimentação
• Auxílio creche
• Participação nos resultados
• Licença parental estendida
• Plano de desenvolvimento individual/anual com subsídio para capacitação
• Treinamento do idioma inglês
  
  
  

Nossas vagas são para todos!

Valorizamos a diversidade, pois ela impulsiona a inovação, fortalece nossas soluções e torna nosso ambiente mais inclusivo. Cada diferença é uma oportunidade de aprendizado, tornando nosso dia a dia mais inspirador e nossas entregas ainda melhores.

São Paulo, São Paulo, Brazil 5 months ago

São Paulo, São Paulo, Brazil R$4,500.00-R$4,500.00 1 month ago

São Paulo, São Paulo, Brazil 4 months ago

Melhor Envio | Analista de Desenvolvimento Júnior- Backend | Remoto