Banco de Talentos - Databricks Data Engineer (Remoto)

Sauter; Recife; Hybrid; BRL 201,000 - 335,000; Full time

Job summary

A Sauter está alimentando o Banco de Talentos para vagas futuras de Engenheiro de Dados com foco em Databricks. O objetivo é identificar profissionais capazes de desenvolver, manter e otimizar pipelines de dados em ambientes de produção, assegurando qualidade, governança e escalabilidade, em regime remoto.

Buscamos especialistas com experiência em Spark/Databricks, SQL avançado, Python e arquitetura Medallion, além de vivência em orchestration tools e plataformas de nuvem.

Qualifications

• Experiência comprovada com Databricks (Notebooks, Jobs, Clusters, Delta Lake).
• Sólido conhecimento em Apache Spark (PySpark e/ou Scala).
• Experiência com SQL avançado para modelagem e otimização de queries.
• Conhecimento em Python para desenvolvimento de pipelines de dados.
• Experiência com arquitetura Medallion (Bronze/Silver/Gold) ou similar.
• Vivência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory ou similar).
• Familiaridade com versionamento de código (Git) e práticas de CI/CD.
• Conhecimento em modelagem de dados (dimensional, normalização).
• Experiência com um provedor de cloud (AWS, Azure ou GCP).
• Inglês técnico para leitura de documentação.
• 3+ anos de experiência em engenharia de dados.

Responsibilities

• Desenvolver e manter pipelines de dados (batch e streaming) utilizando Databricks e Apache Spark.
• Projetar e implementar arquiteturas de dados seguindo o padrão Medallion (Bronze, Silver, Gold).
• Otimizar a performance de jobs Spark e consultas SQL em larga escala.
• Implementar e manter processos de ETL/ELT orquestrados com Databricks Workflows, Airflow e ferramentas similares.
• Garantir a qualidade, consistência e governança dos dados, utilizando recursos como Unity Catalog e testes de dados.
• Colaborar com times de Analytics Engineering, Data Science e Engenharia de Software.
• Documentar processos, arquiteturas e decisões técnicas.
• Participar de revisões de código e contribuir para boas práticas de Engenharia de Dados.

Skills

Databricks

PySpark/Scala

SQL Avançado

Python

Medallion Architecture

Orquestração (Airflow)

Git & CI/CD

Modelagem de Dados

Cloud Platforms (AWS/Azure/GCP)

Inglês técnico

3+ anos de experiência

Tools

Airflow

Databricks Workflows

Azure Data Factory

Git

CI/CD tooling

Delta Lake

Unity Catalog

Terraform

Job description

Banco de Talentos - Databricks Data Engineer (Remoto)

Publicada 15 de Outubro

Estamos construindo nosso banco de talentos para futuras oportunidades de Engenharia de Dados nos níveis Pleno e Sênior. Buscamos pessoas com experiência em desenvolvimento, manutenção e otimização de pipelines de dados na plataforma Databricks, que queiram fazer parte de projetos que envolvem qualidade, escalabilidade e governança de dados.

Responsabilidades:

• Desenvolver e manter pipelines de dados (batch e streaming) utilizando Databricks e Apache Spark.
• Projetar e implementar arquiteturas de dados seguindo o padrão Medallion (Bronze, Silver, Gold).
• Otimizar a performance de jobs Spark e consultas SQL em larga escala.
• Implementar e manter processos de ETL/ELT orquestrados com Databricks Workflows, Airflow e ferramentas similares.
• Garantir a qualidade, consistência e governança dos dados, utilizando recursos como Unity Catalog e testes de dados.
• Colaborar com times de Analytics Engineering, Data Science e Engenharia de Software.
• Documentar processos, arquiteturas e decisões técnicas.
• Participar de revisões de código e contribuir para boas práticas de Engenharia de Dados.

Requisitos mínimos:

• Experiência comprovada com Databricks (Notebooks, Jobs, Clusters, Delta Lake)
• Sólido conhecimento em Apache Spark (PySpark e/ou Scala)
• Experiência com SQL avançado para modelagem e otimização de queries
• Conhecimento em Python para desenvolvimento de pipelines de dados
• Experiência com arquitetura Medallion (Bronze/Silver/Gold) ou similar
• Vivência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory ou similar)
• Familiaridade com versionamento de código (Git) e práticas de CI/CD
• Conhecimento em modelagem de dados (dimensional, normalização)
• Experiência com um provedor de cloud (AWS, Azure ou GCP)
• Inglês técnico para leitura de documentação
• 3+ anos de experiência em engenharia de dados

Requisitos desejáveis:

• Certificações Databricks (Data Engineer Associate/Professional)
• Experiência com Delta Live Tables (DLT)
• Conhecimento em Unity Catalog para governança e segurança de dados
• Experiência com streaming de dados (Kafka, Structured Streaming)
• Vivência com ferramentas de transformação analítica (dbt)
• Conhecimento em Infraestrutura como Código (Terraform)
• Experiência com testes de qualidade de dados (Great Expectations, dbt tests)
• Vivência em ambientes de Machine Learning (MLflow) é um diferencial
• Experiência prévia em squads ágeis (Scrum/Kanban)
• Conhecimento em ferramentas de observabilidade e monitoramento de pipelines
• Conhecimento em D365