Engenheiro(A) De Dados Databricks (Híbrido - Recife)

Sauter; Recife; Híbrido; BRL 180 000 - 320 000; Tempo integral

Resumo da oferta

A empresa Sauter busca Engenheiro(a) de Dados Pleno/Sênior para atuar no desenvolvimento, manutenção e otimização de pipelines de dados na plataforma Databricks. O indicado trabalhará com os times de Analytics, Engenharia e Produto, assegurando governança, qualidade e escalabilidade dos dados que embasam decisões estratégicas.

O profissional deve possuir experiência com Databricks (Notebooks, Jobs, Clusters, Delta Lake), Spark (PySpark/Scala) e SQL avançado, além de experiência comArquitetura

Qualificações

• Experiência comprovada com Databricks (Notebooks, Jobs, Clusters, Delta Lake).
• Fortes habilidades em Apache Spark (PySpark e/ou Scala) e SQL avançado.
• Conhecimento em Python para desenvolvimento de pipelines de dados.
• Experiência com arquitetura Medallion (Bronze/Silver/Gold) ou similar.
• Vivência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory).
• Versionamento de código (Git) e práticas de CI/CD.
• Conhecimento em modelagem de dados (dimensional, normalização) e cloud (AWS/Azure/GCP).
• Inglês técnico para leitura de documentação.

Responsabilidades

• Desenvolver e manter pipelines de dados (batch e streaming) com Databricks e Spark.
• Projetar arquiteturas de dados seguindo o padrão Medallion (Bronze/Silver/Gold).
• Otimizar a performance de jobs Spark e consultas SQL em larga escala.
• Implementar ETL/ELT orquestrados (Databricks Workflows, Airflow).
• Garantir qualidade, consistência e governança dos dados (Unity Catalog, testes).
• Colaborar com Analytics Engineering, Data Science e Engenharia de Software.
• Documentar processos, arquiteturas e decisões técnicas.
• Participar de revisões de código e promover boas práticas de dados.

Conhecimentos

Inglês técnico

Trabalho em equipe

Comunicação técnica

Autonomia

Ferramentas

Databricks

Apache Spark

PySpark

Scala

SQL Avançado

Python

Databricks Workflows

Delta Lake

Unity Catalog

Airflow

Azure Data Factory

Git

CI/CD

Medallion Architecture

dbt

AWS

Azure

GCP

KD/DS pipelines

Descrição da oferta de emprego

Estamos em busca de Engenheiros de Dados Pleno/Sênior para atuar no desenvolvimento, manutenção e otimização de pipelines de dados na plataforma Databricks. A pessoa selecionada trabalhará em conjunto com times de Analytics, Engenharia e Produto para garantir a qualidade, escalabilidade e governança dos dados que sustentam decisões estratégicas da empresa.

Responsabilidades:

• Desenvolver e manter pipelines de dados (batch e streaming) utilizando Databricks e Apache Spark.
• Projetar e implementar arquiteturas de dados seguindo o padrão Medallion (Bronze, Silver, Gold).
• Otimizar a performance de jobs Spark e consultas SQL em larga escala.
• Implementar e manter processos de ETL/ELT orquestrados (Databricks Workflows, Airflow etc.).
• Garantir a qualidade, consitência e governança dos dados (Unity Catalog, testes de dados).
• Colaborar com times de Analytics Engineering, Data Science e Engenharia de Software.
• Documentar processos, arquiteturas e decisões técnicas.
• Participar de revisões de código e contribuir para boas práticas de engenharia de dados.
• Experiência comprovada com Databricks (Notebooks, Jobs, Clusters, Delta Lake)
• Sólido conhecimento em Apache Spark (PySpark e/ou Scala)
• Experiência com SQL avançado para modelagem e otimização de queries
• Conhecimento em Python para desenvolvimento de pipelines de dados
• Experiência com arquitetura Medallion (Bronze/Silver/Gold) ou similar
• Vivência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory ou similar)
• Familiaridade com versionamento de código (Git) e práticas de CI/CD
• Conhecimento em modelagem de dados (dimensional, normalização)
• Experiência com um provedor de cloud (AWS, Azure ou GCP)
• Inglês técnico para leitura de documentação
• 3+ anos de experiência em engenharia de dados

Requisitos desejáveis:

• Certificações Databricks (Data Engineer Associate/Professional)
• Experiência com Delta Live Tables (DLT)
• Conhecimento em Unity Catalog para governança e segurança de dados
• Experiência com streaming de dados (Kafka, Structured Streaming)
• Vivência com ferramentas de transformação analítica (dbt)
• Conhecimento em Infraestrutura como Código (Terraform)
• Experiência com testes de qualidade de dados (Great Expectations, dbt tests)
• Vivência em ambientes de Machine Learning (MLflow) é um diferencial
• Experiência prévia em squads ágeis (Scrum/Kanban)
• Conhecimento em ferramentas de observabilidade e monitoramento de pipelines
• Conhecimento em D365

Engenheiro(a) de Dados Databricks (Híbrido - Recife) • Recife, Brasil