Engenheiro(a) de Dados Databricks (Híbrido - Recife)

Sauter; Recife; Híbrido; BRL 150 000 - 260 000; Tempo integral

Resumo da oferta

A Sauter está buscando Engenheiro(a) de Dados Databricks (nível pleno/sênior) para atuar no desenvolvimento, manutenção e governança de pipelines na plataforma Databricks, com atuação híbrida em Recife. Você trabalhará junto de Analytics, Engenharia e Produto para assegurar qualidade, escalabilidade e conformidade dos dados que embalam decisões estratégicas.

O papel envolve criar pipelines batch e streaming, aplicar o padrão Medallion, otimizar Spark, orquestrar ETL/ELT com Databricks Workflows

Qualificações

• Experiência comprovada com Databricks (Notebooks, Jobs, Clusters, Delta Lake).
• Sólido conhecimento em Apache Spark (PySpark e/ou Scala).
• Experiência com SQL avançado para modelagem e otimização de queries.
• Conhecimento em Python para desenvolvimento de pipelines de dados.
• Experiência com arquitetura Medallion (Bronze/Silver/Gold) ou similar.
• Vivência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory ou similar).
• Familiaridade com versionamento de código (Git) e práticas de CI/CD.
• Conhecimento em modelagem de dados (dimensional, normalização).
• Experiência com um provedor de cloud (AWS, Azure ou GCP).
• Inglês técnico para leitura de documentação.
• 3+ anos de experiência em engenharia de dados.

Responsabilidades

• Desenvolver e manter pipelines de dados (batch e streaming) utilizando Databricks e Apache Spark.
• Projetar e implementar arquiteturas de dados seguindo o padrão Medallion (Bronze, Silver, Gold).
• Otimizar a performance de jobs Spark e consultas SQL em larga escala.
• Implementar e manter processos de ETL/ELT orquestrados (Databricks Workflows, Airflow etc.).
• Garantir a qualidade, consistência e governança dos dados (Unity Catalog, testes de dados).
• Colaborar com times de Analytics Engineering, Data Science e Engenharia de Software.
• Documentar processos, arquiteturas e decisões técnicas.
• Participar de revisões de código e contribuir para boas práticas de engenharia de dados.

Conhecimentos

Databricks

PySpark/Scala

SQL avançado

Python

Arquitetura Medallion

Airflow

Git

CI/CD

Modelagem de dados

Cloud providers

Inglês técnico

Ferramentas

Databricks Workflows

Azure Data Factory

Unity Catalog

Descrição da oferta de emprego

Engenheiro(a) de Dados Databricks (Híbrido - Recife)

Publicada 23 de Setembro

Estamos em busca de Engenheiros de Dados Pleno/Sênior para atuar no desenvolvimento, manutenção e otimização de pipelines de dados na plataforma Databricks. A pessoa selecionada trabalhará em conjunto com times de Analytics, Engenharia e Produto para garantir a qualidade, escalabilidade e governança dos dados que sustentam decisões estratégicas da empresa.

Responsabilidades:

• Desenvolver e manter pipelines de dados (batch e streaming) utilizando Databricks e Apache Spark.
• Projetar e implementar arquiteturas de dados seguindo o padrão Medallion (Bronze, Silver, Gold).
• Otimizar a performance de jobs Spark e consultas SQL em larga escala.
• Implementar e manter processos de ETL/ELT orquestrados (Databricks Workflows, Airflow etc.).
• Garantir a qualidade, consistência e governança dos dados (Unity Catalog, testes de dados).
• Colaborar com times de Analytics Engineering, Data Science e Engenharia de Software.
• Documentar processos, arquiteturas e decisões técnicas.
• Participar de revisões de código e contribuir para boas práticas de engenharia de dados.

Requisitos mínimos

• Experiência comprovada com Databricks (Notebooks, Jobs, Clusters, Delta Lake)
• Sólido conhecimento em Apache Spark (PySpark e/ou Scala)
• Experiência com SQL avançado para modelagem e otimização de queries
• Conhecimento em Python para desenvolvimento de pipelines de dados
• Experiência com arquitetura Medallion (Bronze/Silver/Gold) ou similar
• Vivência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory ou similar)
• Familiaridade com versionamento de código (Git) e práticas de CI/CD
• Conhecimento em modelagem de dados (dimensional, normalização)
• Experiência com um provedor de cloud (AWS, Azure ou GCP)
• Inglês técnico para leitura de documentação
• 3+ anos de experiência em engenharia de dados

Requisitos desejáveis:

• Certificações Databricks (Data Engineer Associate/Professional)
• Experiência com Delta Live Tables (DLT)
• Conhecimento em Unity Catalog para governança e segurança de dados
• Experiência com streaming de dados (Kafka, Structured Streaming)
• Vivência com ferramentas de transformação analítica (dbt)
• Conhecimento em Infraestrutura como Código (Terraform)
• Experiência com testes de qualidade de dados (Great Expectations, dbt tests)
• Vivência em ambientes de Machine Learning (MLflow) é um diferencial
• Experiência prévia em squads ágeis (Scrum/Kanban)
• Conhecimento em ferramentas de observabilidade e monitoramento de pipelines
• Conhecimento em D365