Engenheiro(A) De Dados Databricks | Pleno/Sênior (Remoto)

Sauter; São Paulo; Remote; BRL 140,000 - 240,000; Full time

Job summary

A Sauter Brasil procura Engenheiro(a) de Dados para projetar, construir e otimizar pipelines e plataformas de dados na AWS com Databricks. Atuar em ingestão, transformação, governança e performance, entregando dados confiáveis para analytics, BI e machine learning.

Desenvolver pipelines batch/streaming, arquiteturas medallion e tuning de Spark, colaborando com Analytics Engineering, Data Science e Engenharia de Software para manter qualidade e observabilidade de dados.

Qualifications

• Experiência comprovada de 3+ anos em engenharia de dados.
• Domínio em Databricks, Spark e pipelines de dados (batch e streaming).
• Conhecimento em AWS (S3, Glue, IAM, Lambda, Athena/Redshift) e Delta Lake.
• Governança de dados com Unity Catalog.
• Git, CI/CD e infraestrutura como código (Terraform).
• Inglês técnico em nível intermediário.

Responsibilities

• Desenvolver e manter pipelines de dados (batch e streaming) utilizando Databricks e Apache Spark.
• Projetar e implementar arquiteturas de dados seguindo o padrão medallion (bronze, silver, gold).
• Otimizar performance de jobs Spark e consultas SQL em larga escala.
• Implementar e manter processos de ETL/ELT orquestrados (Databricks Workflows, Airflow, etc.).
• Garantir qualidade, consistência e governança dos dados (Unity Catalog, testes de dados).
• Colaborar com times de Analytics Engineering, Data Science e Engenharia de Software.
• Documentar processos, arquiteturas e decisões técnicas.
• Participar de revisões de código e boas práticas de engenharia de dados.

Skills

Python

PySpark

SQL

Inglês técnico (nível intermediário)

Git

CI/CD

Terraform

Databricks

Spark

AWS

Tools

Databricks

Spark

Airflow

Terraform

Git

CI/CD

AWS

Job description

Buscamos Engenheiros(as) de Dados Plenos e Seniores para projetar, construir e otimizar pipelines e plataformas de dados na AWS com Databricks. Atuação em ingestão, transformação, governança e performance, entregando dados confiáveis para analytics, BI e machine learning.

Principais responsabilidades

• Desenvolver e manter pipelines de dados (batch e streaming) utilizando Databricks e Apache Spark
• Projetar e implementar arquiteturas de dados seguindo o padrão medallion (bronze, silver, gold)
• Otimizar performance de jobs Spark e consultas SQL em larga escala
• Implementar e manter processos de ETL/ELT orquestrados (Databricks Workflows, Airflow, etc.)
• Garantir qualidade, consistência e governança dos dados (Unity Catalog, testes de dados)
• Colaborar com times de Analytics Engineering, Data Science e Engenharia de Software
• Documentar processos, arquiteturas e decisões técnicas
• Participar de revisões de código e boas práticas de engenharia de dados

REQUISITOS MÍNIMOS

• 3+ anos de experiência em engenharia de dados
• Databricks (notebooks, jobs, workflows, clusters) em ambiente produtivo
• Python, PySpark e SQL avançado
• Serviços AWS de dados (S3, Glue, IAM, Lambda, Athena ou Redshift)
• Delta Lake, arquitetura Medallion e modelagem de dados
• Tuning de performance e otimização de custos no Spark/Databricks
• Governança com Unity Catalog
• Git, CI/CD e infraestrutura como código (Terraform)
• Inglês técnico (nível intermediário)

Desejável

• Certificações Databricks (Data Engineer Associate/Professional) ou AWS
• Streaming (Structured Streaming, Kafka, Kinesis)
• Delta Live Tables e Databricks Asset Bundles
• Orquestração com Airflow ou Step Functions
• Qualidade e observabilidade de dados
• Experiência com MLOps e integração com Data Science