Data Engineer (Databricks) | SR (Remote)

Compass UOL; Brasil; Remoto; BRL 1.800.000 - 2.400.000; Tempo integral

Benefícios oferecidos por esta vaga

Vale-alimentação/refeição

Plano de saúde

Plano odontológico

Auxílio home office (para vagas remota

Seguro de vida

Certificações e capacitação contínua

Resumo da vaga

A Compass UOL está buscando um engenheiro(a) de dados para definir e evoluir arquiteturas de dados com Databricks, garantindo pipelines eficientes e confiáveis. Você trabalhará com Spark, Airflow, Kafka, dbt e bancos SQL/NoSQL, além de plataformas cloud como Databricks e AWS.

Será responsável por modelos Lakehouse/Medallion, processamento batch e streaming (CDC/Structured Streaming). Você desenvolverá APIs REST e integrações em Python, implementando CI/CD e automações com Git, Databricks

Qualificações

• Domínio de Databricks, PySpark, Spark SQL e Delta Lake.
• Experiência com DLT/Lakeflow, CDC e Structured Streaming.
• Prática com Auto Loader, otimização de Delta tables.
• Unity Catalog, governança, segurança, linhagem e controle de acesso.
• Arquitetura de Dados com modelo Lakehouse e Medallion (Bronze-Silver-Gold).
• ADF para orquestração/integração de dados.
• Desenvolvimento de APIs REST e Python para integrações e automações.
• Spark performance tuning, Photon e particionamento.
• CI/CD, Git, Databricks Workflows; observabilidade de pipelines.
• Otimização de workloads e redução de custos.

Responsabilidades

• Atuar na definição e evolução de arquiteturas de dados com Databricks, otimizando pipelines.
• Construção e manutenção de pipelines escaláveis com processamento distribuído.
• Trabalhar com Spark, Airflow, Kafka, dbt e bancos SQL/NoSQL; plataformas cloud.
• Projetar arquiteturas data lakehouse/Medallion (Bronze/Silver/Gold).
• Implementar batch e streaming com CDC e Structured Streaming.
• Desenvolver e orquestrar ingestão com ADF, Auto Loader e Lakeflow.
• Aplicar governança e controle de acesso via Unity Catalog.
• Desenvolver APIs REST e integrações em Python; automações com CI/CD/Databricks Workflows.
• Monitorar e manter pipelines em produção; atuar como referência técnica.

Conhecimentos

Databricks

PySpark

Spark SQL

Delta Lake

DLT / Lakeflow

Azure Data Factory

REST APIs

Python

Git / CI/CD

Data governance

Cloud platforms (Databricks, AWS, Big/

Ferramentas

Auto Loader

Lakeflow

Unity Catalog

Airflow

Kafka

dbt

PostgreSQL

MongoDB

Cassandra

Databricks Workflows

Descrição da vaga

Job description

.

Main responsibilities

• Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade.
• Contrução e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance.
• Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery).
• Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold).
• Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming.
• Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow.
• Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog.
• Desenvolver APIs REST, integrações e automações utilizando Python.
• Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.

Requirements and skills

• Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake.
• Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC eStructured Streaming.
• Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta.
• Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso.
• Experiência na definição e implementação de Arquitetura de Dados, incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).
• Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados.
• Experiência em Desenvolvimento de APIs (REST) e programação avançada em Python para construção de integrações, microsserviços e automações.
• Conhecimento avançado em Spark Performance Tuning, Photon,particionamento, shuffle e análise de planos de execução.
• Experiência com Databricks Workflows, CI/CD, Git e Declarative Automation Bundles.
• Capacidade de otimizar workloads, dimensionar recursos computacionais e reduzir custos de processamento.
• Experiência em observabilidade, monitoramento e sustentação de pipelines em produção.
• Capacidade de atuar como referência técnica, orientar profissionais e estabelecer boas práticas de engenharia de dados.
• Certificações: Databricks Certified Data Engineer Associate; Databricks Certified Data Engineer Professional.

Additional information

Benefícios

• Vale-alimentação e/ou vale-refeição;
• Plano de saúde e plano odontológico;
• Plano de saúde para o seu pet;
• Auxílio home office (para vagas remotas);
• Kit de boas-vindas no onboarding;
• Seguro de vida;
• Zenklub, com acompanhamento psicológico e nutricional;
• TotalPass;
• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
• Parcerias e descontos para o seu desenvolvimento;
• Acesso ao conteúdo UOL;
• Kit maternidade;
• Licença maternidade e paternidade estendidas;

• Programa de indicações.