Data Engineer (Databricks) | Sr (Remote)

Compass Uol; Ituiutaba; Remote; BRL 180,000 - 300,000; Full time

Job summary

A Compass Uol está buscando especialista em engenharia de dados para atuar com arquitetura Lakehouse em Databricks, pipelines robustos e governança de dados. O profissional apoiará equipes técnicas, definindo melhores práticas, padrões de ingestão, transformação e disponibilidade de dados com alto desempenho.

Você trabalhará com Spark, PySpark, Delta Lake e ferramentas de orquestração na nuvem, contribuindo para iniciativas de CI/CD, automação e observabilidade em produção.

Qualifications

• Domínio de Databricks e Delta Lake.
• Experiência com DLT/Lakeflow, CDC e Structured Streaming.
• Conhecimento de Unity Catalog, governança, segurança e linhagem de dados.
• Definição e implementação de arquitetura de dados com modelo Lakehouse e Medallion (Bronze, Silver, Gold).
• Experiência com Azure Data Factory (ADF) para orquestração e ingestão de dados.
• Desenvolvimento de APIs REST e Python para integrações e automação.
• Otimização de Spark, Photon, particionamento e planos de execução.
• Experiência com Databricks Workflows, CI/CD, Git e automação de deploy.
• Capacidade de dimensionar workloads e reduzir custos.

Tools

Databricks

PySpark

Spark SQL

Delta Lake

DLT

Lakeflow

CDC

Structured Streaming

Unity Catalog

Governance

Security

Lineage

Access Controls

Lakehouse

Medallion Architecture

Bronze Silver Gold

Azure Data Factory

Data Orchestration

Python

APIs REST

Git

CI/CD

Databricks Workflows

Spark Tuning

Photon

Partitioning

Shuffle

Execution Plans

Airflow

Kafka

dbt

PostgreSQL

MongoDB

Cassandra

AWS Glue

BigQuery

Job description

• Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake.
• Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming.
• Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta.
• Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso.
• Experiência na definição e implementação de Arquitetura de Dados, incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).
• Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados.
• Experiência em Desenvolvimento de APIs (REST) e programação avançada em Python para construção de integrações, microsserviços e automações.
• Conhecimento avançado em Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução.
• Experiência com Databricks Workflows, CI/CD, Git e Declarative Automation Bundles.
• Capacidade de otimizar workloads, dimensionar recursos computacionais e reduzir custos de processamento.
• Experiência em observabilidade, monitoramento e sustentação de pipelines em produção.
• Capacidade de atuar como referência técnica, orientar profissionais e estabelecer boas práticas de engenharia de dados.
• Certificações: Databricks Certified Data Engineer Associate; Databricks Certified Data Engineer Professional.
• Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade.
• Contrução e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance.
• Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery).
• Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold).
• Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming.
• Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow.
• Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog.
• Desenvolver APIs REST, integrações e automações utilizando Python.
• Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.

Criar um alerta de emprego para esta pesquisa