Databricks Data Engineer | Senior (Remote)

Compass-Uol; Brasil; Remote; BRL 180,000 - 300,000; Full time

Job summary

A Compass-Uol procura um Engenheiro de Dados experiente para atuar na construção, migração e evolução de soluções em Databricks. Você desenvolverá pipelines de dados escaláveis, confiáveis e performáticos, usando Spark e PySpark para ingestão, transformação e disponibilização de dados.

Você trabalhará com Data Lake/Lakehouse, aplicando o modelo Medallion (Bronze, Silver e Gold) e participará de projetos de migração e modernização de plataformas de dados, assegurando qualidade, performance e

Qualifications

• Domínio de PySpark, Spark e SQL.
• Experiência com Delta Lake, Delta Tables, Unity Catalog e Lakeflow.
• Conhecimento de Lakeflow Connect para ingestão de dados.
• Experiência com Jobs/Workflows, orquestração e monitoramento de pipelines.
• Vivência com arquitetura Lakehouse e o modelo Medallion.
• Experiência com migração de plataformas ou projetos Databricks.
• Conhecimento de Git, CI/CD e boas práticas de desenvolvimento/deploy.
• Conhecimento de Airflow, Kafka, dbt, AWS Glue e BigQuery.
• Experiência com bancos SQL/NoSQL como PostgreSQL, MongoDB, Cassandra.
• Diferencial: Certificação Databricks Certified Data Engineer Associate.

Responsibilities

• Atuação na construção e evolução de soluções de Engenharia de Dados em Databricks.
• Desenvolvimento e manutenção de pipelines de dados escaláveis e confiáveis.
• Ingestão, transformação e disponibilização de dados com Spark e PySpark.
• Arquiteturas Data Lake/Data Lakehouse com Medallion (Bronze/Silver/Gold).
• Interpretação de regras de negócio e tradução em soluções de dados.
• Participação em migração e modernização de plataformas de dados.
• Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines.

Skills

PySpark & Spark SQL

Data Lakehouse

Medallion model (Bronze/Silver/Gold)

Databricks

Data pipelines design

Tools

Spark

Delta Lake

Delta Tables

Unity Catalog

Lakeflow Declarative Pipelines

Lakeflow Connect

Git

CI/CD

Airflow

Kafka

dbt

AWS Glue

BigQuery

PostgreSQL

MongoDB

Cassandra

Job description

Job description

.

Main responsibilities

• Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks;
• Desenvolvimento e manutenção de pipelines de dados escaláveis, confiáveis e performáticos;
• Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark;
• Atuação em arquiteturas Data Lake e Data Lakehouse, com implementação do modelo Medallion (Bronze, Silver e Gold);
• Interpretação de regras de negócio e tradução em processos e soluções de dados;
• Participação em projetos de migração e modernização de plataformas de dados;
• Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines.

Requirements and skills

• Domínio de PySpark, Apache Spark e SQL;
• Experiência com Delta Lake, Delta Tables, Unity Catalog e Lakeflow Declarative Pipelines;
• Conhecimento em Lakeflow Connect para ingestão de dados;
• Experiência com Jobs, Workflows, orquestração e monitoramento de pipelines;
• Vivência com arquitetura Lakehouse e modelo Medallion (Bronze, Silver e Gold);
• Experiência com migração de plataformas ou desenvolvimento de projetos em Databricks;
• Conhecimento de Git, CI/CD e boas práticas de desenvolvimento e deploy;
• Conhecimento de ferramentas e tecnologias como Airflow, Kafka, dbt, AWS Glue e BigQuery;
• Experiência com bancos SQL/NoSQL, como PostgreSQL, MongoDB ou Cassandra.
• Diferencial: Experiência em projetos contábeis e financeiros, certificação Databricks Certified Data Engineer Associate.