Databricks Data Engineer | Senior (Remote)

Compass Uol; Brasil; A distancia; BRL 120.000 - 210.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Vale-refeição

Plano de saúde

Plano odontológico

Seguro de vida

Auxílio home office (para vagas remota

Kit de boas-vindas

Descripción de la vacante

Compass UOL procura Engenheiro de Dados para atuar no desenvolvimento, implementação e evolução de soluções com Databricks, PySpark, Spark SQL e Delta Lake no modelo Lakehouse. O profissional definirá arquiteturas escaláveis, incluindo Bronze, Silver e Gold, e conduzirá pipelines desde ingestão até produção.

O papel envolve orquestração com Azure Data Factory, criação de APIs REST em Python e foco em governança, desempenho e redução de custos.

Formación

• Experiência sólida com Databricks em projetos produtivos.
• Domínio de PySpark, Spark SQL e Delta Lake.
• Conhecimento de arquiteturas Lakehouse e Medallion.
• Experiência com CDC e Structured Streaming.
• Governança, Unity Catalog e controle de acesso a dados.

Responsabilidades

• Desenvolver e evoluir soluções de Engenharia de Dados no ecossistema Databricks.
• Projetar arquiteturas escaláveis com Lakehouse/Medallion (Bronze, Silver, Gold).
• Desenvolver pipelines com PySpark, Spark SQL e Delta Lake.
• Orquestrar pipelines com Azure Data Factory (ADF).
• Desenvolver APIs REST e automações em Python.

Conocimientos

Databricks

PySpark

Spark SQL

Delta Lake

DLT / Lakeflow

CDC e Structured Streaming

Python

APIs REST

Medallion Architecture

Lakehouse

Unity Catalog

Herramientas

Azure Data Factory

Databricks Workflows

Git

Declarative Automation Bundles

Auto Loader

Photon

CI/CD

Descripción del empleo

Job description

.

Main responsibilities

• Atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados utilizando o ecossistema Databricks;
• Definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold);
• Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake;
• Implementar soluções de ingestão, processamento e integração de dados, incluindo CDC e Structured Streaming;
• Atuar na orquestração de pipelines e integração de sistemas por meio do Azure Data Factory (ADF);
• Desenvolver APIs REST, microsserviços e automações utilizando Python;
• Garantir a governança, segurança, linhagem e controle de acesso aos dados;
• Realizar otimizações de performance, escalabilidade e custos de processamento;
• Atuar na observabilidade, monitoramento e sustentação de pipelines em produção;
• Ser referência técnica para o time, orientando profissionais e estabelecendo boas práticas de Engenharia de Dados.

Requirements and skills

• Experiência sólida e avançada em projetos produtivos com Databricks;
• Domínio de PySpark, Spark SQL, Delta Lake e Apache Spark;
• Experiência com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming;
• Experiência com Liquid Clustering, Auto Loader e otimização de tabelas Delta;
• Conhecimento avançado em Unity Catalog, governança, segurança, linhagem e controle de acesso;
• Experiência na definição de arquiteturas de dados, modelo Lakehouse e arquitetura Medallion;
• Experiência com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados;
• Domínio de Python para desenvolvimento de APIs REST, microsserviços e automações;
• Experiência com Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução;
• Conhecimento em Databricks Workflows, CI/CD, Git e Declarative Automation Bundles;
• Experiência com otimização de workloads, dimensionamento de recursos computacionais e redução de custos;
• Vivência com observabilidade, monitoramento e sustentação de pipelines em produção;
• Autonomia na resolução de problemas técnicos complexos e capacidade de tomada de decisão arquitetural;
• Experiência como referência técnica, apoiando e orientando outros profissionais.

Certificações: Obrigatória: Databricks Certified Data Engineer Associate. Fortemente desejável: Databricks Certified Data Engineer Professional. Diferencial: Databricks Certified Associate Developer for Apache Spark.

• Desejável: certificações AWS, Azure ou GCP relacionadas à Engenharia de Dados e Arquitetura de Soluções.

Additional information

Benefícios

• Vale-alimentação e/ou vale-refeição;
• Plano de saúde e plano odontológico;
• Plano de saúde para o seu pet;
• Auxílio home office (para vagas remotas);
• Kit de boas-vindas no onboarding;
• Seguro de vida;
• Zenklub, com acompanhamento psicológico e nutricional;
• TotalPass;
• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
• Parcerias e descontos para o seu desenvolvimento;
• Acesso ao conteúdo UOL;
• Kit maternidade;
• Licença maternidade e paternidade estendidas;

• Programa de indicações.