VAGA | SENIOR DATA ENGINEER (DATABRICKS)

Avantti; Barueri; Remote; BRL 180,000 - 240,000; Full time

Job summary

A Avantti Tecnologia está recrutando um(a) Engenheiro(a) de Dados Sênior com prática em Databricks para integrar time de dados. Você criará pipelines escaláveis, pipelines de processamento batch, micro-batch e streaming, colaborando com arquitetos para soluções de Lakehouse.

O(a) profissional desejado(a) terá experiência prática com Delta Lake, Delta Live Tables, Unity Catalog e Auto Loader, além de domínio de Spark, SQL e Python/ PySpark.

Qualifications

• Experiência prática com Databricks (mínimo 2 anos) em pipelines de dados.
• Desenvolvimento em ambientes distribuídos e lakehouse.
• SQL avançado, stored procedures e OO.
• Python/PySpark/Java para engenharia de dados.
• Práticas de DevOps/CI/CD com Databricks Asset Bundles.

Responsibilities

• Desenvolver soluções de dados com Databricks.
• Construir pipelines escaláveis para Batch, Micro-batch e Streaming.
• Implementar Spark, Delta Lake, Delta Live Tables, Unity Catalog e Iceberg.
• Configurar pipelines com YAML e padronizar ingesta.
• Ingestão incremental com Databricks Auto Loader.
• Gerenciar workflows com Databricks Jobs/Workflows, Airflow ou dbt.
• Garantir qualidade, rastreabilidade e observabilidade dos dados.
• Auditoria, monitoramento e validação de pipelines.
• Participar de desenho técnico e arquitetura de plataformas.
• Colaborar com Solution Architects e equipes multidisciplinares.

Skills

Databricks

Delta Lake

Delta Live Tables

Unity Catalog

Apache Iceberg

Auto Loader

Apache Spark

Presto

Amazon EMR

SQL

Python

PySpark

Java

DBT

Airflow

Great Expectations

Collibra

Terraform

CI/CD

Tools

Airflow

dbt

Great Expectations

Collibra

Terraform

Job description

Contratante: Avantti Tecnologia

Informações da oportunidade

Cargo: Senior Data Engineer (Databricks)

Senioridade: Sênior

Modelo de contratação: Full-Time

Modelo de trabalho: 100% Remoto

Localização: Brasil – Aceitamos profissionais de qualquer região

Idioma: Inglês (desejável experiência em ambientes globais)

Sobre a oportunidade

A Avantti Tecnologia está em busca de um(a) Senior Data Engineer (Databricks) para integrar um time de tecnologia especializado em engenharia de dados e desenvolvimento de plataformas modernas de processamento e analytics.

Buscamos um profissional com sólida experiência prática no ecossistema Databricks, capaz de desenvolver soluções escaláveis, construir pipelines de dados robustos e atuar em projetos de alta complexidade envolvendo processamento distribuído, arquiteturas Lakehouse e integração de dados em larga escala.

Essa pessoa terá participação ativa no desenvolvimento de soluções inovadoras, colaborando com arquitetos de soluções e equipes multidisciplinares para construir plataformas de dados modernas, eficientes e preparadas para os desafios de negócio.

Principais responsabilidades

• Desenvolver e implementar soluções de engenharia de dados utilizando a plataforma Databricks.
• Construir, manter e otimizar pipelines de dados escaláveis para processamento Batch, Micro-batch e Streaming.
• Implementar soluções utilizando Apache Spark, Delta Lake, Delta Live Tables (Lakeflow Declarative Pipelines), Unity Catalog e Apache Iceberg.
• Desenvolver pipelines orientados por configurações YAML, utilizando padrões modernos de ingestão e processamento de dados.
• Implementar estratégias de ingestão incremental e processamento automatizado utilizando Databricks Auto Loader.
• Desenvolver e gerenciar workflows e orquestrações complexas utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.
• Garantir qualidade, integridade, rastreabilidade e observabilidade dos dados.
• Implementar mecanismos de auditoria, monitoramento e validação de pipelines.
• Participar de sessões de desenho técnico e arquitetura, contribuindo para a definição das melhores soluções.
• Transformar requisitos complexos em atividades técnicas estruturadas, garantindo qualidade e cumprimento dos prazos.
• Colaborar com Solution Architects e equipes multidisciplinares na implementação de componentes das plataformas de dados dos clientes.
• Participar de iniciativas do Databricks Center of Excellence (CoE), contribuindo para a criação de aceleradores, componentes reutilizáveis e melhorias técnicas.
• Acompanhar tendências e novas funcionalidades do ecossistema Databricks, aplicando inovação e melhoria contínua nas soluções desenvolvidas.

Requisitos técnicos e experiência

Experiência sólida em Engenharia de Dados, com pelo menos 2 anos de experiência prática no desenvolvimento e desenho de pipelines utilizando Databricks.

Domínio de desenvolvimento de pipelines e processamento de dados em ambientes distribuídos.

Experiência prática com:

• Databricks;
• Delta Lake;
• Delta Live Tables (Lakeflow Declarative Pipelines);
• Unity Catalog;
• Apache Iceberg / Uniform;
• Databricks Auto Loader.

Experiência na construção de pipelines escaláveis orientados por configurações YAML.

Conhecimento em padrões de ingestão e processamento Batch, Micro-batch e Streaming.

Experiência com orquestração de jobs e workflows utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.

Conhecimento em qualidade, auditoria e observabilidade de dados, utilizando recursos nativos do Databricks ou ferramentas como Great Expectations, Collibra e dbt.

Domínio de plataformas Big Data, especialmente:

• Apache Spark;
• Presto;
• Amazon EMR.

Experiência com Cloud Data Warehouses:

• Amazon Redshift;
• Snowflake;
• Google BigQuery.

Sólidos conhecimentos em SQL, Stored Procedures e programação orientada a objetos.

Experiência com linguagens de programação como Python, PySpark ou Java.

Familiaridade com práticas de DevOps e CI/CD, incluindo Databricks Asset Bundles, validação automatizada e testes.

Conhecimento em ferramentas de versionamento, automação e implantação de soluções de dados.

Diferenciais

• Experiência com Infrastructure as Code (IaC), especialmente Terraform.
• Conhecimento em bancos de dados NoSQL.
• Familiaridade com plataformas de gerenciamento de containers.
• Experiência com ferramentas de Inteligência Artificial e Machine Learning, especialmente MLflow.
• Conhecimento em Prompt Engineering e desenvolvimento de workflows envolvendo agentes de IA (Agentic AI).
• Certificação Databricks Certified Data Engineer Associate e/ou Professional.
• Experiência em múltiplos projetos de implementação e entrega de soluções utilizando Databricks.
• Participação em comunidades técnicas e iniciativas de inovação em Engenharia de Dados.

Perfil comportamental esperado

• Perfil analítico, curioso e orientado à resolução de problemas complexos.
• Autonomia técnica e capacidade de conduzir atividades com pouca supervisão.
• Facilidade para trabalhar em equipes multidisciplinares.
• Capacidade de decompor desafios técnicos complexos em entregas estruturadas.
• Proatividade na identificação de oportunidades de melhoria e inovação.
• Boa comunicação e habilidade para compartilhar conhecimento com o time.
• Comprometimento com qualidade, eficiência e cumprimento de entregas.

O que buscamos neste profissional?

Um(a) Engenheiro(a) de Dados Sênior com experiência hands-on em Databricks, que domine a construção de pipelines modernos e escaláveis e tenha vivência em projetos reais de processamento distribuído e arquitetura Lakehouse.

É essencial que o profissional tenha experiência prática no desenvolvimento de soluções com Databricks, especialmente Delta Lake, Delta Live Tables, Unity Catalog, Auto Loader e orquestração de pipelines.

Se você gosta de desafios tecnológicos, trabalha com grandes volumes de dados e deseja atuar na construção de plataformas modernas de dados, queremos conhecer você!

Avantti Tecnologia | Pessoas & Tecnologia