Contratante: Avantti Tecnologia Informações da oportunidade Cargo: Senior Data Engineer (Databricks) Senioridade: Sênior Modelo de contratação: Full-Time Modelo de trabalho: 100% Remoto Localização: Brasil – Aceitamos profissionais de qualquer região Idioma: Inglês (desejável experiência em ambientes globais)
Sobre a oportunidade A Avantti Tecnologia está em busca de um(a) Senior Data Engineer (Databricks) para integrar um time de tecnologia especializado em engenharia de dados e desenvolvimento de plataformas modernas de processamento e analytics. Buscamos um profissional com sólida experiência prática no ecossistema Databricks, capaz de desenvolver soluções escaláveis, construir pipelines de dados robustos e atuar em projetos de alta complexidade envolvendo processamento distribuído, arquiteturas Lakehouse e integração de dados em larga escala. Essa pessoa terá participação ativa no desenvolvimento de soluções inovadoras, colaborando com arquitetos de soluções e equipes multidisciplinares para construir plataformas de dados modernas, eficientes e preparadas para os desafios de negócio.
Principais responsabilidades
- Desenvolver e implementar soluções de engenharia de dados utilizando a plataforma Databricks.
- Construir, manter e otimizar pipelines de dados escaláveis para processamento Batch, Micro-batch e Streaming.
- Implementar soluções utilizando Apache Spark, Delta Lake, Delta Live Tables (Lakeflow Declarative Pipelines), Unity Catalog e Apache Iceberg.
- Desenvolver pipelines orientados por configurações YAML, utilizando padrões modernos de ingestão e processamento de dados.
- Implementar estratégias de ingestão incremental e processamento automatizado utilizando Databricks Auto Loader.
- Desenvolver e gerenciar workflows e orquestrações complexas utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.
- Garantir qualidade, integridade, rastreabilidade e observabilidade dos dados.
- Implementar mecanismos de auditoria, monitoramento e validação de pipelines.
- Participar de sessões de desenho técnico e arquitetura, contribuindo para a definição das melhores soluções.
- Transformar requisitos complexos em atividades técnicas estruturadas, garantindo qualidade e cumprimento dos prazos.
- Colaborar com Solution Architects e equipes multidisciplinares na implementação de componentes das plataformas de dados dos clientes.
- Participar de iniciativas do Databricks Center of Excellence (CoE), contribuindo para a criação de aceleradores, componentes reutilizáveis e melhorias técnicas.
- Acompanhar tendências e novas funcionalidades do ecossistema Databricks, aplicando inovação e melhoria contínua nas soluções desenvolvidas.
Requisitos técnicos e experiência
- Experiência sólida em Engenharia de Dados, com pelo menos 2 anos de experiência prática no desenvolvimento e desenho de pipelines utilizando Databricks.
- Domínio de desenvolvimento de pipelines e processamento de dados em ambientes distribuídos.
- Experiência prática com: Databricks; Delta Lake; Delta Live Tables (Lakeflow Declarative Pipelines); Unity Catalog; Apache Iceberg / Uniform; Databricks Auto Loader.
- Experiência na construção de pipelines escaláveis orientados por configurações YAML.
- Conhecimento em padrões de ingestão e processamento Batch, Micro-batch e Streaming.
- Experiência com orquestração de jobs e workflows utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.
- Conhecimento em qualidade, auditoria e observabilidade de dados, utilizando recursos nativos do Databricks ou ferramentas como Great Expectations, Collibra e dbt.
- Domínio de plataformas Big Data, especialmente: Apache Spark; Presto; Amazon EMR.
- Experiência com Cloud Data Warehouses: Amazon Redshift; Snowflake; Google BigQuery.
- Sólidos conhecimentos em SQL, Stored Procedures e programação orientada a objetos.
- Experiência com linguagens de programação como Python, PySpark ou Java.
- Familiaridade com práticas de DevOps e CI/CD, incluindo Databricks Asset Bundles, validação automatizada e testes.
- Conhecimento em ferramentas de versionamento, automação e implantação de soluções de dados.
Diferenciais
- Experiência com Infrastructure as Code (IaC), especialmente Terraform.
- Conhecimento em bancos de dados NoSQL.
- Familiaridade com plataformas de gerenciamento de containers.
- Experiência com ferramentas de Inteligência Artificial e Machine Learning, especialmente MLflow.
- Conhecimento em Prompt Engineering e desenvolvimento de workflows envolvendo agentes de IA (Agentic AI).
- Certificação Databricks Certified Data Engineer Associate e/ou Professional.
- Experiência em múltiplos projetos de implementação e entrega de soluções utilizando Databricks.
- Participação em comunidades técnicas e iniciativas de inovação em Engenharia de Dados.
Perfil comportamental esperado
- Perfil analítico, curioso e orientado à resolução de problemas complexos.
- Autonomia técnica e capacidade de conduzir atividades com pouca supervisão.
- Facilidade para trabalhar em equipes multidisciplinares.
- Capacidade de decompor desafios técnicos complexos em entregas estruturadas.
- Proatividade na identificação de oportunidades de melhoria e inovação.
- Boa comunicação e habilidade para compartilhar conhecimento com o time.
- Comprometimento com qualidade, eficiência e cumprimento de entregas.
O que buscamos neste profissional? Um(a) Engenheiro(a) de Dados Sênior com experiência hands-on em Databricks, que domine a construção de pipelines modernos e escaláveis e tenha vivência em projetos reais de processamento distribuído e arquitetura Lakehouse. É essencial que o profissional tenha experiência prática no desenvolvimento de soluções com Databricks, especialmente Delta Lake, Delta Live Tables, Unity Catalog, Auto Loader e orquestração de pipelines. Se você gosta de desafios tecnológicos, trabalha com grandes volumes de dados e deseja atuar na construção de plataformas modernas de dados, queremos conhecer você!
Avantti Tecnologia | Pessoas & Tecnologia