VAGA | SENIOR DATA ENGINEER (DATABRICKS)

Avantti

United States

Remote

USD 31,000 - 42,000

Full time

14 days+

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

A Avantti Tecnologia busca um(a) Engenheiro(a) de Dados Sênior com foco em Databricks para integrar um time de engenharia de dados. O profissional atuará no desenvolvimento de pipelines, arquitetura Lakehouse e integração de dados em larga escala.

O candidato ideal possui experiência prática com Spark, Delta Lake e ferramentas correlatas, trabalhando em ambientes globais com AWS/BigQuery e APIs de dados. O cargo é 100% remoto e oferece colaboração com equipes internacionais.

Qualifications

  • Experiência prática sólida em Engenharia de Dados com Databricks (mínimo 2 anos).
  • Desenvolvimento de pipelines de dados distribuídos e escaláveis.
  • Conhecimento de SQL, Python, PySpark ou Java.
  • Conhecimento de Spark, Delta Lake, Delta Live Tables e Unity Catalog.

Responsibilities

  • Desenvolver soluções de dados com Databricks.
  • Construir e otimizar pipelines Batch, Micro-batch e Streaming.
  • Orquestrar jobs com Databricks, Airflow ou dbt.
  • Assegurar qualidade, rastreabilidade e observabilidade de dados.
  • Participar de sessões de arquitetura e desenhar soluções.

Skills

Databricks
Engenharia de dados
Python
SQL
Spark
ETL/ELT
Orquestração de jobs
CI/CD
DevOps

Tools

Databricks
Delta Lake
Delta Live Tables
Unity Catalog
Apache Iceberg
Databricks Auto Loader
Airflow
dbt
Great Expectations
Collibra

Job description

Contratante: Avantti Tecnologia Informações da oportunidade Cargo: Senior Data Engineer (Databricks) Senioridade: Sênior Modelo de contratação: Full-Time Modelo de trabalho: 100% Remoto Localização: Brasil – Aceitamos profissionais de qualquer região Idioma: Inglês (desejável experiência em ambientes globais)

Sobre a oportunidade A Avantti Tecnologia está em busca de um(a) Senior Data Engineer (Databricks) para integrar um time de tecnologia especializado em engenharia de dados e desenvolvimento de plataformas modernas de processamento e analytics. Buscamos um profissional com sólida experiência prática no ecossistema Databricks, capaz de desenvolver soluções escaláveis, construir pipelines de dados robustos e atuar em projetos de alta complexidade envolvendo processamento distribuído, arquiteturas Lakehouse e integração de dados em larga escala. Essa pessoa terá participação ativa no desenvolvimento de soluções inovadoras, colaborando com arquitetos de soluções e equipes multidisciplinares para construir plataformas de dados modernas, eficientes e preparadas para os desafios de negócio.

Principais responsabilidades
  • Desenvolver e implementar soluções de engenharia de dados utilizando a plataforma Databricks.
  • Construir, manter e otimizar pipelines de dados escaláveis para processamento Batch, Micro-batch e Streaming.
  • Implementar soluções utilizando Apache Spark, Delta Lake, Delta Live Tables (Lakeflow Declarative Pipelines), Unity Catalog e Apache Iceberg.
  • Desenvolver pipelines orientados por configurações YAML, utilizando padrões modernos de ingestão e processamento de dados.
  • Implementar estratégias de ingestão incremental e processamento automatizado utilizando Databricks Auto Loader.
  • Desenvolver e gerenciar workflows e orquestrações complexas utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.
  • Garantir qualidade, integridade, rastreabilidade e observabilidade dos dados.
  • Implementar mecanismos de auditoria, monitoramento e validação de pipelines.
  • Participar de sessões de desenho técnico e arquitetura, contribuindo para a definição das melhores soluções.
  • Transformar requisitos complexos em atividades técnicas estruturadas, garantindo qualidade e cumprimento dos prazos.
  • Colaborar com Solution Architects e equipes multidisciplinares na implementação de componentes das plataformas de dados dos clientes.
  • Participar de iniciativas do Databricks Center of Excellence (CoE), contribuindo para a criação de aceleradores, componentes reutilizáveis e melhorias técnicas.
  • Acompanhar tendências e novas funcionalidades do ecossistema Databricks, aplicando inovação e melhoria contínua nas soluções desenvolvidas.
Requisitos técnicos e experiência
  • Experiência sólida em Engenharia de Dados, com pelo menos 2 anos de experiência prática no desenvolvimento e desenho de pipelines utilizando Databricks.
  • Domínio de desenvolvimento de pipelines e processamento de dados em ambientes distribuídos.
  • Experiência prática com: Databricks; Delta Lake; Delta Live Tables (Lakeflow Declarative Pipelines); Unity Catalog; Apache Iceberg / Uniform; Databricks Auto Loader.
  • Experiência na construção de pipelines escaláveis orientados por configurações YAML.
  • Conhecimento em padrões de ingestão e processamento Batch, Micro-batch e Streaming.
  • Experiência com orquestração de jobs e workflows utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.
  • Conhecimento em qualidade, auditoria e observabilidade de dados, utilizando recursos nativos do Databricks ou ferramentas como Great Expectations, Collibra e dbt.
  • Domínio de plataformas Big Data, especialmente: Apache Spark; Presto; Amazon EMR.
  • Experiência com Cloud Data Warehouses: Amazon Redshift; Snowflake; Google BigQuery.
  • Sólidos conhecimentos em SQL, Stored Procedures e programação orientada a objetos.
  • Experiência com linguagens de programação como Python, PySpark ou Java.
  • Familiaridade com práticas de DevOps e CI/CD, incluindo Databricks Asset Bundles, validação automatizada e testes.
  • Conhecimento em ferramentas de versionamento, automação e implantação de soluções de dados.
Diferenciais
  • Experiência com Infrastructure as Code (IaC), especialmente Terraform.
  • Conhecimento em bancos de dados NoSQL.
  • Familiaridade com plataformas de gerenciamento de containers.
  • Experiência com ferramentas de Inteligência Artificial e Machine Learning, especialmente MLflow.
  • Conhecimento em Prompt Engineering e desenvolvimento de workflows envolvendo agentes de IA (Agentic AI).
  • Certificação Databricks Certified Data Engineer Associate e/ou Professional.
  • Experiência em múltiplos projetos de implementação e entrega de soluções utilizando Databricks.
  • Participação em comunidades técnicas e iniciativas de inovação em Engenharia de Dados.
Perfil comportamental esperado
  • Perfil analítico, curioso e orientado à resolução de problemas complexos.
  • Autonomia técnica e capacidade de conduzir atividades com pouca supervisão.
  • Facilidade para trabalhar em equipes multidisciplinares.
  • Capacidade de decompor desafios técnicos complexos em entregas estruturadas.
  • Proatividade na identificação de oportunidades de melhoria e inovação.
  • Boa comunicação e habilidade para compartilhar conhecimento com o time.
  • Comprometimento com qualidade, eficiência e cumprimento de entregas.

O que buscamos neste profissional? Um(a) Engenheiro(a) de Dados Sênior com experiência hands-on em Databricks, que domine a construção de pipelines modernos e escaláveis e tenha vivência em projetos reais de processamento distribuído e arquitetura Lakehouse. É essencial que o profissional tenha experiência prática no desenvolvimento de soluções com Databricks, especialmente Delta Lake, Delta Live Tables, Unity Catalog, Auto Loader e orquestração de pipelines. Se você gosta de desafios tecnológicos, trabalha com grandes volumes de dados e deseja atuar na construção de plataformas modernas de dados, queremos conhecer você!

Avantti Tecnologia | Pessoas & Tecnologia

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

VAGA | SENIOR ARCHITECT DATA ENGINEER (DATABRICKS)
VAGA | SENIOR ARCHITECT DATA ENGINEER (DATABRICKS)

Avantti • United States

Remote
USD 58,000 - 116,000
Engenheiro(a) Sênior de Dados
Engenheiro(a) Sênior de Dados

Grupo Regazzo • United States

Remote
USD 120,000 - 170,000
Engenheiro Sênior de Dados | Databricks
Engenheiro Sênior de Dados | Databricks

confidential • United States

Remote
USD 120,000 - 180,000
Arquiteto Dados Sênior (Databricks)
Arquiteto Dados Sênior (Databricks)

Grupo Regazzo • United States

Remote
USD 180,000 - 260,000
Arquiteto Dados Sênior (Databricks)
Arquiteto Dados Sênior (Databricks)

confidential • United States

Remote
USD 150,000 - 210,000
12767420 - Engenheiro(a) de Dados Senior (Databricks / Unity Catalog)
12767420 - Engenheiro(a) de Dados Senior (Databricks / Unity Catalog)

Stefanini • United States

Remote
USD 120,000 - 160,000
12899976 - ENGENHEIRO DE DADOS PL
12899976 - ENGENHEIRO DE DADOS PL

Stefanini • United States

Remote
USD 110,000 - 180,000
Engenheiro DevOps/DataOps (Databricks)
Engenheiro DevOps/DataOps (Databricks)

Monitora • Piscataway Township (NJ)

On-site
USD 120,000 - 160,000
Engenheiro(a) de Dados Sênior - Databricks & DataOps
Engenheiro(a) de Dados Sênior - Databricks & DataOps

Grupo Regazzo • United States

Remote
USD 120,000 - 170,000
Senior Data Engineer (Databricks) - Fully Remote
Senior Data Engineer (Databricks) - Fully Remote

Avantti • United States

Remote
USD 31,000 - 42,000