Engenheiro Sênior de Dados - Databricks & DataOps

confidential; United States; À distance; USD 120 000 - 180 000; Plein temps

Résumé du poste

Grupo Regazzo, não confídencial, contrata Engenheiro de Dados Sênior para atuar com Databricks, Delta Lake e pipelines avançados. Você desenvolverá arquiteturas de dados escaláveis, integrando batch, micro-batch e streaming, com ênfase em qualidade, governança e observabilidade.

O profissional irão colaborar com equipes multidisciplinares, suportando iniciativas de IA/ML, DataOps e modernização de plataformas de dados, incluindo pipelines CI/CD e práticas de YAML. Inglês fluente.

Qualifications

• Experiência sólida em Engenharia de Dados.
• Mínimo de 2 anos com pipelines de dados utilizando Databricks.
• Experiência comprovada com Delta Lake, Delta Live Tables, Unity Catalog, Uniform (Iceberg).
• Experiência no desenvolvimento de pipelines de dados batch, micro-batch e streaming.
• Vivência na construção de soluções escaláveis com YAML.
• Experiência com ingestão e processamento de dados com Auto Loader ou tecnologias similares.
• Conhecimento avançado em SQL e programação (Python/Scala/Java).
• Experiência com pipelines DevOps/CI/CD para dados.
• Conhecimento em ferramentas de qualidade de dados como Great Expectations, dbt, Collibra ou similares.
• Experiência com plataformas de Big Data: Spark, Presto, AWS EMR.
• Experiência com Data Warehouses em nuvem (Snowflake, Redshift, BigQuery).
• Conhecimento avançado em ambientes distribuídos e containers.
• Inglês fluente.

Responsabilités

• Desenvolver, implementar e otimizar soluções de dados utilizando Databricks.
• Projetar pipelines de dados escaláveis para processamento batch, micro-batch e streaming.
• Aplicar recursos avançados da plataforma Databricks (Delta Lake, Delta Live Tables, Unity Catalog, Uniform).
• Colaborar com equipes multidisciplinares para definir arquiteturas de dados modernas.
• Garantir qualidade, desempenho, confiabilidade e governança dos dados ao longo do ciclo de vida.
• Desenvolver padrões reutilizáveis de ingestão, transformação e disponibilização de dados.
• Criar e manter processos de orquestração (Databricks Workflows, Airflow, dbt).
• Implementar práticas de observabilidade, auditoria e monitoramento de pipelines.
• Participar da definição de pipelines CI/CD para ambientes de dados.
• Apoiar iniciativas de IA, ML e DataOps.
• Manter-se atualizado sobre novas funcionalidades Databricks e melhores práticas.

Connaissances

SQL Avançado

Python

PySpark

Engenharia de Dados

Spark Distribuído

DataOps

CI/CD para Dados

Observabilidade de Pipelines

NoSQL

Outils

Databricks Platform

Delta Lake

Delta Live Tables

Unity Catalog

Uniform (Iceberg)

Airflow

dbt

Great Expectations

Collibra

Apache Spark

Presto

Amazon EMR

Snowflake

Redshift

BigQuery

MLflow

Terraform

Description du poste

Grupo Regazzo, não confídencial, contrata Engenheiro de Dados Sênior para atuar com Databricks, Delta Lake e pipelines avançados. Você desenvolverá arquiteturas de dados escaláveis, integrando batch, micro-batch e streaming, com ênfase em qualidade, governança e observabilidade.

O profissional irão colaborar com equipes multidisciplinares, suportando iniciativas de IA/ML, DataOps e modernização de plataformas de dados, incluindo pipelines CI/CD e práticas de YAML. Inglês fluente.