Engenheiro de Dados BBA

Unik RH; Belo Horizonte; Presencial; BRL 180 000 - 290 000; Tempo integral

Resumo da oferta

A Unik RH procura Engenheiro de Dados Sênior para projetar, construir e manter nossa plataforma de dados baseada em Azure Databricks, assegurando qualidade, governança, segurança e performance.

Você desenhará arquiteturas Lakehouse, definirá padrões de modelagem no Unity Catalog, validará dados com testes automatizados e liderará iniciativas de integração entre áreas. Requisitos fortes em Python/SQL, PySpark e Azure Databricks, com inglês intermediário.

Qualificações

• Conhecimentos avançados em Python, PySpark e SQL para engenharia de dados.
• Experiência prática com Azure Databricks, Delta Lake, Lakehouse e Unity Catalog.
• Gestão de pipelines de dados com DevOps e versionamento de código.
• Experiência em dados de produção, governança e qualidade de dados.

Responsabilidades

• Projetar, construir e sustentar plataforma de dados baseada em Azure Databricks.
• Projetar arquiteturas Lakehouse (Bronze/Silver/Gold) em produção.
• Definir padrões de modelagem, versionamento e governança de tabelas.
• Construir pipelines de ingestão, transformação e disponibilização de dados.
• Desenvolver pipelines batch e streaming com Databricks Jobs/Workflows.

Conhecimentos

Python

PySpark

Azure Databricks

Delta Lake

Microsoft Azure Cloud

SQL avançado

Git e CI/CD (Azure DevOps)

Inglês Intermediário

Qualidade e reconciliação de dados

Descrição da oferta de emprego

O Engenheiro de Dados Sênior será responsável por projetar, construir, otimizar e sustentar toda a plataforma de dados baseada em Azure Databricks, garantindo qualidade, governança, segurança, performance e escalabilidade.É um papel altamente técnico, com forte atuação em arquitetura, automação, governança e integração entre áreas.

Projetar, implementar e evoluir arquiteturas Lakehouse utilizando o padrão Medallion (Bronze, Silver, Gold) em produção.

Definir padrões de modelagem, versionamento e organização de tabelas no Unity Catalog, incluindo permissões, lineage e governança.

Documentar arquiteturas, fluxos, padrões e boas práticas de engenharia de dados.

Construir pipelines robustos de ingestão, transformação e disponibilização de dados em Python, PySpark e SQL avançado.

Desenvolver pipelines em batch e streaming utilizando Databricks Jobs, Workflows, Delta Live Tables / Lakeflow.

Implementar processos de reconciliação, checagem e qualidade de dados (DQX) com testes automatizados.

Otimizar performance de jobs Spark, particionamento, caching e estratégias de custo.

Administrar e operar recursos de dados no Azure Databricks, ADLS, Azure Data Factory, Azure DevOps, Azure Functions, Synapse Analytics, entre outros.

Abrir, acompanhar e detalhar incidentes na Azure (inglês intermediário).

Monitorar, observar e tratar falhas em pipelines, garantindo confiabilidade e SLA.

Configurar permissões, acessos e governança via Unity Catalog.

Garantir segurança, integridade e conformidade dos dados (incluindo LGPD).

Implementar padrões de auditoria, lineage e rastreabilidade.

Criar testes automatizados de qualidade, reconciliação e validação de dados.

Utilizar ferramentas como DQX Databricks para monitoramento contínuo.

Realizar data profiling, verificação de integridade e consistência.

Versionar código com Git e implementar pipelines de CI/CD em Azure DevOps.

Automatizar deploys de notebooks, workflows, bundles e artefatos Databricks.

Implementar Asset Bundles para empacotamento e promoção entre ambientes.

Trabalhar em conjunto com times de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura.

Apoiar equipes menos experientes, promovendo boas práticas de engenharia.

Traduzir necessidades de negócio em soluções escaláveis e eficientes.

Obrigatórios:

• Python
• PySpark
• Azure Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow, Unit Catalog (permissões) e Asset Bundles;
• Microsoft Azure Cloud
• SQL avançado
• Git e CI/CD pipelines (Azure DevOps)
• Inglês Intermediário (Abrir incidentes na Azure)
• Qualidade e reconciliação de dados: testes automatizados, DQX Databricks.

Diferenciais/desejável:

• Conhecimento em AWS
• Azure Kubernetes Service (AKS)
• Noções de IA na cloud
• Certificações Databricks (Data Engineer Associate / Professional).