Engenheiro De Dados Sênior (Com Experiência Em Configuração De Databricks Na Azure)

MOL; Contagem; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma referência em soluções digitais procura um Engenheiro de Dados Sênior em Minas Gerais. O candidato ideal deve ter experiência na configuração e governança do Azure Databricks e no manuseio de dados com alto nível de segurança. As responsabilidades incluem integrar tecnologias como Azure Data Lake Storage, Spark e Power BI em um ambiente colaborativo. Os profissionais devem ter habilidades sólidas em Python e SQL, com um foco em criar soluções escaláveis e seguras.

Qualificações

• Experiência comprovada na configuração e governança do Azure Databricks.
• Forte conhecimento em integração com Azure Data Lake Storage (ADLS).
• Experiência em configuração e operações com Spark, PySpark e Delta Lake.

Responsabilidades

• Configurar e administrar o ambiente Databricks dentro da Azure.
• Criar e estruturar o Unity Catalog, incluindo metastore, schemas e policies.
• Definir padrões técnicos de arquitetura em Lakehouse.

Conhecimentos

Configuração e administração de ambientes Databricks

Integração com Azure Data Lake Storage

Processamento com Spark e PySpark

Linguagem Python

SQL avançado

Implementação de RBAC / ACLs

Configuracão de pipelines de ingestão e transformação

Ferramentas

Azure Data Factory

Power BI

Azure Synapse Analytics

Descrição da oferta de emprego

Localização

Localização : São Paulo / SP

Tipo Vaga : Home Office (1x por mês presencial)

Contratação

Contratação : PJ

Tempo Integral

Sobre a MOL

Somos a MOL – Mediação Online, referência em soluções digitais para resolução de conflitos. Nossas plataformas conectam empresas e consumidores de forma eficiente, escalável e com foco na experiência do usuário. Estamos em constante transformação e buscamos profissionais que queiram construir tecnologia com impacto social e escalabilidade real.

Objetivo da Vaga

Estamos estruturando uma nova arquitetura de dados na MOL e buscamos um Engenheiro de Dados Sênior com experiência comprovada na configuração e governança do Azure Databricks, incluindo:

• Criação e configuração de workspaces Databricks em Azure
• Integração com Unity Catalog e gerenciamento de permissões
• Configuração de clusters, pools, jobs, tokens, service principals
• Integração Databricks ↔ Azure Data Lake Storage (ADLS)
• Configuração de metastore, tables, schemas e catalogação
• Suporte a governança e conformidade (ISO 27001, RBAC, ACLs etc.)

O desafio envolve participar desde o desenho da arquitetura até a implementação completa de um ecossistema moderno, escalável e governado, que dará suporte às áreas de negócio, produtos, BI e iniciativas de Inteligência Artificial.

Responsabilidades

O profissional atuará ao lado do time de tecnologia e das áreas de negócio, transformando dados em informação confiável e criando padrões sólidos de ingestão, modelagem e qualidade.

Além disso, será responsável por :

• Configurar e administrar o ambiente Databricks dentro da Azure
• Criar e estruturar o Unity Catalog, incluindo metastore, schemas e policies
• Implementar RBAC / ACLs e garantir governança sobre dados sensíveis
• Configurar integrações seguras com ADLS, Key Vault, AAD e redes
• Definir padrões técnicos de arquitetura em Lakehouse
• Criar pipelines de ingestão, transformação e orquestração
• Apoiar decisões de arquitetura de dados de toda a empresa
• Garantir boas práticas de performance, escalabilidade e custo (FinOps)

Tecnologias e Ferramentas do Stack Databricks (configuração e operação) — Obrigatório saber configurar

• Criação e manutenção de workspaces
• Unity Catalog (metastore, schemas, políticas de acesso)
• Integração com ADLS / Key Vault / AAD
• Configuração de clusters, pools, jobs e permissions
• Spark, PySpark, SQL, Delta Lake, Autoloader
• Streaming e batch
• Notebooks e Jobs

Amazenamento e Arquitetura

• Azure Data Lake Storage Gen2 (Bronze / Silver / Gold / Feature AI)
• Delta Lake
• Azure Blob Storage

Ingestão e Orquestração

• Azure Data Factory
• Azure Functions
• Azure Event Hub
• Azure Service Bus
• Databricks Jobs

Processamento de Dados

• Databricks (batch e streaming)
• Spark Structured Streaming

Data Warehouse

• Delta Lake (Gold)
• Azure Synapse Analytics (Dedicated SQL Pool, quando necessário)

BI e Consumo

• Power BI
• Dataflows
• Direct Lake / Direct Query

Linguagens

• Python
• SQL avançado
• PySpark