Engenheiro de Dados Sênior (com experiência em configuração de Databricks na Azure)

MOL; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia busca um Engenheiro de Dados Sênior para trabalhar em um ambiente remoto com reuniões mensais presenciais. O profissional será responsável pela configuração e governança do Azure Databricks, incluindo integração com Azure Data Lake e criação de pipelines de dados. É necessário ter experiência com ferramentas como Power BI e Delta Lake e conhecimento em governança de dados. A contratação será no modelo PJ, Tempo Integral.

Qualificações

• Experiência comprovada na configuração e governança do Azure Databricks.
• Capacidade de criar e estruturar ambientes de dados.
• Conhecimento em segurança de dados e conformidade.

Responsabilidades

• Configurar o ambiente Databricks dentro da Azure.
• Criar pipelines de ingestão e transformação de dados.
• Garantir práticas de performance e escalabilidade.

Conhecimentos

Azure Databricks

Integração com Azure Data Lake

Python

SQL avançado

Spark

Governança de dados

Ferramentas

Azure Data Factory

Power BI

Azure Synapse Analytics

Delta Lake

Descrição da oferta de emprego

Localização

São Paulo / SP. Tipo Vaga: Home Office (1x por mês presencial)

Contratação

Tipo: PJ. Tempo Integral.

Sobre a MOL

Somos a MOL – Mediação Online, referência em soluções digitais para resolução de conflitos. Nossas plataformas conectam empresas e consumidores de forma eficiente, escalável e com foco na experiência do usuário. Estamos em constante transformação e buscamos profissionais que queiram construir tecnologia com impacto social e escalabilidade real.

Objetivo da Vaga

Estamos estruturando uma nova arquitetura de dados na MOL e buscamos um Engenheiro de Dados Sênior com experiência comprovada na configuração e governança do Azure Databricks, incluindo:

• Criação e configuração de workspaces Databricks em Azure
• Integração com Unity Catalog e gerenciamento de permissões
• Configuração de clusters, pools, jobs, tokens, service principals
• Integração Databricks Azure Data Lake Storage (ADLS)
• Configuração de metastore, tables, schemas e catalogação
• Suporte a governança e conformidade (ISO 27001, RBAC, ACLs etc.)

Responsabilidades

O profissional atuará ao lado do time de tecnologia e das áreas de negócio, transformando dados em informação confiável e criando padrões sólidos de ingestão, modelagem e qualidade.

• Configurar e administrar o ambiente Databricks dentro da Azure
• Criar e estruturar o Unity Catalog, incluindo metastore, schemas e policies
• Implementar RBAC / ACLs e garantir governança sobre dados sensíveis
• Configurar integrações seguras com ADLS, Key Vault, AAD e redes
• Definir padrões técnicos de arquitetura em Lakehouse
• Criar pipelines de ingestão, transformação e orquestração
• Apoiar decisões de arquitetura de dados de toda a empresa
• Garantir boas práticas de performance, escalabilidade e custo (FinOps)

Tecnologias e Ferramentas do Stack Databricks

• Criação e manutenção de workspaces
• Unity Catalog (metastore, schemas, políticas de acesso)
• Integração com ADLS / Key Vault / AAD
• Configuração de clusters, pools, jobs e permissions
• Spark, PySpark, SQL, Delta Lake, Autoloader
• Streaming e batch
• Notebooks e Jobs

Ingestão e Orquestração

• Azure Data Lake Storage Gen2 (Bronze / Silver / Gold / Feature AI)
• Delta Lake
• Azure Blob Storage
• Azure Data Factory
• Azure Functions
• Azure Event Hub
• Azure Service Bus
• Databricks Jobs

Processamento de Dados

• Databricks (batch e streaming)
• Spark Structured Streaming

Data Warehouse

• Delta Lake (Gold)
• Azure Synapse Analytics (Dedicated SQL Pool, quando necessário)

BI e Consumo

• Power BI
• Dataflows
• Direct Lake / Direct Query

Linguagens

• Python
• SQL avançado
• PySpark