Engenheiro de dados Sênior Databricks

ASURIS; São Paulo; Presencial; BRL 120 000 - 200 000; Tempo integral

Resumo da oferta

ASURIS está buscando um(a) Engenheiro(a) de Dados para atuar em migração e engenharia de dados em ambiente Azure, com foco em Databricks, Unity Catalog e pipelines de dados. O profissional assegurará integridade, desempenho e governança em ambientes de missão crítica.

Principais atividades: migrar estruturas no Azure Databricks, gerenciar Unity Catalog, otimizar ingestão de grandes volumes e apoiar validações técnicas com equipes internas e fornecedor.

Qualificações

• Experiência sólida com Azure Databricks e PySpark/Python.
• Conhecimento em Azure Data Lake Storage Gen2, ACLs e AzCopy.
• Domínio de SQL e engenharia de dados.
• Vivência com Unity Catalog e governança de dados.
• Perfil analítico, autônomo e com boa comunicação técnica.

Responsabilidades

• Realizar migração de estruturas e dados no Azure Databricks (notebooks, clusters, catálogos).
• Trabalhar com Unity Catalog: schemas, tabelas e governança de dados.
• Otimizar ingestão e transferência de grandes volumes de dados (ADLS Gen2, AzCopy, Delta/Parquet).
• Gerenciar notebooks (widgets), bibliotecas e dimensionamento de clusters.
• Apoiar validações, homologações e troubleshooting com times técnicos e fabricante.

Conhecimentos

PySpark

Python

SQL

Azure

Governança de dados

Comunicação técnica

Ferramentas

Azure Databricks

Azure Data Lake Storage Gen2

AzCopy

ARM Templates

Descrição da oferta de emprego

Buscamos um(a) Engenheiro(a) de Dados para atuar em projetos de migração e engenharia de dados em ambiente Azure de grande porte, com foco em Databricks, Unity Catalog e pipelines de dados, garantindo integridade, desempenho e governança dos dados em ambientes de missão crítica.

Responsabilidades

• Realizar migração de estruturas e dados no Azure Databricks (notebooks, clusters, catálogos).
• Trabalhar com Unity Catalog: schemas, tabelas, external locations e governança de dados.
• Otimizar processos de ingestão e transferência de grandes volumes de dados (ADLS Gen2, AzCopy, Delta/Parquet).
• Tratar parametrizações de notebooks (widgets), bibliotecas e dimensionamento de clusters.
• Apoiar validações, homologações e troubleshooting junto a times técnicos e fabricante.

Requisitos

• Experiência sólida com Azure Databricks e PySpark/Python.
• Conhecimento em Azure Data Lake Storage Gen2, ACLs e AzCopy.
• Domínio de SQL e engenharia de dados.
• Vivência com Unity Catalog e governança de dados.
• Perfil analítico, autônomo e com boa comunicação técnica.

Diferenciais

• Experiência em projetos de migração de dados entre regiões/nuvens.
• Conhecimento em ARM Templates e Databricks Migrate.