Engenheiro(A) De Dados Sênior (Azure & Databricks)

Netvagas; São Paulo; Remote; BRL 279,000 - 469,000; Full time

Job summary

Netvagas procura Engenheiro(a) de Dados Sênior para atuar em Campinas - SP, com foco em Azure Databricks, Data Factory, ADLS Gen2 e arquitetura Lakehouse. Irá projetar pipelines de dados de alto desempenho, com ênfase em qualidade, escalabilidade e governança conforme LGPD, trabalhando com Python, SQL e PySpark.

A posição permite trabalho remoto com reuniões presenciais esporádicas, contratação CLT ou PJ, e colaboração com equipes de Analytics e Engenharia de Software em projetos estratégicos de

Qualifications

• Experiência sólida em serviços de dados do Azure (Data Factory, ADLS Gen2, Databricks, Synapse).
• Desenvolvimento de pipelines ETL/ELT com foco em performance e escalabilidade.
• Modelagem de dados para Data Lakes/Lakehouse e governança com Unity Catalog.
• Conhecimento de LGPD e práticas de segurança de dados.
• Conhecimento avançado em Python e SQL; PySpark é diferencial.

Responsibilities

• Projetar, desenvolver e evoluir pipelines de dados escaláveis no ecossistema Azure e Databricks.
• Implementar ingestão, transformação e disponibilização de dados com ETL/ELT e ingestão em tempo real.
• Otimizar consultas, processamento e custo, assegurando qualidade e governança dos dados.
• Trabalhar com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura.
• Implementar monitoramento, observabilidade e tratamento de falhas em pipelines.

Skills

Python

SQL

PySpark

Git

CI/CD

Problemas analíticos

Tools

Azure Data Factory

ADLS Gen2

Databricks

Azure Synapse

Event Hubs

Event Grid

Azure Functions

Terraform

AKS

Docker

Kubernetes

Job description

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior | Azure & Databricks para atuar em projetos estratégicos junto a clientes de grande porte, desenvolvendo arquiteturas modernas de dados e soluções escaláveis para Analytics, Inteligência Artificial e Data Platforms.

Você será responsável por projetar, implementar e evoluir pipelines de dados de alta performance, garantindo qualidade, confiabilidade e escalabilidade em ambiente Azure Databricks, além de contribuir para a evolução da arquitetura e das melhores práticas de engenharia de dados.

Responsabilidades

• Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços do ecossistema Azure e Databricks;
• Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT), incluindo cenários de ingestão em tempo real;
• Implementar e otimizar soluções utilizando Azure Data Factory, Azure Data Lake Storage (ADLS Gen2), Databricks Jobs/Workflows, Azure Functions, Azure Synapse Analytics e Event Hubs/Event Grid;
• Projetar, implementar e sustentar Data Lakes e arquiteturas Lakehouse (medallion: Bronze/Silver/Gold) em ambiente Azure Databricks;
• Desenvolver soluções utilizando Python, SQL e PySpark, com foco em performance, escalabilidade e qualidade dos dados;
• Trabalhar com grandes volumes de dados estruturados e não estruturados;
• Garantir qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline, utilizando Unity Catalog e seguindo os requisitos da LGPD;
• Otimizar consultas, processamento e consumo de dados, buscando redução de custos e aumento de performance;
• Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas;
• Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados;
• Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma;
• Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.
• Experiência sólida como Engenheiro(a) de Dados em ambiente Azure;
• Domínio dos principais serviços de dados do Azure, como Data Factory, ADLS Gen2, Databricks, Synapse Analytics e Azure Functions;
• Experiência sólida no desenvolvimento de pipelines ETL/ELT;
• Conhecimento avançado em Python e SQL;
• Experiência com modelagem de dados para ambientes analíticos e Data Lakes/Lakehouse;
• Conhecimento em Apache Spark ou PySpark;
• Experiência com versionamento utilizando Git e práticas de CI/CD, idealmente Azure DevOps;
• Conhecimento em particionamento, otimização de consultas e processamento distribuído;
• Experiência com monitoramento, observabilidade e troubleshooting de pipelines;
• Conhecimento em arquitetura de dados em Cloud e boas práticas de segurança, governança e conformidade com a LGPD;
• Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.

Diferenciais

• Experiência com Databricks Unity Catalog para governança e catalogação de dados;
• Conhecimento em Azure Data Factory e/ou Databricks Workflows / Databricks Asset Bundles (DABs) para orquestração;
• Experiência com arquiteturas orientadas a eventos (Event Hubs, Event Grid);
• Experiência com integração de sistemas legados/ERP, como SAP, em pipelines de dados;
• Conhecimento em frameworks de qualidade de dados, como DQX, dbt e Great Expectations;
• Conhecimento em ingestão de dados em tempo real, como Event Hubs e Kafka;
• Experiência com Docker e Kubernetes (AKS);
• Conhecimento em infraestrutura como código (Terraform ou Bicep/ARM Templates);
• Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps;
• Experiência em ambientes corporativos de grande porte e projetos de missão crítica;
• Certificações Azure e/ou Databricks, como DP-203 e Databricks Certified Data Engineer.

Modelo de trabalho

• Localização: Campinas - SP
  Modalidade: Remoto - Remoto, porém o candidato deve ter disponibilidade para participar de reuniões presenciais esporadicamente, quando necessário.
  Modelo de Contratação : CLT ou PJ