Engenheiro(a) de Dados Sênior - Azure & Databricks

Digiage; Campinas; Presencial; BRL 210 000 - 320 000; Tempo integral

Resumo da oferta

A Digiage procura um Engenheiro de Dados Sênior para liderar pipelines em Azure Databricks, com foco em dados estruturados e não estruturados. Você desenvolverá arquiteturas Lakehouse, assegurando qualidade, governança e desempenho em ambientes Azure.

O profissional trabalhará com Data Factory, ADLS Gen2, Databricks e Synapse, criando soluções escaláveis para Analytics, IA e plataformas de dados, além de aplicar melhores práticas e contribuir para a evolução da arquitetura.

Qualificações

• Experiência sólida como Engenheiro(a) de Dados em ambiente Azure.

Responsabilidades

• Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços do ecossistema Azure e Databricks.

Conhecimentos

Python

SQL

PySpark

Azure Databricks

Data Factory

ADLS Gen2

Synapse Analytics

Azure Functions

Event Hubs/Event Grid

Unity Catalog

Delta Lake

Git & CI/CD

Terraform

Docker & Kubernetes

Data Modeling

Data Lake/Lakehouse

Observability & Troubleshooting

LGPD & Governança de Dados

Azure Monitor

Ferramentas

Azure Data Factory

ADLS Gen2

Databricks

Synapse Analytics

Azure Functions

Databricks Workflows

Databricks Unity Catalog

Event Hubs

Event Grid

Terraform

AKS

Descrição da oferta de emprego

Junte-se à Digiage e ajude a escalar a inteligência artificial com excelência operacional.

Na Digiage, acreditamos que os dados são a base para impulsionar inovação, eficiência e decisões estratégicas. Estamos em busca de um(a) Engenheiro(a) de Dados Sênior | Azure & Databricks para atuar em projetos estratégicos junto a clientes de grande porte, desenvolvendo arquiteturas modernas de dados e soluções escaláveis para Analytics, Inteligência Artificial e Data Platforms.

Você será responsável por projetar, implementar e evoluir pipelines de dados de alta performance, garantindo qualidade, confiabilidade e escalabilidade em ambiente Azure Databricks, além de contribuir para a evolução da arquitetura e das melhores práticas de engenharia de dados.

Responsabilidades

• Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços do ecossistema Azure e Databricks.
• Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT), incluindo cenários de ingestão em tempo real.
• Implementar e otimizar soluções utilizando serviços como Azure Data Factory, Azure Data Lake Storage (ADLS Gen2), Databricks Jobs/Workflows, Azure Functions, Azure Synapse Analytics e Event Hubs/Event Grid.
• Projetar, implementar e sustentar Data Lakes e arquiteturas Lakehouse (medallion: Bronze/Silver/Gold) em ambiente Azure Databricks.
• Desenvolver soluções utilizando Python, SQL e PySpark com foco em performance, escalabilidade e qualidade dos dados.
• Trabalhar com grandes volumes de dados estruturados e não estruturados.
• Garantir qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline, com uso do Unity Catalog e conformidade com a LGPD.
• Otimizar consultas, processamento e consumo de dados (Databricks SQL Warehouses, dimensionamento de clusters), buscando redução de custos e aumento de performance.
• Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas.
• Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados (ex.: alertas de Databricks Jobs, Azure Monitor).
• Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma.
• Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.

Requisitos mínimos

• Experiência sólida como Engenheiro(a) de Dados em ambiente Azure.
• Domínio dos principais serviços de dados do Azure, como Data Factory, ADLS Gen2, Databricks, Synapse Analytics e Azure Functions.
• Experiência sólida no desenvolvimento de pipelines ETL/ELT.
• Conhecimento avançado em Python e SQL.
• Experiência com modelagem de dados para ambientes analíticos e Data Lakes/Lakehouse.
• Conhecimento em Apache Spark ou PySpark.
• Experiência com versionamento utilizando Git e práticas de CI/CD (idealmente Azure DevOps).
• Conhecimento em particionamento, otimização de consultas e processamento distribuído.
• Experiência com monitoramento, observabilidade e troubleshooting de pipelines.
• Conhecimento em arquitetura de dados em cloud e boas práticas de segurança, governança e conformidade com a LGPD.
• Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.

Diferenciais

• Experiência com Databricks Unity Catalog para governança e catalogação de dados.
• Conhecimento em Delta Lake e arquitetura medallion (Bronze/Silver/Gold).
• Conhecimento em Azure Data Factory e/ou Databricks Workflows / Databricks Asset Bundles (DABs) para orquestração.
• Experiência com arquiteturas orientadas a eventos (Event Hubs, Event Grid).
• Experiência com integração de sistemas legados/ERP (ex.: SAP) em pipelines de dados.
• Conhecimento em frameworks de qualidade de dados (ex.: DQX - Databricks Labs, dbt, Great Expectations).
• Conhecimento em ingestão de dados em tempo real (ex.: Event Hubs, Kafka).
• Experiência com Docker e Kubernetes (AKS).
• Conhecimento em infraestrutura como código (Terraform ou Bicep/ARM Templates).
• Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps.
• Experiência em ambientes corporativos de grande porte e projetos de missão crítica.
• Certificações Azure e/ou Databricks (ex.: DP-203, Databricks Certified Data Engineer).