Engenheiro(a) de Dados Sênior Azure & Databricks

Solorecruiter; United States; Hybrid; USD 36,000 - 56,000; Full time

Job summary

Solorecruiter procura Engenheiro(a) de Dados Sênior para atuar em projetos estratégicos envolvendo Azure e Databricks. O profissional irá projetar, construir e evoluir pipelines de dados de alta performance, com foco em governança, qualidade e escalabilidade.

A função exige experiência avançada em Python/SQL, Spark, Data Factory e plataformas Azure, com atuação em Data Lakes/Lakehouse e integração com ferramentas de CI/CD. Trabalho híbrido com atuação em Porto Alegre/remote.

Qualifications

• Experiência sólida como Engenheiro(a) de Dados em ambiente Azure.
• Domínio de Data Factory, ADLS Gen2, Databricks, Synapse Analytics e Azure Functions.
• Experiência em pipelines ETL/ELT.
• Conhecimento avançado em Python e SQL.
• Modelagem de dados para ambientes analíticos e Data Lakes/Lakehouse.
• Conhecimento em Spark/PySpark.
• Controle de versão com Git e práticas de CI/CD, idealmente Azure DevOps.
• Conhecimento em particionamento, otimização de consultas e processamento distribuído.
• Arquitetura de dados em Cloud, governança, LGPD e segurança.

Responsibilities

• Projetar, desenvolver e evoluir pipelines de dados escaláveis com Azure e Databricks.
• Implementar ETL/ELT robusto com ingestão em tempo real.
• Otimizar soluções com Azure Data Factory, ADLS Gen2, Databricks e Synapse para performance e custo.
• Projetar e manter Data Lakes e arquiteturas Lakehouse (Bronze/Silver/Gold).
• Desenvolver soluções com Python, SQL e PySpark com foco em qualidade de dados.
• Atuar com grandes volumes de dados estruturados e não estruturados.
• Garantir governança, segurança e conformidade (LGPD) ao longo do pipeline.
• Monitorar, diagnosticar falhas e manter observabilidade dos pipelines.
• Colaborar com Analytics, Ciência de Dados, Engenharia de Software e Arquitetura.

Skills

Python

SQL

PySpark

Liderança técnica

Analítica de dados

Inglês técnico

Tools

Azure Data Factory

Azure Databricks

ADLS Gen2

Azure Synapse Analytics

Azure Functions

Event Hubs

Event Grid

Unity Catalog

Delta Lake

Databricks Workflows

Terraform

Bicep/ARM Templates

Docker

Kubernetes (AKS)

Git & CI/CD (Azure DevOps)

Job description

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior | Azure & Databricks para atuar em projetos estratégicos junto a clientes de grande porte, desenvolvendo arquiteturas modernas de dados e soluções escaláveis para Analytics, Inteligência Artificial e Data Platforms.

Você será responsável por projetar, implementar e evoluir pipelines de dados de alta performance, garantindo qualidade, confiabilidade e escalabilidade em ambiente Azure Databricks, além de contribuir para a evolução da arquitetura e das melhores práticas de engenharia de dados.

Responsabilidades

• Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços do ecossistema Azure e Databricks;
• Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT), incluindo cenários de ingestão em tempo real;
• Implementar e otimizar soluções utilizando Azure Data Factory, Azure Data Lake Storage (ADLS Gen2), Databricks Jobs/Workflows, Azure Functions, Azure Synapse Analytics e Event Hubs/Event Grid;
• Projetar, implementar e sustentar Data Lakes e arquiteturas Lakehouse (medallion: Bronze/Silver/Gold) em ambiente Azure Databricks;
• Desenvolver soluções utilizando Python, SQL e PySpark, com foco em performance, escalabilidade e qualidade dos dados;
• Trabalhar com grandes volumes de dados estruturados e não estruturados;
• Garantir qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline, utilizando Unity Catalog e seguindo os requisitos da LGPD;
• Otimizar consultas, processamento e consumo de dados, buscando redução de custos e aumento de performance;
• Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas;
• Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados;
• Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma;
• Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.

Requisitos mínimos

• Experiência sólida como Engenheiro(a) de Dados em ambiente Azure;
• Domínio dos principais serviços de dados do Azure, como Data Factory, ADLS Gen2, Databricks, Synapse Analytics e Azure Functions;
• Experiência sólida no desenvolvimento de pipelines ETL/ELT;
• Conhecimento avançado em Python e SQL;
• Experiência com modelagem de dados para ambientes analíticos e Data Lakes/Lakehouse;
• Conhecimento em Apache Spark ou PySpark;
• Experiência com versionamento utilizando Git e práticas de CI/CD, idealmente Azure DevOps;
• Conhecimento em particionamento, otimização de consultas e processamento distribuído;
• Experiência com monitoramento, observabilidade e troubleshooting de pipelines;
• Conhecimento em arquitetura de dados em Cloud e boas práticas de segurança, governança e conformidade com a LGPD;
• Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.

Diferenciais

• Experiência com Databricks Unity Catalog para governança e catalogação de dados;
• Conhecimento em Delta Lake e arquitetura medallion (Bronze/Silver/Gold);
• Conhecimento em Azure Data Factory e/ou Databricks Workflows / Databricks Asset Bundles (DABs) para orquestração;
• Experiência com arquiteturas orientadas a eventos (Event Hubs, Event Grid);
• Experiência com integração de sistemas legados/ERP, como SAP, em pipelines de dados;
• Conhecimento em frameworks de qualidade de dados, como DQX, dbt e Great Expectations;
• Conhecimento em ingestão de dados em tempo real, como Event Hubs e Kafka;
• Experiência com Docker e Kubernetes (AKS);
• Conhecimento em infraestrutura como código (Terraform ou Bicep/ARM Templates);
• Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps;
• Experiência em ambientes corporativos de grande porte e projetos de missão crítica;
• Certificações Azure e/ou Databricks, como DP-203 e Databricks Certified Data Engineer.

Modelo de trabalho

• Localização: Porto Alegre – RS
  Modalidade: Remoto, porém o candidato deve residir em Porto Alegre ou região metropolitana e ter disponibilidade para atuar presencialmente no cliente quando necessário.
  Modelo de Contratação : CLT ou PJ