Engenheiro(a) de Dados Sênior | Azure Databricks

Avanade; São Paulo; Presencial; BRL 240 000 - 360 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Vale refeição/ alimentação

Cartão Multibenefícios

Convênio médico e odontológico

Certificações e treinamentos

Seguro de vida

Previdência privada

Avababy: gestação e kit para novos pap

Participação nos resultados

Wellhub

Auxílio creche

Mentoria de carreira

Birthday Off (folga no mês do anivers

Resumo da oferta

A vanade oferece oportunidades para Engenheiro(a) de Dados Sênior participar de iniciativas de modernização e migração de plataformas para Azure Databricks. Você atuará como referência técnica, definindo padrões, assegurando qualidade e conduzindo decisões arquiteturais estratégicas em projetos de grande porte.

Ao colaborar com equipes multidisciplinares, você liderará pipelines escaláveis, streaming em tempo real e governança de dados, contribuindo para a transformação digital de nossos

Qualificações

• Experiência sólida com Azure Databricks e Spark.
• Domínio de Python e SQL.
• Experiência em migração de dados (Hadoop/Cloudera preferencial).
• Ingestão de dados estruturados e não estruturados.
• Conhecimento de modelagem de dados para ambientes analíticos.
• Integração de dados via APIs, mensageria e OLTP.
• Experiência com Git e CI/CD.
• Vivência em ambientes Azure/Cloud.

Responsabilidades

• Liderar tecnicamente a migração de workloads de dados de Cloudera para Azure Databricks.
• Definir estratégias de modernização para pipelines, scripts Python e arquiteturas analíticas.
• Projetar e evoluir pipelines ETL/ELT escaláveis e resilientes.
• Liderar iniciativas de streaming de dados em tempo real.
• Definir padrões de engenharia de dados, observabilidade e governança.
• Realizar revisões de código e disseminar boas práticas de desenvolvimento.
• Apoiar a modelagem de dados em arquiteturas Lakehouse utilizando Delta Lake.
• Integrar dados provenientes de APIs, aplicações SaaS, mensageria e sistemas legados.
• Colaborar com times de Data Science e MLOps na disponibilização de dados para modelos de IA e Machine Learning.
• Apoiar definições arquiteturais junto a arquitetos e stakeholders.
• Garantir performance, qualidade e governança dos ambientes de dados.
• Atuar como mentor(a) técnico(a), apoiando o desenvolvimento da equipe.

Conhecimentos

Azure Databricks

Apache Spark

Python

SQL

Data migration

Data modeling

API data integration

MLOps basics

CI/CD practices

Cloud (Azure)

Ferramentas

Git

CI/CD

Delta Lake

Databricks

Descrição da oferta de emprego

Como Engenheiro(a) de Dados Sênior, você será a principal referência técnica da squad, liderando iniciativas de modernização e migração de plataformas de dados para Azure Databricks. Sua atuação será fundamental para definir padrões de engenharia, garantir a qualidade das entregas e conduzir decisões arquiteturais que apoiem a transformação digital dos nossos clientes.

Você atuará em projetos de grande porte, com foco em arquiteturas modernas de dados, processamento distribuído, streaming e ambientes Lakehouse, colaborando com equipes multidisciplinares em um ambiente inovador e orientado a resultados.

Faça parte de uma equipe que está impulsionando a transformação digital por meio de dados, analytics e inteligência artificial. Aqui, você terá acesso a projetos estratégicos, tecnologias de ponta e oportunidades contínuas de aprendizado e crescimento.

Together we do what matters.

Saiba Mais Sobre Alguns Dos Nossos Benefícios

• Vale refeição ou alimentação
• Cartão Multibenefícios (até Consultor(a) Sênior)
• Convênio médico e odontológico
• Certificações e treinamentos
• Seguro de vida
• Previdência privada
• Avababy: acompanhamento da gestação e kit para novos pais e mães
• Participação nos resultados da empresa
• Wellhub
• Auxílio creche
• Mentoria de carreira
• Política de Birthday Off (um dia de folga no mês do seu aniversário)
• Sessões de bem-estar
• Para cargos gerenciais: veículo corporativo, estacionamento e auxílio combustível

Responsabilidades

• Liderar tecnicamente a migração de workloads de dados de Cloudera para Azure Databricks;
• Definir estratégias de modernização para pipelines, scripts Python e arquiteturas analíticas;
• Projetar e evoluir pipelines ETL/ELT escaláveis e resilientes;
• Liderar iniciativas de streaming de dados em tempo real;
• Definir padrões de engenharia de dados, observabilidade e governança;
• Realizar revisões de código e disseminar boas práticas de desenvolvimento;
• Apoiar a modelagem de dados em arquiteturas Lakehouse utilizando Delta Lake;
• Integrar dados provenientes de APIs, aplicações SaaS, mensageria e sistemas legados;
• Colaborar com times de Data Science e MLOps na disponibilização de dados para modelos de IA e Machine Learning;
• Apoiar definições arquiteturais junto a arquitetos e stakeholders;
• Garantir performance, qualidade e governança dos ambientes de dados;
• Atuar como mentor(a) técnico(a), apoiando o desenvolvimento da equipe.

Qualifications

Habilidades e experiências

Requisitos obrigatórios

• Experiência sólida com Azure Databricks;
• Forte experiência com Apache Spark para processamento distribuído;
• Domínio de Python e SQL;
• Experiência em migração de dados, preferencialmente ambientes Hadoop/Cloudera;
• Experiência com ingestão de dados estruturados e não estruturados;
• Conhecimento de modelagem de dados para ambientes analíticos;
• Experiência com integração de dados via APIs, mensageria e sistemas OLTP;
• Familiaridade com engenharia de Machine Learning e pipelines de dados;
• Experiência com Git e práticas de CI/CD;
• Vivência em ambientes Cloud, preferencialmente Microsoft Azure;

Diferenciais

• Experiência com migração de workloads de Cloudera/Hadoop;
• Conhecimento em Databricks Structured Streaming e Delta Live Tables;
• Experiência com Unity Catalog;
• Conhecimento em DBT;
• Experiência com MLOps e MLflow;
• Vivência no segmento financeiro;
• Certificações Azure e/ou Databricks.