Engenheiro(a) de Dados Sênior – Azure Databricks

Avantti; São Paulo; Teletrabalho; BRL 300 000 - 520 000; Tempo integral

Resumo da oferta

A Avantti Tecnologia atua como Engenheiro de Dados Sênior, trabalhando remotamente em ambientes globais. O profissional terá mais de 8 anos de experiência para construir, evoluir e sustentar soluções de dados em grande escala, com foco em Azure Databricks, PySpark, ADF, Data Lake, Python e SQL.

É essencial transformar dados, integrar pipelines e otimizar performance, assegurando confiabilidade e disponibilidade para demandas analíticas de negócio.

Qualificações

• Experiência comprovada em Engenharia de Dados e desenvolvimento de pipelines.
• Domínio de ETL/ELT e transformação de dados.
• Conhecimento avançado de SQL, incluindo tuning de consultas complexas.
• Experiência prática com PySpark, Python, Databricks e serviços Azure.
• Capacidade de atuar com autonomia e gerenciar prioridades.

Responsabilidades

• Desenvolver, manter e otimizar pipelines de dados com Azure Databricks, PySpark, ADF e Data Lake.
• Construir ETL/ELT para integração de dados corporativos e necessidades analíticas.
• Ingerir, transformar, validar e reconciliar dados de múltiplos sistemas.
• Realizar profiling de dados, identificar qualidade e garantir confiabilidade.
• Escrever e otimizar consultas SQL complexas para alto desempenho.
• Tuning de performance e troubleshooting em cargas de grande escala.
• Apoiar deploys e releases em ambientes de desenvolvimento, homologação e produção.
• Gerenciar prioridades e prazos em múltiplos projetos com autonomia.

Conhecimentos

Comunicação eficaz

Autonomia

Gestão de prioridades

Trabalho em equipe

Ferramentas

Azure Databricks

Azure Data Factory

Azure Data Lake

PySpark

Python

SQL

Descrição da oferta de emprego

Empresa contratante: Avantti Tecnologia
Área: Tecnologia | Engenharia de Dados
Nível: Sênior
Modelo de contratação: CLT
Modalidade de trabalho: Remota

Inglês avançado obrigatório, ambiente Global

Sobre a oportunidade

A Avantti Tecnologia está em busca de um(a) Engenheiro(a) de Dados Sênior, com mais de 8 anos de experiência em Engenharia de Dados, para atuar na construção, evolução, otimização e sustentação de soluções de dados em ambientes corporativos de grande escala.

Buscamos um profissional com sólida experiência no ecossistema Microsoft Azure, especialmente em Azure Databricks, PySpark, Azure Data Factory (ADF), Azure Data Lake, Python e SQL.

É fundamental ter experiência prática no desenvolvimento de pipelines ETL/ELT, transformação e integração de dados, otimização de performance e suporte a ambientes produtivos, garantindo soluções escaláveis, confiáveis e eficientes para demandas analíticas e de negócio.

Principais responsabilidades

• Desenvolver, manter e otimizar pipelines de dados utilizando Azure Databricks, PySpark, Azure Data Factory, Python e Azure Data Lake.
• Construir e sustentar processos ETL/ELT para integração de dados corporativos e atendimento às necessidades analíticas.
• Realizar ingestão, transformação, validação e reconciliação de dados provenientes de múltiplos sistemas.
• Executar análise e profiling de dados, identificando problemas de qualidade e garantindo consistência e confiabilidade das informações.
• Desenvolver, escrever e otimizar consultas SQL complexas, visando alto desempenho no processamento de dados.
• Realizar tuning de performance e troubleshooting em cargas de trabalho de grande escala.
• Atuar na resolução de incidentes de produção Nível 2, envolvendo pipelines do Azure Data Factory, jobs do Databricks e fluxos de processamento.
• Monitorar e sustentar pipelines em produção, assegurando disponibilidade, escalabilidade e eficiência operacional.
• Apoiar processos de deploy e releases nos ambientes de desenvolvimento, homologação e produção.
• Gerenciar prioridades e demandas de múltiplos projetos, atuando com autonomia e foco no cumprimento dos prazos.

Requisitos obrigatórios

• Experiência comprovada em Engenharia de Dados e desenvolvimento de processos ETL.
• Experiência sólida e prática com Azure Databricks e Azure Data Factory (ADF).
• Domínio de desenvolvimento ETL/ELT e transformação de dados.
• Conhecimento avançado em SQL, incluindo desenvolvimento, otimização e tuning de consultas complexas.
• Experiência com Python e PySpark.
• Vivência com Azure Data Lake e integração de dados corporativos.
• Experiência com análise, validação, profiling e qualidade de dados.
• Experiência com sustentação, monitoramento e troubleshooting de pipelines em produção.
• Capacidade de atuação independente, organização e gestão de prioridades.
• Boa comunicação verbal e escrita.

Diferenciais

• Experiência com pipelines de CI/CD e práticas de DevOps.
• Conhecimento de Git, Azure DevOps ou ferramentas similares de versionamento e deploy.
• Familiaridade com ferramentas de monitoramento, logging e observabilidade em ambientes cloud.
• Perfil comportamental
• Perfil analítico, investigativo e orientado à resolução de problemas.
• Autonomia para conduzir atividades e solucionar desafios técnicos complexos.
• Organização e capacidade de administrar demandas simultâneas.
• Boa comunicação e facilidade para interação com equipes multidisciplinares.
• Comprometimento com qualidade, performance e entregas.