Engenheiro de Dados Sênior

Vivara; São Paulo; Presencial; BRL 180 000 - 230 000; Tempo integral

Resumo da oferta

A Vivara busca profissional para atuar como engenheiro de dados, projetando, desenvolvendo e mantendo pipelines, modelos e estruturas de dados para Analytics e BI. O cargo envolve integração de fontes diversas, governança de dados e otimização de performance.

É exigida sólida experiência em SQL, Python, PySpark e ecossistema Azure, com foco em qualidade, observabilidade e documentação. Formação em engenharia ou áreas correlatas é necessária.

Qualificações

• Sólida experiência em engenharia de dados com domínio de SQL, Python, PySpark e modelagem de dados.
• Experiência com Databricks, Apache Spark e arquiteturas Data Lake/Lakehouse.
• Vivência com pipelines ETL/ELT, integrações via APIs, bancos de dados e mensageria.
• Conhecimento do ecossistema Microsoft Azure aplicado a dados (Azure Data Factory, Event Hubs, Kafka ou equivalentes).
• Conhecimento em governança, qualidade, segurança, catálogo e linhagem de dados (Unity Catalog, Purview).
• Experiência com otimização de performance e processamento distribuído de dados.
• CI/CD, versionamento (Git) e DevOps aplicados a dados.
• Proatividade, estabilidade e melhoria contínua.
• Comunicação clara e objetiva para traduzir desafios técnicos a áreas de negócios.
• Habilidades analíticas, com foco em resolução de problemas e qualidade.
• Formação em Engenharia, Ciência da Computação, Sistemas de Informação, Análise e Desenvolvimento de Sistemas, Estatística ou áreas correlatas.
• Vivência com Microsoft Fabric será um diferencial.

Responsabilidades

• Projetar, desenvolver e sustentar pipelines, integrações e transformações de dados com SQL, Python e PySpark.
• Criar e otimizar modelos e estruturas de dados para Analytics e BI.
• Definir soluções técnicas e boas práticas de integração, modelagem e arquitetura de dados.
• Integrar fontes diversas: APIs, bancos de dados, arquivos e mensageria.
• Otimizar performance, processamento e consumo de recursos.
• Garantir qualidade, segurança, observabilidade, rastreabilidade e documentação das soluções.
• Avaliar e otimizar regras, transformações e estruturas analíticas.
• Resolver problemas técnicos complexos e apoiar a equipe, promovendo democratização de dados e IA.

Conhecimentos

Comunicação clara

Proatividade

Resolução de problemas

Tradução de desafios técnicos para a业务

Formação académica

Engenharia

Ciência da Computação

Sistemas de Informação

Análise e Desenvolvimento de Sistemas

Estatística

Ferramentas

SQL

Python

PySpark

Databricks

Apache Spark

Azure Data Factory

Event Hubs

Kafka

Microsoft Purview

Unity Catalog

Microsoft Fabric

Azure Data Lake / Lakehouse

Git / CI/CD

Descrição da oferta de emprego

• Projetar, desenvolver e sustentar pipelines, integrações e transformações de dados utilizando SQL, Python e PySpark;
• Criar e otimizar modelos e estruturas de dados para Analytics, BI e demais produtos de dados;
• Definir soluções técnicas e boas práticas de integração, modelagem e arquitetura de dados;
• Integrar diferentes fontes, como APIs, bancos de dados, arquivos, mensageria e conectores;
• Atuar na otimização de performance, processamento e consumo de recursos;
• Garantir qualidade, segurança, observabilidade, rastreabilidade e documentação das soluções;
• Avaliar e otimizar regras, transformações e estruturas utilizadas nas soluções analíticas;
• Resolver problemas técnicos complexos, apoiar tecnicamente o time e contribuir para iniciativas de democratização de dados e Inteligência Artificial.

Requisitos e qualificações:

• Sólida experiência em engenharia de dados, com domínio de SQL, Python, PySpark e modelagem de dados;
• Experiência com Databricks, Apache Spark e arquiteturas Data Lake/Lakehouse;
• Vivência com pipelines ETL/ELT, orquestração e integrações via APIs, bancos de dados, arquivos e mensageria;
• Conhecimento do ecossistema Microsoft Azure aplicado a dados, incluindo soluções de integração, orquestração, streaming e monitoramento (Azure Data Factory, Event Hubs, Kafka ou equivalentes);
• Conhecimento em governança, qualidade, segurança, catálogo e linhagem de dados, utilizando soluções como Unity Catalog, Microsoft Purview ou equivalentes;
• Experiência com otimização de performance e processamento distribuído de dados;
• Experiência com CI/CD, versionamento (Git) e práticas DevOps aplicadas a dados;
• Proatividade e foco em estabilidade e melhoria contínua;
• Comunicação clara, objetiva e eficaz, com capacidade de traduzir desafios técnicos em soluções compreensíveis para as áreas de negócios;
• Excelentes habilidades analíticas, com foco em resolução de problemas, eficiência e qualidade;
• Formação em Engenharia, Ciência da Computação, Sistemas de Informação, Análise e Desenvolvimento de Sistemas, Estatística ou áreas correlatas.
• Vivência com Microsoft Fabric e seus principais recursos de Dados e Analytics será um diferencial.