Analista de Dados

Eldorado; Campinas; Híbrido; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

A Eldorado procura profissionais para atuar na construção e manutenção de pipelines de dados, com foco em engenharia de dados, PySpark/SQL e visualização em Power BI. O time trabalha com Databricks, Azure Data Factory e governança de dados para entregar dashboards confiáveis e insights embasados.

Você cuidará de ingestão de dados, modelagem em Bronze/Silver/Gold, automação de ETL e validação de qualidade. Inglês é um diferencial, e viagens a São Paulo podem ocorrer conforme necessidade do

Qualificações

• Formação superior em ciência da computação, engenharia ou equivalente.
• Experiência sólida em engenharia de dados com Python/PySpark e SQL.
• Prática com Databricks (ou Spark) e Azure Data Factory.
• Conhecimento de formatos de dados analíticos (Parquet, Delta Lake).
• Experiência com dbt é desejável.
• Conhecimento de Git e CI/CD para pipelines de dados.
• Experiência com integração de dados via API REST.
• Conhecimento de visualização de dados e storytelling com dados.
• Inglês avançado é diferencial.

Responsabilidades

• Desenvolver e implantar pipelines de ingestão a partir de fontes heterogêneas (APIs REST, scraping, SQL legacy).
• Apoiar réplica de leitura para sistemas sem acesso direto ao banco, com PySpark/SQL no Databricks Fabric Spark
• Participar de benchmarks de custo e performance e dimensionamento eficiente.
• Modelar e manter Bronze, Silver e Gold seguindo medallion architecture.
• Implementar pipelines de scraping resilientes com detecção de mudanças de layout e tratamento de bloqueios.
• Construir Bronze, Silver e Gold com deduplicação, normalização e testes de qualidade de dados.
• Desenvolver contratos de dados e alertas de schema drift para integrações de terceiros.
• Construir dashboards/preports em Power BI a partir da camada de dados estruturada.
• Traduzir requisitos de negócio em modelos de dados e visualizações eficazes.
• Aplicar RBAC (Row Level Security) nos relatórios.
• Realizar testes de qualidade de dados e transformações com dbt.
• Apoiar self-service analytics (Fabric Copilot).
• Colaborar com governança para lineage e classificação de dados.
• Diagnosticar e resolver problemas de performance em pipelines e consultas.
• Realizar testes de aceitação com usuários finais e ajustar dashboards conforme feedback.

Conhecimentos

Python

PySpark

SQL

Power BI

Formação académica

Ciência da Computação

Engenharia da Computação

Análise de Sistemas

Ferramentas

Databricks

Azure Data Factory

Git

CI/CD

dbt

Descrição da oferta de emprego

Job description

PcDs são sempre bem-vindas.

Buscamos pessoas apaixonadas por tecnologia. Alguém que se motive por desafios e atue com autonomia. Precisa gostar de trabalhar em equipe e possuir espírito colaborativo.

Main responsibilities

• Desenvolver e implantar pipelines de ingestão a partir de fontes heterogêneas: APIs REST, scraping web, procedures SQL de sistemas legados e arquivos;
• Apoiar a implementação de mecanismos de réplica somente leitura para sistemas que não oferecem acesso direto ao banco (ex.: ERPs legados), com atenção ao impacto de performance nos sistemas de origem. Implementar transformações de dados em Azure Databricks / Fabric Spark usando PySpark e SQL;
• Participar de benchmarks de custo e performance de processamento, contribuindo para a definição de dimensionamento mais eficiente;
• Modelar e manter as camadas Bronze, Silver e Gold seguindo o padrão medallion architecture;
• Implementar pipelines de scraping resilientes, com mecanismos de detecção de mudança de layout e tratamento de bloqueio;
• Construir as camadas Bronze, Silver e Gold da plataforma, aplicando deduplicação, normalização e testes de qualidade de dados;
• Desenvolver mecanismos de contrato de dados (data contracts) e alertas de schema drift para integrações de terceiros;
• Construir dashboards e relatórios em Power BI a partir da camada de dados estruturada;
• Traduzir requisitos de negócio em modelos de dados e visualizações eficazes;
• Implementar controle de acesso a dados nos relatórios (Row Level Security), alinhado às políticas de RBAC da empresa;
• Implementar testes de qualidade de dados e transformações declarativas usando dbt;
• Apoiar a configuração de recursos de self-service analytics (ex.: Fabric Copilot);
• Colaborar com o time de governança para garantir lineage e classificação adequada dos dados;
• Diagnosticar e resolver problemas de performance em pipelines e consultas;
• Realizar testes de aceitação com usuários finais e ajustar dashboards a partir do feedback.

Requirements and skills

• Formação superior completa em Ciência da Computação, Engenharia da Computação, Análise de Sistemas, ou equivalente;
• Experiência sólida em engenharia de dados, domínio de Python/PySpark e SQL;
• Experiência prática com Databricks (ou Spark em geral) e ferramentas de orquestração como Azure Data Factory;
• Conhecimento de formatos de dados analíticos (Parquet, Delta Lake);
• Experiência com dbt é desejável;
• Conhecimento de práticas de controle de versão (Git) e CI/CD para pipelines de dados;
• Experiência com integração de dados via API REST;
• Conhecimento de boas práticas de visualização de dados e storytelling com dados;
• Experiência com fontes de dados diversas (SQL, APIs, arquivos, Lakehouse/Warehouse);
• Experiência implementando segurança em nível de linha (Row Level Security);
• Disponibilidade para viagens para cidade de São Paulo é um diferencial;
• Inglês avançado é diferencial.

Additional information

“O Instituto de Pesquisas Eldorado valoriza um ambiente diversificado e se orgulha de ser uma organização que oferece oportunidades de forma igualitária. Todos que se candidatarem serão avaliados, independentemente de raça, deficiência, cor, religião, sexo, identidade ou expressão de gênero, orientação sexual, nacionalidade ou idade”.