Analista de Dados Pleno

Instituto-De-Pesquisas-Eldorado; Campinas; On-site; BRL 120,000 - 180,000; Full time

Job summary

Instituto de Pesquisas Eldorado busca profissional de engenharia de dados com foco em Python/PySpark, SQL e Databricks para projetar pipelines, transformar dados e suportar a camada de dados (Bronze/Silver/Gold).

Você trabalhará com fontes diversas (APIs REST, scraping, arquivos), implementará contratos de dados, RBAC e dashboards em Power BI, contribuindo para governança, performance e entrega de insights com qualidade.

Qualifications

• Formação superior em Ciência da Computação, Engenharia, ou equivalente.
• Experiência sólida em engenharia de dados com Python/PySpark e SQL.
• Conhecimento sobre Databricks (ou Spark) e ferramentas de orquestração como Azure Data Factory.
• Conhecimento de formatos de dados analíticos (Parquet, Delta Lake).
• Conhecimento de boas práticas de controle de versão (Git) e CI/CD para pipelines de dados.
• Inglês avançado e disponibilidade para viagens entre Campinas e São Paulo.

Responsibilities

• Desenvolver e implantar pipelines de ingestão a partir de fontes heterogêneas (APIs REST, scraping web, SQL legacy procedures e arquivos).
• Apoiar a implementação de mecanismos de réplica leitura para sistemas sem acesso direto ao banco.
• Implementar transformações de dados com PySpark e SQL.
• Apoiar benchmarks de custo e performance de processamento para dimensionamento eficiente.
• Construir e manter camadas Bronze, Silver e Gold conforme medallion architecture.
• Implementar pipelines de scraping resilientes com detecção de mudanças de layout.
• Apoiar camadas Bronze/Silver/Gold da plataforma com deduplicação, normalização e testes de qualidade de dados.
• Apoiar contratos de dados (data contracts) e alertas de schema drift para integrações de terceiros.
• Construir dashboards e relatórios em Power BI a partir da camada de dados estruturada.
• Traduzir requisitos de negócio em modelos de dados e visualizações eficazes.
• Implementar Row Level Security nos relatórios conforme RBAC da empresa.
• Realizar testes de qualidade de dados e transformações declarativas com dbt.
• Apoiar configuração de recursos de self-service analytics e governança de dados.
• Colaborar com governança para garantir lineage e classificação de dados.
• Diagnosticar e resolver problemas de performance em pipelines e consultas.
• Realizar testes de aceitação com usuários finais e ajustar dashboards a partir do feedback.

Skills

Python/PySpark

SQL

Databricks / Spark

Azure Data Factory

APIs REST

Git & CI/CD

Power BI

Education

Bacharelado em Ciência da Computação ou equivalente

Tools

dbt

Job description

Job description

PcDs são sempre bem-vindas.

Buscamos pessoas apaixonadas por tecnologia. Alguém que se motive por desafios e atue com autonomia. Precisa gostar de trabalhar em equipe e possuir espírito colaborativo.

Main responsibilities

• Desenvolver e implantar pipelines de ingestão a partir de fontes heterogêneas: APIs REST, scraping web, procedures SQL de sistemas legados e arquivos;
• Apoiar a implementação de mecanismos de réplica somente leitura para sistemas que não oferecem acesso direto ao banco (ex.: ERPs legados), com atenção ao impacto de performance nos sistemas de origem;
• Implementar transformações de dados usando PySpark e SQL;
• Apoiar realização de benchmarks de custo e performance de processamento, contribuindo para a definição de dimensionamento mais eficiente;
• Apoiar desenvolvimento de camadas Bronze, Silver e Gold seguindo o padrão medallion architecture;
• Implementar pipelines de scraping resilientes, com mecanismos de detecção de mudança de layout e tratamento de bloqueio;
• Apoiar o desenvolvimento de camadas Bronze, Silver e Gold da plataforma, aplicando deduplicação, normalização e testes de qualidade de dados;
• Apoiar o desenvolvimento de mecanismos de contrato de dados (data contracts) e alertas de schema drift para integrações de terceiros;
• Construir dashboards e relatórios em Power BI a partir da camada de dados estruturada;
• Atuar para conteibuir com a tradução de requisitos de negócio em modelos de dados e visualizações eficazes;
• Implementar controle de acesso a dados nos relatórios (Row Level Security), alinhado às políticas de RBAC da empresa;
• Implementar testes de qualidade de dados e transformações declarativas usando dbt;
• Apoiar a configuração de recursos de self-service analytics (ex.: Fabric Copilot);
• Colaborar com o time de governança para garantir lineage e classificação adequada dos dados;
• Diagnosticar e resolver problemas de performance em pipelines e consultas;
• Realizar testes de aceitação com usuários finais e ajustar dashboards a partir do feedback.

Requirements and skills

• Formação superior em Ciência da Computação, Engenharia, ou equivalente;
• Experiência sólida em engenharia de dados,com Python/PySpark e SQL;
• Conhecimento sobre Databricks (ou Spark em geral) e ferramentas de orquestração como Azure Data Factory;
• Conhecimento de formatos de dados analíticos (Parquet, Delta Lake);
• Conhecimentocom dbt é desejável;
• Conhecimento de práticas de controle de versão (Git) e CI/CD para pipelines de dados;
• Experiência com integração de dados via API REST.- Conhecimento de boas práticas de visualização de dados e storytelling com dados,fonte de dados diversas (SQL, APIs, arquivos, Lakehouse/Warehouse) eimplementando segurança em nível de linha (Row Level Security);
• Disponibilidade para viagens para cidade de São Paulo é um diferencial;
• Inglês Avançado;
• Disponibilidade de deslocamento para Campinas e São Paulo.

Additional information

“O Instituto de Pesquisas Eldorado valoriza um ambiente diversificado e se orgulha de ser uma organização que oferece oportunidades de forma igualitária. Todos que se candidatarem serão avaliados, independentemente de raça, deficiência, cor, religião, sexo, identidade ou expressão de gênero, orientação sexual, nacionalidade ou idade”.