Analista De Dados Pleno - Sp

Instituto De Pesquisas Eldorado; Campinas; On-site; BRL 89,000 - 134,000; Full time

Job summary

Instituto de Pesquisas Eldorado procura profissional para desenvolver e implantar pipelines de ingestão a partir de fontes heterogêneas, incluindo APIs REST, scraping e procedimentos SQL, em um ambiente de dados com camadas Bronze, Silver e Gold.

O objetivo é melhorar transformação, deduplicação e qualidade de dados, apoiando dashboards em Power BI e controles de acesso conforme RBAC, com foco em performance e governança de dados.

Qualifications

• Experiência em construir pipelines de ingestão a partir de APIs REST, scraping e SQL.
• Conhecimento de arquiteturas de dados (medallion) e governança de dados.
• Experiência com dashboards em Power BI e validação de dados.

Responsibilities

• Desenvolver pipelines de ingestão a partir de fontes heterogêneas (APIs REST, scraping, SQL).
• Implantar camadas Bronze/Silver/Gold seguindo a medallion architecture.
• Construir dashboards em Power BI a partir da camada de dados estruturada.

Skills

PySpark

SQL

REST APIs

Web scraping

Data contracts

Power BI

RBAC

Data governance

Tools

dbt

Power BI

Job description

Desenvolver e implantar pipelines de ingestão a partir de fontes heterogêneas:APIs REST, scraping web, procedures SQL de sistemas legados e arquivos. Apoiar a implementação de mecanismos de réplica somente leitura para sistemas que não oferecem acesso direto ao banco (ex. ERPs legados), com atenção ao impacto de performance nos sistemas de origem. Implementar transformações de dados usando PySpark e SQL. Apoiar realização de benchmarks de custo e performance de processamento, contribuindo para a definição de dimensionamento mais eficiente. Apoiar desenvolvimento de camadas Bronze, Silver e Gold seguindo o padrão medallion architecture. Implementar pipelines de scraping resilientes, com mecanismos de detecção de mudança de layout e tratamento de bloqueio. Apoiar o desenvolvimento de camadas Bronze, Silver e Gold da plataforma, aplicando deduplicação, normalização e testes de qualidade de dados. Apoiar o desenvolvimento de mecanismos de contrato de dados (data contracts) e alertas de schema drift para integrações de terceiros. Construir dashboards e relatórios em Power BI a partir da camada de dados estruturada. Atuar para conteibuir com a tradução de requisitos de negócio em modelos de dados e visualizações eficazes. Implementar controle de acesso a dados nos relatórios (Row Level Security), alinhado às políticas de RBAC da empresa. Implementar testes de qualidade de dados e transformações declarativas usando dbt. Apoiar a configuração de recursos de self-service analytics (ex. Fabric Copilot). Colaborar com o time de governança para garantir lineage e classificação adequada dos dados. Diagnosticar e resolver problemas de performance em pipelines e consultas. Realizar testes de aceitação com usuários finais e ajustar dashboards a partir do feedback.

Formação Acadêmica:

Não informado

Salário:

A combinar

Cargo:

Analista de sistemas

Empresa:

Instituto de Pesquisas Eldorado

Instituto de pesquisa.

Ramo:

Serviços

(CI)