Analista de Dados Pleno

Instituto de Pesquisas Eldorado; Brasília; Presencial; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma organização de pesquisa tecnológica em Brasília busca um profissional apaixonado por tecnologia para implementar e otimizar pipelines de dados. O candidato ideal terá graduação em Ciência da Computação e experiência em projetos de Data Warehouse, dominando SQL, Spark/Dask e Python. O ambiente é colaborativo e valoriza a diversidade.

Qualificações

• Experiência em desenvolvimento de projetos de Data Warehouse/DataLake.
• Domínio em SQL, Spark/Dask e Python.
• Familiaridade com versionamento em Git.
• Domínio em Docker e Kubernetes.
• Sólida compreensão dos princípios de CI/CD e automação de testes.

Responsabilidades

• Implementar pipelines de dados eficientes.
• Manter e otimizar bancos de dados e data lakes.
• Desenvolver processos de ingestão, transformação e disponibilização de dados.
• Garantir a qualidade, integridade e consistência dos dados.
• Colaborar com os times de desenvolvimento.

Conhecimentos

Desenvolvimento de projetos de Data Warehouse/DataLake

SQL

Spark/Dask

Python

Versionamento em Git

Testes unitários (Pytest/UnitTest)

Docker

Kubernetes

Jenkins

ArgoCD

Formação académica

Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas

Ferramentas

Airflow

Prefect

SQLAlchemy

SQLModel

Descrição da oferta de emprego

PcDs são sempre bem-vindas.

Buscamos pessoas apaixonadas por tecnologia. Alguém que se motive por desafios e atue com autonomia. Precisa gostar de trabalhar em equipe e possuir espírito colaborativo.

Main responsibilities

• Implementar pipelines de dados eficientes (batch e streaming), integrando diferentes fontes e formatos;
• Manter e otimizar bancos de dados e data lakes, garantindo segurança e desempenho;
• Desenvolver processos de ingestão, transformação e disponibilização de dados (ETL/ELT);
• Garantir a qualidade, integridade e consistência dos dados em todo o ciclo de vida;
• Contribuir para a evolução da cultura orientada a dados dentro dos times de inovação;
• Disponibilização de dados para consumo via dashboard, APIs e machine learning;
• Colaborar com os times de desenvolvimento para apoiar a adoção de ferramentas e práticas DevOps;
• Garantir o uso de padrões seguros e boas práticas em pipelines e infraestrutura;
• Solucionar problemas e otimizar os ambientes de desenvolvimento, homologação e produção;
• Construir pipelines de CI/CD seguros e integrar com ferramentas como Jenkins ou ArgoCD;

Requirements and skills

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas.
• Experiência em desenvolvimento de projetos de Data Warehouse/DataLake;
• Domínio em SQL, Spark/Dask e Python;
• Familiaridade com versionamento em Git;
• Testes unitários (Pytest/UnitTest);
• Domínio em Docker e Kubernete;
• Conhecimento nas ferramentas de CI/CD - Jenkins ou ArgoCD e etc;
• Domínio em S.O.L.I.D e boas práticas de desenvolvimento;

Diferenciais

• Vivência com processamento distribuído;
• Experiência na construção de pipelines de dados (Batch e Real-Time Streaming);
• Conhecimento em orquestração de serviços (Airflow, Prefect e etc);
• Conhecimento em SQLAlchemy ou SQLModel;
• Escrever e manter infraestrutura como código (IaC);
• Sólida compreensão dos princípios de CI/CD e automação de testes;
• Experiência com Bash para automação;

Additional information

"O Instituto de Pesquisas Eldorado valoriza um ambiente diversificado e se orgulha de ser uma organização que oferece oportunidades de forma igualitária. Todos que se candidatarem serão avaliados, independentemente de raça, deficiência, cor, religião, sexo, identidade ou expressão de gênero, orientação sexual, nacionalidade ou idade".