Engenheiro de Dados Pleno – Sicredi – Home Office
Descrição da vaga:
- Garantia do monitoramento sobre a Qualidade dos Dados: Implementar processos para monitorar a precisão, consistência e integridade dos dados;
- Segurança dos Dados: Proteger os dados contra acessos não autorizados através de medidas de segurança como criptografia e controle de acesso;
- Colaboração com Equipes: Trabalhar em estreita colaboração com os perfis de dados e áreas de negócio para entender suas necessidades;
- Monitoramento e Otimização: Monitorar o desempenho da plataforma de dados e implementar melhorias para otimizar a eficiência e a escalabilidade;
- Documentação: Documentar processos e procedimentos de engenharia de dados para garantir que as práticas sejam replicáveis e compreensíveis para outros membros da equipe;
Responsabilidades e atribuições
- Domínio de Linguagens de Programação: Linguagens como Python, Java, Scala e SQL são essenciais.
- Conhecimento de Bancos de Dados: É crucial ter um entendimento profundo de bancos de dados relacionais (como MySQL e Oracle) e não relacionais como MongoDB. Além disso, o conhecimento de ferramentas de armazenamento em nuvem, como Amazon S3 ou outra nuvem é importante.
- Experiência em ETL (Extract, Transform, Load): O processo de ETL é fundamental para extrair dados de diferentes fontes, transformá-los conforme as necessidades do negócio e carregá-los em sistemas de destino.
- Proficiência em Armazenamento e Processamento Distribuído: Com o aumento dos volumes de dados, o conhecimento de ferramentas de Big Data como Hadoop, Spark e Kafka é essencial para o armazenamento e processamento distribuído de dados.
- Possuir Comunicação assertiva e fluida com demais perfis de dados e áreas de negócio.