*LÍDER TÉCNICO DE DADOS

Qualificar TI; São Luís; Presencial; BRL 60.000 - 100.000; Tempo integral

Resumo da oferta

Uma empresa inovadora no setor de tecnologia está em busca de um Engenheiro de Dados para projetar e desenvolver soluções escaláveis. Este papel crucial envolve a implementação de processos de ETL, a criação de pipelines de dados robustos e a garantia da qualidade e segurança das informações. Com um foco em big data, você terá a oportunidade de trabalhar com ferramentas de ponta e contribuir para a otimização de sistemas de dados. Se você é apaixonado por dados e busca um ambiente dinâmico e desafiador, essa é a oportunidade ideal para avançar na sua carreira.

Qualificações

• 5+ anos de experiência em engenharia de dados ou análise de dados.
• Certificação Microsoft Certified: Azure Data Engineer Associate.

Responsabilidades

• Projetar e manter pipelines de dados robustos para grandes volumes.
• Implementar processos de ETL e garantir a qualidade dos dados.

Conhecimentos

Engenharia de Dados

ETL

Python

SQL

Apache Spark

Big Data

Data Warehousing

Visualização de Dados

Formação académica

Tecnologia da Informação

Graduação em área correlata

Ferramentas

SQL Server

PostgreSQL

MongoDB

Tableau

Power BI

Descrição da oferta de emprego

ATIVIDADES

Projetar, desenvolver e manter pipelines de dados robustos e escaláveis para processar grandes volumes de dados;

Implementar processos de ETL para extrair dados de várias fontes, transformá-los conforme necessário e carregá-los em data warehouses, data lakes ou outras plataformas de armazenamento;

Projetar e implementar modelos de dados que suportem análise e relatórios eficientes;

Definir e manter a arquitetura de dados para garantir que os dados sejam organizados, acessíveis e utilizáveis;

Monitorar e otimizar o desempenho dos pipelines de dados para garantir eficiência e rapidez;

Implementar soluções de escalabilidade para lidar com grandes volumes de dados e aumentar a capacidade conforme necessário;

Utilizar técnicas de particionamento, indexação e caching para melhorar a performance dos sistemas de dados;

Implementar e manter processos de garantia de qualidade de dados para garantir a precisão e a integridade dos dados;

Desenvolver e utilizar ferramentas e scripts de validação para detectar e corrigir problemas de qualidade de dados;

Monitorar continuamente a qualidade dos dados e implementar melhorias conforme necessário;

Implementar e manter políticas de segurança de dados para proteger informações sensíveis e garantir conformidade com regulamentações e melhores práticas;

Utilizar técnicas de encriptação, mascaramento de dados e controle de acesso para proteger os dados;

Apoiar na implantação dos projetos de engenharia de dados;

Realizar demais atividades correlatas a serem definidas pelo CONTRATANTE.

FORMAÇÃO

Possuir diploma de conclusão de curso de de Tecnologia da Informação (ou área correlata), fornecido por instituição de ensino superior reconhecida pelo Ministério da Educação, ou diploma de curso de graduação de nível superior em qualquer área de formação acompanhado de especialização na área de Tecnologia da Informação.

QUALIFICAÇÃO

Certificação Microsoft Certified: Azure Data Engineer Associate;

EXPERIÊNCIA

Mínimo de 5 anos de experiência em engenharia de dados, análise de dados ou áreas relacionadas; Experiência comprovada com ferramentas e tecnologias de big data, processamento de dados e ETL (Extract, Transform, Load); Experiência no tratamento e movimentação de grandes volumes de dados (Big Data); Experiência com bancos de dados relacionais (SQL Server, PostgreSQL, Oracle) e não relacionais (MongoDB, Cassandra, Hadoop); Proficiência em linguagens de programação e scripting, como Python, .Net, Java, Scala, SQL; Experiência com frameworks de processamento de dados, como Apache Spark, Apache Flink, Hadoop, etc; Conhecimento em ferramentas de ETL; Conhecimento em arquitetura de dados, modelagem de dados e design de data warehouses e data lakes; Habilidades em ferramentas de visualização de dados, como Tableau, Power BI, ou similares; Conhecimento em bancos de dados analíticos, como IBM DB2 Colunar e SQL Server Analysis Services; Conhecimento em CI/CD e ferramentas de integração contínua. ;