Engenheiro de Dados Pleno

Mazza Tech; Guarulhos; Presencial; BRL 90.000 - 144.000; Tempo integral

Resumo da oferta

Uma empresa inovadora busca um Engenheiro de Dados especializado em Databricks para otimizar e manter pipelines de dados robustos. O profissional será responsável por construir e gerenciar processos de ETL em Data Lakes, assegurando a integração e segurança dos dados, além de colaborar com equipes multidisciplinares e implementar políticas de segurança.

Qualificações

• Experiência com Data Lake ou projetos DW.
• Experiência com pipeline de dados e modelagem de dados.
• Experiência prévia com Big Data e tecnologias open source.

Responsabilidades

• Construir e manter pipelines de dados para um Data Lake AWS.
• Gerenciar soluções e infraestrutura AWS para dados.
• Desenvolver e implantar trabalhos ETL/ELT.

Conhecimentos

Data Lake

Pipeline de dados

Modelagem de dados

Big Data

SQL

Programação em Python

Governança de dados

Descrição da oferta de emprego

A Maxxi é uma empresa jovem e cheia de energia. Nascemos nessa nova era representada pela diversidade de ideias e inovação contínua e por isso seguimos crescendo em ritmo acelerado e em constante transformação.

Estamos buscando um (a) Engenheiro de Dados especializado em Databricks que será responsável por criar, otimizar e manter pipelines de dados robustos, garantindo sua integração, transformação, qualidade e segurança. Construir e manter processos de ETL em Data Lakes, recebendo os requisitos e análises dos clientes para desenvolver novos processos e se certificar de que a segurança e modelagem de dados ocorrem com as melhores práticas no mercado.

Responsabilidades e atribuições

Construir e manter dados, se reportando e analisando processos para um Data Lake AWS;

Gerenciar soluções e infraestrutura AWS para dados, auxiliando em desenvolvimentos;

Desenvolver rotinas auxiliares para monitorar ambientes (trabalhos, aplicações, queries)

Ajudar nas decisões de arquitetura e construção de pipeline de dados;

Desenvolver e implantar trabalhos ETL/ELT, consumindo dados de diferentes tipos de fontes;

Desenvolver, rodar e manter testes de carga;

Consertar bugs, analisando suas causas para uma melhoria contínua;

Evolução de esquemas de dados e documentações para entregar o valor de negócio.

Desenvolver pipelines escaláveis;

Iintegrar diversas fontes de dados;

Realizar transformações usando Spark; ;

Gerenciar infraestrutura de clusters;

Assegurar a governança e a conformidade dos dados; ;

Colaborar com equipes multidisciplinares, implementar políticas de segurança e documentar processos. ;

Requisitos e qualificações

• Experiência com Data Lake ou projetos DW
• Experiência com pipeline de dados e modelagem de dados;
• Experiência prévia com Big Data, open standards e tecnologias open source;
• Experiência prévia com SQL e RDBMS, incluindo otimização de performance;
• Conhecimento em escalabilidade e problemas de performance;
• Bom conhecimento de programação em Python;
• Inglês intermediário para leitura e escrita.