Job description
Estamos à procura de um Engenheiro de Dados para integrar nosso time, responsável por construir e otimizar pipelines de dados em um ambiente com foco em automação de processos.
O profissional atuará principalmente utilizando a ferramenta Pentaho Data Integration e APIs REST para integrar diversas fontes de dados, garantindo que a arquitetura de dados existente seja aproveitada e aprimorada conforme necessário.
Nesta posição, você colaborará de perto com um Arquiteto de Automação e outras equipes, assegurando que as soluções de dados suportem efetivamente os projetos de automação em andamento. Além disso, espera-se que você contribua para melhorias na arquitetura de dados atual, avaliando e sugerindo novas ferramentas ou abordagens quando houver oportunidade, sempre alinhado às melhores práticas de mercado.
Trabalhamos com soluções em nuvem (cloud) e Power BI para visualização de dados, portanto é importante ter familiaridade com ambientes de dados na nuvem e compreender como disponibilizar dados de qualidade para ferramentas de BI.
Main responsibilities
- Desenvolver e manter pipelines de dados escaláveis de ETL/ELT, realizando a extração, transformação e carga de dados a partir de múltiplas fontes, utilizando Pentaho Data Integration como principal plataforma.
- Integrar novas fontes de dados aos sistemas existentes, garantindo a qualidade, consistência e disponibilidade dos dados para uso pelas equipes de análise e negócios (por exemplo, para dashboards no Power BI).
- Otimizar e monitorar o desempenho dos processos de dados, realizando tuning e ajustes necessários para assegurar pipelines eficientes, confiáveis e com baixa latência.
- Colaborar com o Arquiteto de Automação e times de BI/Analytics, entendendo requisitos de dados dos projetos de automação e de relatórios, para entregar soluções alinhadas a essas necessidades.
- Implementar práticas de governança, segurança e compliance de dados, assegurando que os pipelines atendam às políticas de proteção de dados e que a qualidade dos dados seja continuamente verificada (monitoramento de falhas, dados faltantes, etc.).
- Documentar os processos e fluxos de dados desenvolvidos, mantendo registros claros das transformações, configurações de pipeline e arquitetura, facilitando a manutenção e futuras evoluções.
Requirements and skills
- Experiência prévia em Engenharia de Dados (proporcional à senioridade da vaga), atuando na construção de pipelines de dados e processos de integração em ambientes de produção.
- Domínio de ferramentas de ETL e integração de dados, em especial experiência com Pentaho Data Integration, para desenvolver jobs de extração, transformação e carga de dados.
- Proficiência em programação, especialmente em Python, para manipulação de dados e automação de fluxos.
- Sólidos conhecimentos de SQL e experiência com bancos de dados relacionais (design de consultas complexas, otimização de queries, modelagem de dados).
- Vivência com ambientes de dados em nuvem (Cloud Computing), por exemplo, experiência com plataformas e serviços de dados na AWS, Azure ou GCP, incluindo armazenamento e processamento de dados na nuvem.
- Conhecimento em arquitetura de dados e Data Warehousing, incluindo modelagem dimensional e conceitual, compreensão de processos ETL/ELT e melhores práticas para construção de data pipelines confiáveis.
- Habilidade em resolução de problemas e análise de causas raiz em pipelines de dados, com capacidade de depurar falhas em jobs, tratar exceções nos processos de ETL e garantir a integridade dos dados entregues.
Additional information
Diferenciais
- Experiência com ferramentas de orquestração de workflows de dados, como Azure Data Factory ou similares, para automação e schedulers de pipelines.
- Familiaridade com ferramentas de visualização e análise de dados (Power BI), entendendo como estruturar os dados para consumo eficiente em dashboards e relatórios.
- Vivência em projetos de automação de processos que possam agregar perspectiva na interface entre engenharia de dados e automação empresarial.
- Certificações relevantes em dados ou nuvem, tais como em soluções de cloud (AWS, Azure, GCP) ou em Pentaho Data Integration, demonstrando conhecimento aprofundado nas plataformas citadas.
- Participação em projetos voltados à parte fiscal e financeira de uma empresa, serão considerados um plus.
Informações Adicionais
- Nível: Sênior. Buscamos alguém com experiência comprovada que possa liderar tecnicamente as iniciativas de automação.
- Local de Trabalho: 100% Remoto.
- Modelo de Contratação: Aberto tanto para CLT quanto PJ.
- Benefícios: Oferecemos um pacote de benefícios competitivo e flexível (detalhado posteriormente conforme o modelo de contratação), incluindo apoio para home office e incentivo a desenvolvimento profissional.
Se identificou com a oportunidade e quer fazer parte de um projeto de transformação digital, automatizando processos e promovendo inovações? Então vem crescer com a gente!
Estamos ansiosos para conhecer você e compartilhar mais sobre esse desafio. Candidate-se e vamos juntos impulsionar a eficiência através da tecnologia.