Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento e manutenção de pipelines de dados voltados a relatórios regulatórios de um cliente estratégico, garantindo escalabilidade, qualidade, governança e disponibilidade das informações.
Esse(a) profissional também participará da automatização de regras de negócio, evolução dos processos de integração e migração para uma arquitetura Lakehouse em nuvem.
Responsabilidades e atribuições
- Desenvolver e manter pipelines ETL/ELT, desde a origem dos dados até as camadas de consumo do Lakehouse.
- Automatizar regras de negócio, transformando processos realizados em planilhas e scripts em códigos versionados, testados e revisados.
- Implementar controles de qualidade de dados, incluindo volumetria, conciliação entre fontes, consistência e registro de evidências.
- Orquestrar e monitorar workflows, identificar falhas e garantir a rastreabilidade dos processos.
- Apoiar a migração de cargas do Data Lake atual para o Lakehouse em nuvem.
- Documentar processos, integrações e linhagem de dados.
- Colaborar com áreas técnicas e de negócio para compreender e automatizar regras e processos.
Requisitos e qualificações
- Ensino superior completo em Ciência da Computação, Sistemas de Informação, Engenharia, Análise e Desenvolvimento de Sistemas ou áreas correlatas.
- Conhecimento em Python ou Scala e SQL avançado.
- Experiência com processos ETL/ELT, Data Warehouse ou Data Lake.
- Vivência com desenvolvimento, monitoramento e sustentação de pipelines de dados.
- Experiência com ferramentas de orquestração de workflows, como Apache Airflow.
- Conhecimento em Git e versionamento de código.
- Capacidade de resolução de problemas técnicos, organização, autonomia e foco em qualidade.
Diferencial
- Experiência com ambientes Cloud (AWS, Azure ou GCP).
- Vivência com Snowflake e arquitetura Medallion.
- Conhecimento em frameworks de testes e qualidade de dados.
- Noções de observabilidade de dados.
- Experiência em projetos de qualidade de dados ou ambientes regulados.
- Certificações AWS, Azure ou GCP, preferencialmente nas trilhas de Dados.