O que buscamos: Buscamos um(a) Engenheiro(a) de Dados Sênior com forte atuação em ambientes produtivos, responsável por projetar, construir e sustentar plataformas de dados escaláveis em AWS. Procuramos profissionais com sólida experiência em arquitetura orientada a eventos, processamento em tempo real com Kafka, Data Lake/Lakehouse, pipelines de dados e plataformas analíticas, combinando visão arquitetural com atuação hands-on na implementação, monitoramento e evolução de soluções de dados. As prioridades de triagem incluem Engenharia de Dados em produção, AWS para dados, Kafka avançado e Redshift.
Responsabilidades:
- Atuar na concepção, desenvolvimento e evolução de soluções de Engenharia de Dados em ambientes produtivos.
- Projetar e sustentar arquiteturas orientadas a eventos utilizando Kafka e serviços do ecossistema AWS.
- Desenvolver pipelines de ingestão, transformação e disponibilização de dados para consumo analítico e operacional.
- Implementar e manter processos de processamento distribuído utilizando Spark e formatos colunares como Parquet.
- Estruturar e evoluir ambientes Data Lake e Lakehouse em AWS.
- Desenvolver soluções em Python aplicadas à Engenharia de Dados.
- Construir e sustentar workflows de orquestração utilizando Apache Airflow.
- Implementar integrações com bancos de dados, APIs, sistemas corporativos e plataformas de streaming.
- Atuar no monitoramento, troubleshooting e sustentação de pipelines em produção.
- Realizar otimizações de desempenho, confiabilidade e custo das plataformas de dados.
- Garantir qualidade, rastreabilidade, governança e Observabilidade dos dados.
- Colaborar com times multidisciplinares na definição de padrões arquiteturais e boas práticas de desenvolvimento.
- Atuar como referência técnica para discussões de arquitetura, revisões de código e evolução de soluções.
Requisitos Obrigatórios:
- Experiência sólida em Engenharia de Dados com atuação em ambientes produtivos.
- Experiência prática com AWS aplicada a dados, incluindo S3, Lambda, EKS e serviços relacionados como Glue, Redshift e Athena.
- Experiência avançada com Apache Kafka, incluindo Producers, Consumers, estratégias de Retry, DLQ e arquitetura orientada a eventos.
- Experiência com Python aplicado à Engenharia de Dados.
- Vivência com Apache Spark, processamento distribuído e manipulação de arquivos Parquet.
- Experiência com Data Lake ou Lakehouse em ambientes AWS.
- Experiência com monitoramento, troubleshooting e sustentação de pipelines em produção.
- Conhecimento avançado de SQL, incluindo CTEs, Window Functions e otimização de consultas.
- Experiência com Apache Airflow em ambientes produtivos.
- Experiência com dbt ou ferramentas equivalentes de transformação de dados.
- Experiência com Git e práticas de CI/CD.
- Conhecimento em governança de dados, qualidade, rastreabilidade e Observabilidade.
Requisitos Diferenciais:
- Experiência com modelagem dimensional (Kimball).
- Vivência em ambientes regulados e aderência a práticas de segurança da informação e LGPD.
- Experiência no mercado financeiro ou em ambientes de missão crítica.
- Vivência com dados regulatórios e requisitos de órgãos reguladores.
- Conhecimento em Infrastructure as Code utilizando Terraform.
- Conhecimento em Apache Iceberg ou Delta Lake.
- Experiência com Debezium, Kinesis ou outras soluções de streaming e CDC.
- Vivência com ferramentas de catálogo, governança e qualidade de dados.
- Experiência em projetos de migração de plataformas com validação de paridade de dados.
Descrição comportamental:
Procuramos uma pessoa que: Goste de trabalhar em equipe e seja colaborativa em suas atribuições. Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento. Transforme ideias em soluções criativas e busque qualidade em toda sua rotina. Tenha habilidades de resolução de problemas. Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo. Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. Big enough to deliver - small enough to care. #VempraGFT #VamosVoarJuntos #ProudToBeGFT.