Engenharia De Dados Sênior (Kafka / Aws) Híbrido/Sp

Gft Brasil

Barueri

Vor Ort

BRL 180.000 - 300.000

Vollzeit

Vor 12 Tagen

Erhalte eine Antwort von diesem Arbeitgeber

Dein Lebenslauf und dein Anschreiben, genau auf das zugeschnitten, was gesucht wird.

Schaffe es an den ATS-Filtern vorbei

Zusammenfassung

A Gft Brasil procura um(a) Engenheiro(a) de Dados Sênior para liderar a concepção, implementação e evolução de plataformas de dados escaláveis em AWS. O papel exige atuação hands-on com Kafka, Spark, Data Lake/Lakehouse e pipelines para consumo analítico e operacional.

Você trabalhará com pipelines, governança, observabilidade e integrações, mantendo o monitoramento de produção e otimização de custos. Perfil com experiência em ambiente regulado é desejável.

Qualifikationen

  • Experiência sólida em Engenharia de Dados em produção.
  • Conhecimento avançado de AWS para dados (S3, Lambda, EKS, Glue, Redshift, Athena).
  • Kafka avançado, com estratégias de Retry, DLQ e arquitetura orientada a eventos.
  • Python aplicado à Engenharia de Dados.
  • Spark e Parquet para processamento distribuído.
  • Data Lake/Lakehouse na AWS, monitoramento e observabilidade.
  • SQL avançado com otimização de consultas e CTEs.
  • Airflow em ambientes produtivos e CI/CD com Git.

Aufgaben

  • Concepção, desenvolvimento e evolução de soluções de Engenharia de Dados.
  • Projetar arquiteturas orientadas a eventos com Kafka e serviços AWS.
  • Desenvolver pipelines de ingestão, transformação e disponibilização de dados.
  • Implementar processamento distribuído com Spark e Parquet.
  • Construir Data Lake/Lakehouse na AWS e manter governança de dados.
  • Desenvolver soluções em Python para engenharia de dados.
  • Orquestrar workloads com Apache Airflow.
  • Integrar com bancos de dados, APIs e plataformas de streaming.
  • Monitorar, depurar e sustentar pipelines em produção; otimizar desempenho e custos.

Kenntnisse

Engenharia de Dados
AWS
Kafka
Python
Spark
Airflow
dbt
Git
CI/CD
Observabilidade
Governança de Dados

Tools

S3
Lambda
EKS
Glue
Redshift
Athena
Kinesis
Debezium
Airflow

Jobbeschreibung

O que buscamos: Buscamos um(a) Engenheiro(a) de Dados Sênior com forte atuação em ambientes produtivos, responsável por projetar, construir e sustentar plataformas de dados escaláveis em AWS. Procuramos profissionais com sólida experiência em arquitetura orientada a eventos, processamento em tempo real com Kafka, Data Lake/Lakehouse, pipelines de dados e plataformas analíticas, combinando visão arquitetural com atuação hands-on na implementação, monitoramento e evolução de soluções de dados. As prioridades de triagem incluem Engenharia de Dados em produção, AWS para dados, Kafka avançado e Redshift.

Responsabilidades:
  • Atuar na concepção, desenvolvimento e evolução de soluções de Engenharia de Dados em ambientes produtivos.
  • Projetar e sustentar arquiteturas orientadas a eventos utilizando Kafka e serviços do ecossistema AWS.
  • Desenvolver pipelines de ingestão, transformação e disponibilização de dados para consumo analítico e operacional.
  • Implementar e manter processos de processamento distribuído utilizando Spark e formatos colunares como Parquet.
  • Estruturar e evoluir ambientes Data Lake e Lakehouse em AWS.
  • Desenvolver soluções em Python aplicadas à Engenharia de Dados.
  • Construir e sustentar workflows de orquestração utilizando Apache Airflow.
  • Implementar integrações com bancos de dados, APIs, sistemas corporativos e plataformas de streaming.
  • Atuar no monitoramento, troubleshooting e sustentação de pipelines em produção.
  • Realizar otimizações de desempenho, confiabilidade e custo das plataformas de dados.
  • Garantir qualidade, rastreabilidade, governança e Observabilidade dos dados.
  • Colaborar com times multidisciplinares na definição de padrões arquiteturais e boas práticas de desenvolvimento.
  • Atuar como referência técnica para discussões de arquitetura, revisões de código e evolução de soluções.
Requisitos Obrigatórios:
  • Experiência sólida em Engenharia de Dados com atuação em ambientes produtivos.
  • Experiência prática com AWS aplicada a dados, incluindo S3, Lambda, EKS e serviços relacionados como Glue, Redshift e Athena.
  • Experiência avançada com Apache Kafka, incluindo Producers, Consumers, estratégias de Retry, DLQ e arquitetura orientada a eventos.
  • Experiência com Python aplicado à Engenharia de Dados.
  • Vivência com Apache Spark, processamento distribuído e manipulação de arquivos Parquet.
  • Experiência com Data Lake ou Lakehouse em ambientes AWS.
  • Experiência com monitoramento, troubleshooting e sustentação de pipelines em produção.
  • Conhecimento avançado de SQL, incluindo CTEs, Window Functions e otimização de consultas.
  • Experiência com Apache Airflow em ambientes produtivos.
  • Experiência com dbt ou ferramentas equivalentes de transformação de dados.
  • Experiência com Git e práticas de CI/CD.
  • Conhecimento em governança de dados, qualidade, rastreabilidade e Observabilidade.
Requisitos Diferenciais:
  • Experiência com modelagem dimensional (Kimball).
  • Vivência em ambientes regulados e aderência a práticas de segurança da informação e LGPD.
  • Experiência no mercado financeiro ou em ambientes de missão crítica.
  • Vivência com dados regulatórios e requisitos de órgãos reguladores.
  • Conhecimento em Infrastructure as Code utilizando Terraform.
  • Conhecimento em Apache Iceberg ou Delta Lake.
  • Experiência com Debezium, Kinesis ou outras soluções de streaming e CDC.
  • Vivência com ferramentas de catálogo, governança e qualidade de dados.
  • Experiência em projetos de migração de plataformas com validação de paridade de dados.
Descrição comportamental:

Procuramos uma pessoa que: Goste de trabalhar em equipe e seja colaborativa em suas atribuições. Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento. Transforme ideias em soluções criativas e busque qualidade em toda sua rotina. Tenha habilidades de resolução de problemas. Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo. Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. Big enough to deliver - small enough to care. #VempraGFT #VamosVoarJuntos #ProudToBeGFT.

Hol dir deinen kostenlosen, vertraulichen Lebenslauf-Check.

oder ziehe deine Datei hierhin.

Similar jobs

Ähnliche Jobs, die dir auch gefallen könnten

Data Platform Especialista - 125819
Data Platform Especialista - 125819

GFT Technologies España • Cristalina

Vor Ort
BRL 167.400 - 223.200
Engenheiro(a) de Dados Sênior (Plataforma de Dados, Cloud & Big Data)
Engenheiro(a) de Dados Sênior (Plataforma de Dados, Cloud & Big Data)

BRQ Digital Solutions • São Paulo

Hybrid
BRL 167.000 - 257.000
Engenharia De Dados Sênior (Kafka / Aws) | Híbrido/Sp - 136501
Engenharia De Dados Sênior (Kafka / Aws) | Híbrido/Sp - 136501

GFT Technologies SE • Barueri

Hybrid
BRL 180.000 - 260.000
Cartão multi-benefícios
Bolsas de Estudos para cursos de Grad.
Programas de incentivo à Certificações
+3
Engenheiro de Dados AWS/Snowflake Pleno | Remoto
Engenheiro de Dados AWS/Snowflake Pleno | Remoto

Dataside • Brasilien

Remote
BRL 180.000 - 300.000
Tech Lead - Data Platform
Tech Lead - Data Platform

ROIT • Brasilien

Vor Ort
BRL 300.000 - 550.000
Desenvolvimento Java Aws Sênior Híbrido/Sp - Sp
Desenvolvimento Java Aws Sênior Híbrido/Sp - Sp

Gft Brasil • Barueri

Vor Ort
BRL 167.000 - 312.000
Engenheiro de Dados II
Engenheiro de Dados II

Meeta Solutions • Barueri

Vor Ort
BRL 180.000 - 260.000
Engenheiro de dados
Engenheiro de dados

DBC Company • Brasilien

Vor Ort
BRL 120.000 - 170.000
Devops Aws - Sp
Devops Aws - Sp

Gft Brasil • Barueri

Vor Ort
BRL 180.000 - 320.000
Engenheiro de Dados Especialista (Kafka e AWS) - Híbrido/SP - 136501
Engenheiro de Dados Especialista (Kafka e AWS) - Híbrido/SP - 136501

GFT Technologies SE • Barueri

Hybrid
BRL 201.000 - 357.000
Cartão multi-benefícios
Bolsas de Estudos
Certificações
+7