Engenharia De Dados Aws Sênior - Sp

Gft Brasil; Barueri; Sur place; BRL 180 000 - 240 000; Plein temps

Résumé du poste

A Gft Brasil está buscando um Profissional Sênior com atuação em Dados e AWS para organizar, coletar e processar grandes volumes de dados, garantindo qualidade e governança. O candidato trabalhará com ETL, modelos dimensionais, dashboards e uma arquitetura Lakehouse para suportar IA e BI.

É essencial possuir experiência com Python/PySpark, AWS e banco de dados NoSQL, além de atuar na modernização da plataforma de dados e na implementação de práticas de segurança e observabilidade.

Qualifications

• Experiência em ETL com coleta, transformação e carga de dados.
• Python/PySpark é obrigatório.
• Experiência com AWS (Glue, EMR, Athena, SNS, Lambda, Step Functions, S3, Lake Formation, IAM e CloudWatch).
• Modelagem dimensional e dados estruturados, semiestruturados e não estruturados.

Responsabilités

• Organizar, coletar e processar grandes volumes de dados com ETL.
• Criar e expor métricas/dashboards.
• Manter pipelines de dados e garantir segurança no acesso.
• Conduzir iniciativas de modernização da plataforma de dados, com foco em Lakehouse, governança e qualidade dos dados.
• Estruturar modelagem dimensional para consumo por times de negócio e relatórios.

Connaissances

Python/PySpark

ETL pipelines

AWS cloud

Data modeling

NoSQL databases

Lakehouse architecture

Query engines

Outils

Terraform

CloudWatch

AWS Glue

AWS EMR

AWS Athena

Lake Formation

Apache Iceberg

Trino/Presto

Spark SQL

Parquet/ORC

MongoDB

DynamoDB

Hadoop

Description du poste

O que buscamos: Profissional de nível Sênior que atue com (Dados/AWS). Responsabilidades: Organizar, coletar e processar (ferramentas ETL) grandes volumes de dados, traduzindo os objetivos de negócio do cliente em uma estratégia de gerenciamento de informações e inteligência de negócios. Manter os pipelines de dados e garantir a segurança no acesso às informações. Criar e expor métricas (painéis) sobre os dados obtidos, garantindo qualidade e integridade das informações. Atuar em iniciativas de modernização da plataforma de dados, com foco em arquitetura Lakehouse, governança, qualidade e preparação de dados para consumo analítico e de IA. Estruturar modelagem dimensional para consumo por times de negócio, dashboards e relatórios. Domínio do ciclo de vida completo do dado: ingestão, processamento, armazenamento, transformação, consumo e governança. Requisitos Obrigatórios Experiência em coleta, transformação e carga de dados (ferramentas de ETL) Python/PySpark. Cloud AWS: Glue, EMR, Athena, SNS, Lambda, Step Functions, S3, Lake Formation, IAM e CloudWatch. Modelagem e bancos de dados NoSQL: MongoDB, DynamoDB e Hadoop. Arquitetura Lakehouse com Apache Iceberg (gerenciamento de tabelas analíticas, versionamento, evolução de schema, particionamento e otimização de performance). Query Engines para grandes volumes: Athena, Trino, Presto ou Spark SQL, com capacidade de otimizar consultas e trabalhar com formatos colunares (Parquet, ORC). Modelagem dimensional (fato e dimensão, granularidade, chaves, hierarquias, métricas e indicadores). Experiência com dados estruturados, semiestruturados e não estruturados. Execução de testes unitários e testes de performance. Boas práticas de segurança, controle de acesso e monitoramento em nuvem. Diferenciais: Certificações AWS Practitioner e AWS Data Engineer Experiência em data quality e observability (validações, completude, consistência, unicidade, integridade e acurácia. monitoramento contínuo e detecção de anomalias). Experiência em ferramentas de infra as code (Terraform, CloudWatch). Conhecimento em Data Mesh (dados como produto, ownership por domínio, governança federada, infraestrutura self-service, contratos de dados e catálogo). Conhecimento em IA aplicada a dados (feature stores, integração de pipelines com modelos de IA, importância de dados limpos e rastreáveis para modelos). Descrição comportamental: Procuramos uma pessoa que: Goste de trabalhar em equipe e seja colaborativa em suas atribuições. Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento. Transforme ideias em soluções criativas e busque qualidade em toda sua rotina. Tenha habilidades de resolução de problemas. Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo. Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. Big enough to deliver – small enough to care. #VempraGFT #VamosVoarJuntos #ProudToBeGFT.

Formação Acadêmica:

Não informado

Salário:

A combinar

Cargo:

Outros

Empresa:

Gft Brasil

Serviços de TI.

Ramo:

Informática/ Tecnologia

(JB)