Analista de Dados II - 136709

GFT Technologies SE; Barueri; On-site; BRL 180,000 - 320,000; Full time

Benefits offered by this job

Cartão multi-benefícios

Programas de certificação AWS

Horário de trabalho flexível

Bolsa de Estudos para cursos de Gradua

Job summary

A GFT Technologies SE busca profissional de Engenharia de Dados L3 em Alphaville, Barueri, para atuar na coleta, processamento e governança de grandes volumes de dados com ETL, Python e PySpark, apoiando a modernização da plataforma com Lakehouse e Apache Iceberg.

O papel envolve desenvolvimento de pipelines, criação de métricas, modelagem dimensional e preparação de dados para consumo analítico e de IA, com foco em segurança, qualidade e observabilidade na nuvem AWS.

Qualifications

• Experiência com ETL para coleta, transformação e carga de dados.
• Experiência com Python e PySpark.
• Experiência com serviços AWS (Glue, EMR, Athena, IAM, CloudWatch) e ferramentas de gerenciamento de dados na nuvem.
• Conhecimento em bancos NoSQL e Hadoop é desejável.
• Experiência com arquitetura Lakehouse e Apache Iceberg, incluindo gerenciamento de tabelas, versionamento e particionamento.
• Conhecimento em engines de consulta para grandes volumes de dados (Athena, Trino, Presto, Spark SQL).
• Conhecimento em formatos columnar (Parquet, ORC) e modelagem dimensional.
• Foco em governança, qualidade de dados, observabilidade e segurança em nuvem.

Responsibilities

• Organizar, coletar e processar grandes volumes de dados com ETL.
• Traduzir objetivos de negócio em estratégias de gerenciamento de informações e BI.
• Desenvolver e manter pipelines de dados com segurança de acesso.
• Criar métricas e dashboards, assegurando qualidade dos dados.
• Modernizar plataforma de dados com Lakehouse, governança e preparação para IA.
• Modelar dados dimensionais para consumo por times de negócio e relatórios.
• Participar de todo o ciclo de vida dos dados, incluindo ingestão, processamento, armazenamento e governança.
• Desenvolver e otimizar pipelines com Python, PySpark e AWS.
• Trabalhar com Apache Iceberg para gerenciamento de tabelas analíticas e evolução de schema.
• Usar mecanismos de consulta para grandes volumes (Athena, Trino, Presto, Spark SQL).
• Aplicar testes unitários e de performance, com práticas de segurança e monitoramento.

Skills

ETL pipelines

Python

PySpark

AWS

Data governance

Big data concepts

Tools

Apache Iceberg

Spark SQL

Trino/Presto

Athena

Parquet/ORC

Job description

Selecione a frequência (em dias) de recebimento de alertas:

Localização: Alphaville - Barueri, BR, 06.454-000

Buscamos um(a) profissional de Engenharia de Dados L3 com experiência em coleta, processamento, transformação e gerenciamento de grandes volumes de dados, utilizando ferramentas de ETL, Python/PySpark e serviços de Cloud AWS.

O profissional será responsável pela manutenção de pipelines de dados, garantia da segurança e qualidade das informações, criação de métricas e estruturação de dados para consumo analítico e de negócio.

A posição terá forte atuação na modernização da plataforma de dados, com foco em arquitetura Lakehouse utilizando Apache Iceberg, modelagem dimensional, governança, observabilidade e preparação de dados para consumo analítico e aplicações de Inteligência Artificial.

Responsabilidades:

• Organizar, coletar e processar grandes volumes de dados utilizando ferramentas de ETL;
• Traduzir os objetivos de negócio do cliente em estratégias de gerenciamento de informações e inteligência de negócios;
• Desenvolver e manter pipelines de dados, garantindo a segurança no acesso às informações;
• Criar e disponibilizar métricas e painéis sobre os dados obtidos, assegurando a qualidade e a integridade das informações;
• Atuar na modernização da plataforma de dados, com foco em arquitetura Lakehouse, governança, qualidade e preparação dos dados para consumo analítico e de IA;
• Estruturar modelos dimensionais para consumo por times de negócio, dashboards e relatórios;
• Atuar em todo o ciclo de vida dos dados, incluindo ingestão, processamento, armazenamento, transformação, consumo e governança;
• Desenvolver e otimizar pipelines utilizando Python, PySpark e serviços da AWS;
• Trabalhar com Apache Iceberg, contribuindo para o gerenciamento de tabelas analíticas, versionamento, evolução de schema, particionamento e otimização de performance;
• Utilizar mecanismos de consulta para grandes volumes de dados, como Athena, Trino, Presto ou Spark SQL, trabalhando com formatos colunares como Parquet e ORC;
• Implementar testes unitários e de performance, além de boas práticas de segurança, controle de acesso e monitoramento em nuvem;
• Contribuir para a qualidade, rastreabilidade, integridade e eficiência dos processos de dados.

Requisitos e Qualificações

• Experiência com coleta, transformação e carga de dados utilizando ferramentas de ETL;
• Experiência com Python e PySpark;
• Experiência com serviços AWS, incluindo Glue, EMR, Athena, SNS, Lambda, Step Functions, S3, Lake Formation, IAM e CloudWatch;
• Conhecimento em bancos de dados NoSQL, como MongoDB e DynamoDB, e tecnologias relacionadas a Hadoop;
• Experiência com arquitetura Lakehouse e Apache Iceberg, incluindo gerenciamento de tabelas analíticas, versionamento, evolução de schema, particionamento e otimização de performance;
• Experiência com query engines para grandes volumes de dados, como Athena, Trino, Presto ou Spark SQL;
• Conhecimento em formatos colunares, como Parquet e ORC;
• Experiência com modelagem dimensional, incluindo fatos, dimensões, granularidade, chaves, hierarquias, métricas e indicadores;
• Experiência no processamento de dados estruturados, semiestruturados e não estruturados;
• Conhecimento na execução de testes unitários e testes de performance;
• Experiência com boas práticas de segurança, controle de acesso e monitoramento em ambientes Cloud.

Diferenciais

• Certificações AWS Practitioner e AWS Data Engineer;
• Experiência com Data Quality e Data Observability, incluindo validações de completude, consistência, unicidade, integridade e acurácia, monitoramento contínuo e detecção de anomalias;
• Conhecimento em infraestrutura como código, como Terraform, e ferramentas de monitoramento, como CloudWatch;
• Conhecimento em Data Mesh, incluindo dados como produto, ownership por domínio, governança federada, infraestrutura self-service, contratos de dados e catálogo;
• Conhecimento em Inteligência Artificial aplicada a dados, incluindo feature stores, integração de pipelines com modelos de IA e preparação de dados limpos e rastreáveis para utilização em modelos.

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Com mais de 35 anos de mercado e localizada em 16 países, a GFT emprega mais de 12.000 pessoas ao redor do mundo sendo 4.000 pessoas no Brasil.
Aqui, a diversidade, a igualdade e a inclusão estão no centro e garantir um ambiente de trabalho seguro para todas as pessoas faz parte de quem somos.
Promovemos uma cultura de desenvolvimento e crescimento pautada no nosso pilar de Continuous Scaled Learning porque acreditamos que o uso inteligente da tecnologia é a chave para o sucesso nesse mundo digital.

O que oferecemos

• Cartão multi-benefícios – você escolhe como e onde utilizar.
• Bolsas de Estudos para cursos de Graduação, Pós, MBA e Idiomas.
• Programas de incentivo à Certificações.
• Horário de trabalho flexível.
• Salários competitivos.
• Avaliação de desempenho anual com plano de carreira estruturado.
• Possibilidade de carreira internacional.
• Wellhub eTotalPass.
• Previdência Privada.
• Assistência Médica.
• Assistência Odontológica.

Não encontrou oportunidade com seu perfil?

Conecte-secom a comunidade GFT! Insira seu e-mail e semantenha informado sobre eventos e oportunidades quecorrespondam aos seus interesses.