Engenharia de Dados Sênior - 128617

GFT Group; Barueri; Teletrabalho; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia está em busca de um profissional para atuar em Engenharia de Software, em regime remoto. O papel inclui liderar a migração de bancos de dados SQL para AWS e desenvolver soluções com PySpark. É fundamental ter sólida experiência com SQL e AWS, além de habilidades em PySpark e Trino. A busca é por um colaborador que seja proativo e goste de trabalhar em equipe.

Qualificações

• Experiência em Engenharia de Dados.
• Sólida experiência com SQL e bancos de dados relacionais.
• Domínio em PySpark e processamento distribuído.
• Experiência comprovada com AWS (S3, Glue, EMR, Redshift, RDS).
• Conhecimento avançado em Trino/Presto.

Responsabilidades

• Liderar a migração de bancos de dados SQL para AWS.
• Desenvolver e otimizar jobs no Trino.
• Criar e ajustar pipelines com PySpark.
• Projetar arquiteturas de data lake/lakehouse.
• Implementar DataOps e automação de pipelines.

Conhecimentos

Engenharia de Dados

SQL

PySpark

AWS

Trino/Presto

Python

Airflow

Infraestrutura como Código

Otimização de performance em Spark

Ferramentas

Terraform

CloudFormation

Descrição da oferta de emprego

O que buscamos:

Profissional que atue com Engenharia de Software, em atuação remota.

Responsabilidades:

• Liderar a migração de bancos de dados SQL para AWS (RDS, Aurora, Redshift);
• Desenvolver e otimizar jobs no Trino para processamento distribuído;
• Criar e ajustar pipelines com PySpark (EMR, Glue);
• Projetar arquiteturas de data lake/lakehouse (S3, Delta Lake, Iceberg);
• Implementar DataOps e automação de pipelines;
• Garantir qualidade, governança e segurança dos dados;
• Otimizar performance de Spark jobs (particionamento, caching, broadcast join);
• Mentorar engenheiros júnior e pleno, compartilhando boas práticas e padrões técnicos.

Requisitos e Qualificações:

• Experiência em Engenharia de Dados;
• Sólida experiência com SQL e bancos de dados relacionais;
• Domínio em PySpark e processamento distribuído;
• Experiência comprovada com AWS (S3, Glue, EMR, Redshift, RDS);
• Conhecimento avançado em Trino/Presto;
• Vivência com arquitetura de data lake/lakehouse;
• Proficiência em Python para manipulação e integração de dados;
• Experiência com Airflow (ou orquestradores similares);
• Conhecimento em Infraestrutura como Código (Terraform, CloudFormation);
• Experiência com otimização de performance em Spark;
• Desejáveis / Diferenciais: Certificações AWS (Solutions Architect, Data Analytics);
• Experiência com Delta Lake, Apache Iceberg ou Hudi;
• Conhecimento em Spark Structured Streaming;
• Vivência com DBT (Data Build Tool);
• Experiência com Spark no Databricks ou AWS EMR.

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT