Engenharia de Dados Sênior - 127444

GFT Group; Barueri; Presencial; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em São Paulo busca um profissional de nível Sênior para atuar com dados e AWS. O candidato ideal deve ter experiência em Terraform, Python, e AWS Glue, além de habilidade em criar e otimizar pipelines de dados. É essencial ser colaborativo, ter coragem para inovar e habilidades de resolução de problemas.

Qualificações

• Experiência com Terraform para provisionamento de infraestrutura.
• Sólida experiência em Python para manipulação e transformação de dados.
• Vivência com pipelines CI/CD.
• Experiência prática com IUPipes 2.0.
• Experiência em AWS Glue (Jobs e Workflows).
• Conhecimento em PySpark para processamento distribuído de dados.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados utilizando AWS Glue.
• Criar e automatizar infraestrutura em nuvem usando Terraform.
• Implementar e otimizar processos de ingestão e transformação de dados.
• Colaborar com times para traduzir requisitos em soluções de dados eficientes.
• Monitorar e garantir a qualidade dos dados nos fluxos.

Conhecimentos

Terraform

Python

CI/CD

IUPipes 2.0

AWS Glue

PySpark

Ferramentas

AWS

Big Data

Pandas

Descrição da oferta de emprego

O que buscamos:

Profissional de nível Sênior que atue com (Dados/ AWS).

Projetar, desenvolver e manter pipelines de dados utilizando AWS Glue (Jobs e Workflows) e IUPipes 2.0. Criar e automatizar infraestrutura em nuvem usando Terraform. Implementar e otimizar processos de ingestão, transformação e integração de dados com PySpark e Python. Estabelecer boas práticas de versionamento, testes e automação em CI/CD. Colaborar com times de negócio e tecnologia para traduzir requisitos em soluções de dados eficientes. Monitorar e garantir a qualidade e integridade dos dados nos fluxos construídos.

Requisitos e qualificações;

• Experiência com Terraform para provisionamento de infraestrutura;
• Sólida experiência em Python para manipulação e transformação de dados;
• Vivência com pipelines CI/CD;
• Experiência prática com IUPipes 2.0 (ferramenta específica do cliente);
• Experiência em AWS Glue (Jobs e Workflows);
• Conhecimento em PySpark para processamento distribuído de dados.

Desejável:

• Conhecimento em Pandas para manipulação de dados tabulares;
• Experiência em ambientes de Big Data;
• Vivência com outras ferramentas do ecossistema AWS (S3, Athena, EMR, Redshift).

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT