Spark Data Engineer | Mid/Senior

Compass UOL; Brasil; Teletrabalho; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia no Brasil está buscando um profissional para conduzir a migração de rotinas SAS legadas para um novo ecossistema Data Mesh. O candidato ideal deve ter conhecimento sólido em Python e Spark, além de experiência com AWS Glue e serviços correlatos. O trabalho é remoto e promove um ambiente ágil e colaborativo.

Qualificações

• Desenvolvimento de pipelines de dados.
• Integração com AWS Glue, S3, Lambda, e outros serviços.
• Experiência em ambiente Linux.

Responsabilidades

• Conduzir a migração de rotinas SAS legadas.
• Realizar a transpilação de códigos SAS para Spark.
• Criar e configurar ambientes de dados na AWS.
• Executar processos em produção e documentar fluxos.
• Trabalhar de forma colaborativa em ambiente ágil.

Conhecimentos

Sólido conhecimento em Python

Sólido conhecimento em Spark

Profundo conhecimento com AWS Glue

Familiaridade com Control-M

Experiência com versionamento (Git/GitHub)

Conhecimento de Terraform

Capacidade analítica

Experiência com SAS

Boas práticas de engenharia de dados

Experiência com testes automatizados

Descrição da oferta de emprego

Job description

Main responsibilities

• Conduzir a migração de rotinas SAS legadas para o novo ecossistema Data Mesh, com foco em modernização, padronização e governança de dados;
• Compreender a malha batch existente via Control-M, analisando dependências, componentes SAS e estruturas de dados envolvidas;
• Realizar a transpilação dos códigos SAS para Spark, utilizando AWS Glue e garantindo aderência aos padrões técnicos do Mesh;
• Criar e configurar ambientes de origem e destino (buckets S3, schemas, conexões), assegurando o fluxo completo dos dados na AWS;
• Desenvolver Glue Jobs robustos, parametrizados e com testes unitários, promovendo estabilidade e escalabilidade nas entregas;
• Executar processos em produção, documentar fluxos e apoiar o repasse para sustentação;
• Trabalhar de forma colaborativa em ambiente ágil, promovendo boas práticas de engenharia e integração contínua.

Requirements and skills

• Sólido conhecimento em Python e Spark, com foco em desenvolvimento de pipelines de dados;
• Profundo conhecimento com AWS Glue, S3, Lambda, Step Functions e Athena, Redshift;
• Familiaridade com orquestração de tarefas com Control-M;
• Experiência com versionamento (Git/GitHub) e ambiente Linux;
• Conhecimento de Terraform para infraestrutura como código (IaC);
• Capacidade analítica para entendimento de código legado e adaptação aos novos padrões do Data Mesh;
• Experiência com SAS;
• Desejável: experiência com testes automatizados e boas práticas de engenharia de dados.

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

Additional information

#remote

"remote"