Engenharia de Dados Sênior - 129134

GFT Group; Barueri; Teletrabalho; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia de dados está em busca de um profissional para atuar como Engenharia de Dados Sênior. O candidato ideal deve ter forte conhecimento em AWS e Python, com responsabilidades que incluem processamento de dados, análise e desenvolvimento de processos usando Spark. Além disso, será necessário monitorar executações e fazer orquestração de processos, sempre buscando melhorias e inovações. A vaga é remota e ideal para quem gosta de trabalhar de forma colaborativa.

Qualificações

• Experiência em processamento e análise de dados utilizando AWS EMR com Spark.
• Domínio em Python e Spark usados em processos com foco no B3.
• Capacidade de orquestração e análise de dependências com Control-M.

Responsabilidades

• Processar e analisar dados utilizando AWS EMR com Spark.
• Desenvolver e manter processos utilizando Python e Spark.
• Monitorar e identificar erros em execuções no Step Function.

Conhecimentos

AWS (alto conhecimento)

Python (alto conhecimento)

Spark (alto conhecimento)

Control-M (médio conhecimento)

GitHub (médio conhecimento)

Banco de Dados Relacional (médio conhecimento)

Data Mesh

Databricks

Descrição da oferta de emprego

O que buscamos:

Profissional que atue com Engenharia de Dados Sênior (Remoto) - 129134

Responsabilidades:

• Processar e analisar dados utilizando AWS EMR com Spark;
• Utilizar Glue como catálogo de dados;
• Realizar consultas em DynamoDB e Athena;
• Monitorar e identificar erros em execuções no Step Function;
• Desenvolver e manter processos utilizando Python e Spark, especialmente no framework B3;
• Orquestrar e acompanhar processos no Control-M, identificando dependências, melhorias e correções necessárias;
• Apoiar na análise de processos criados em SSIS e contribuir na migração de processos OnPrem para AWS;
• Recomendar e implementar melhorias em processos utilizando Iceberg e arquitetura Data LakeHouse (Spark → Iceberg → Dremio);
• Utilizar GitHub para versionamento de código e colaboração entre equipes.

Requisitos e qualificações:

• Conceito Data Mesh;
• AWS (alto conhecimento): EMR, Glue (catálogo), DynamoDB/Athena (consultas), Step Function;
• Python e Spark (alto conhecimento): utilizados em todos os processos, com foco no framework B3;
• Control-M (médio conhecimento): orquestração de processos e análise de dependências;
• GitHub (médio conhecimento): versionamento de código;
• Banco de Dados Relacional (médio conhecimento): experiência com procedures e SSIS;
• Databricks.

Desejável:

• Conhecimento em Iceberg e arquitetura Data LakeHouse

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT