Engenharia de Dados - 125181

GFT Group; Barueri; Presencial; BRL 90.000 - 130.000; Tempo integral

Resumo da oferta

Uma empresa em crescimento busca um Engenheiro de Dados para atuar em projetos de migração de dados e otimização de processos ETL. O candidato ideal deve ser colaborativo e ter experiência com ferramentas modernas como Spark e DevOps, além de interesse em inovação tecnológica.

Qualificações

• Inglês intermediário/avançado.
• Experiência com Jobs Spark, Python e ferramentas de ETL.
• Conhecimento em DevOps desejável.

Responsabilidades

• Garantir boas práticas em migração de dados entre plataformas.
• Desenvolver APIs e otimizar processos de ETL.
• Colaborar no desenho de arquiteturas de dados.

Conhecimentos

Spark Scala

Apache Airflow

Python

Hadoop Ecosystem

Cultura DevOps

Mongo DB

Cassandra

Ferramentas

Amazon AWS

Jenkins

Docker

Terraform

Kubernetes

Descrição da oferta de emprego

O que buscamos:

Uma pessoa para atuar com Engenharia de Dados.

Responsabilidades:

• Ter conhecimento e garantir que está sendo aplicado as melhores práticas;
• Contribuir em projetos de migração de dados entre plataformas (MF x Hadoop);
• Otimizar processos de ETL;
• Colaborar no desenho de arquiteturas para processamento de dados, seja para novos pipelines ou para melhoria do atual;
• Aplicar os padrões de governança de dados estabelecidos pela empresa;
• Garantir que arquitetura comporte necessidades e requisitos técnicos do time de execução, trabalhando em conjunto com times de TI (Arquitetura, Segurança, Infraestrutura) e com áreas de negócio;
• Desenvolver APIs de acesso e consumo dos dados para disponibilização dos dados como um produto;
• Identificar oportunidades de melhorias no processo;
• Interagir com terceiros, fornecedores e/ou prestadores a fim de garantir o melhor entendimento e implementação da solução;
• Participar de discussões de alinhamento;
• Fazer a interface com os times de tecnologia e produtos a fim de definir as melhores práticas quanto ao armazenamento e consumo dos dados, além de sugerir, testar e acompanhar a implementação de novas tecnologias;
• Ter atuado em projetos metodologia ágil.

Requisitos e Qualificações:

• Experiencia com Jobs Spark Scala, Apache Airflow, Python, Hadoop Ecosystem (Yarn, Hive, HDFS), Amazon AWS (EC2, S3, EMR), Cultura DevOps, Cassandra / Mongo DB;
• Desejável conhecimento em: Esteira de DevOps, Jenkins, SonarQube/Veracode, PEP8, Kubernetes / Docker, Terraform / Ansible, Apache Hudi / Iceberg, Cassandra, Trino (Presto), HBase, Delta Lake, Técnicas de CDC – Change Data Capture;
• Inglês intermediário/avançado.

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT