Especialista em Engenharia de Dados - Open Finance

Experian Group; São Paulo; Presencial; BRL 60.000 - 100.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está em busca de um profissional apaixonado por tecnologia para integrar sua equipe de processamento de dados. Nesta função, você terá a oportunidade de trabalhar com volumes de dados na escala de petabytes, contribuindo para projetos de Open Finance e utilizando ferramentas avançadas como Spark e Airflow. Seu papel será fundamental na construção de pipelines de dados e na otimização de processos, ajudando milhões de pessoas a melhorar seus Scores. Se você deseja fazer parte de uma jornada de inovação e crescimento, esta é a sua chance!

Qualificações

• Experiência em construção de pipelines de dados e otimização de código.
• Conhecimento em ferramentas de NLP e arquitetura de dados.

Responsabilidades

• Construção de pipelines de movimentação de dados na nuvem.
• Otimização de uso de recursos do EMR e cobertura de testes unitários.

Conhecimentos

Python

Spark

Airflow

AWS

EMR

Kafka

Scala

Descrição da oferta de emprego

Nossa equipe é responsável pelo processamento de features para machine learning, que alimenta os principais produtos e modelos de score da companhia. Trabalhamos com volumes de dados na escala de petabytes, processando o maior banco de dados da América Latina. Buscamos um profissional dedicado e apaixonado por tecnologia para se juntar a nós nessa jornada de inovação.

Sua atuação inicial será no projeto de Open Finance, atuará construindo pipelines de movimentação de dados na nuvem e categorização de transações, aplicando ferramentas proprietárias de NLP para tratamento dos dados, com o objetivo de alimentar produtos e ajudar milhões de pessoas a melhorar seus Scores.

Nessa posição, você atuará principalmente com Spark, rodando em EMR e orquestrado via Airflow. Esteja disposto a aprender, pois o Serasa tem um mundo à parte de conceitos e produtos. Buscamos uma pessoa que consiga rapidamente entender os padrões de arquitetura e propor soluções performáticas, nos ajudando a tornar produtos realidade.

Dia a dia:

• Tradução de código para Spark (Python e Scala)
• Construção de pipelines de dados
• Construção de Dags Airflow
• Otimização do uso de recursos do EMR por job
• Otimização de Código
• Homologação de bases de dados
• Cobertura de testes unitários
• Acompanhamento e defesa dos projetos em comitês de arquitetura.

Experience and Skills:

• Python
• Spark
• Airflow
• AWS
• EMR
• Kafka (desejável)
• Scala (desejável)