Especialista em Engenharia de Dados - Open Finance

Nossa equipe é responsável pelo processamento de features para machine learning, que alimenta os principais produtos e modelos de score da companhia. Trabalhamos com volumes de dados na escala de petabytes, processando o maior banco de dados da América Latina. Buscamos um profissional dedicado e apaixonado por tecnologia para se juntar a nós nessa jornada de inovação.

Sua atuação inicial será no projeto de Open Finance, atuará construindo pipelines de movimentação de dados na nuvem e categorização de transações, aplicando ferramentas proprietárias de NLP para tratamento dos dados, com o objetivo de alimentar produtos e ajudar milhões de pessoas a melhorar seus Scores.

Nessa posição, você atuará principalmente com Spark, rodando em EMR e orquestrado via Airflow. Esteja disposto a aprender, pois o Serasa tem um mundo à parte de conceitos e produtos. Buscamos uma pessoa que consiga rapidamente entender os padrões de arquitetura e propor soluções performáticas, nos ajudando a tornar produtos realidade.

Dia a dia:

• Tradução de código para Spark (Python e Scala)
• Construção de pipelines de dados
• Construção de Dags Airflow
• Otimização do uso de recursos do EMR por job
• Otimização de Código
• Homologação de bases de dados
• Cobertura de testes unitários
• Acompanhamento e defesa dos projetos em comitês de arquitetura.

Experience and Skills:

• Python
• Spark
• Airflow
• AWS
• EMR
• Kafka (desejável)
• Scala (desejável)