Desenvolvedor(a) Big Data | Spark / Scala

Grupo Data; São Paulo; Remote; BRL 120,000 - 170,000; Full time

Job summary

Grupo Data procura talento para atuar como Desenvolvedor(a) Big Data em projeto internacional do mercado financeiro, com foco em Datalake, pipelines de dados e Risco de Mercado. É obrigatória a disponibilidade para trabalhar no fuso horário da Espanha.

Você irá desenvolver pipelines com Spark/Scala, gerenciar ingestão, transformação e publicação de dados, além de atuar com SQL/PL-SQL, Control-M e Airflow, e colaborar com equipes globais em ambiente Ágil.

Qualifications

• Experiência em desenvolvimento Big Data com Spark e Scala.
• Conhecimento de SQL e PL/SQL.
• Experiência com pipelines de dados e Datalake.
• Conhecimento de Control-M e Airflow.
• Experiência com Databricks, Azure, AWS Compute e/ou YARN.
• CI/CD e ferramentas como GitHub, Jenkins e Sonar.
• Conhecimento de Power BI.
• Conhecimento de ServiceNow e monitoramento de produção.
• Experiência no setor bancário, especialmente em Risco de Mercado, métricas regulatórias, P&L, exposição, limites, ratings ou reporting.
• ???

Responsibilities

• Desenvolver e manter pipelines de dados utilizando Apache Spark e Scala.
• Implementar processos de ingestão, transformação, validação e publicação de dados.
• Trabalhar com SQL e PL/SQL no processamento e tratamento de dados.
• Planejar e orquestrar processos utilizando Control-M.
• Otimizar o desempenho, a confiabilidade e a escalabilidade dos processos Spark.
• Realizar testes unitários e integrados e apoiar testes de aceitação (UAT).
• Investigar e resolver incidentes em produção.
• Colaborar com equipes internacionais em ambiente Agile.

Skills

Big Data

Apache Spark

Scala

SQL

PL/SQL

Datalake

Control-M

Airflow

Databricks

Azure

AWS

YARN

CI/CD

GitHub

Jenkins

Sonar

Power BI

ServiceNow

Monitoring produção

Data quality

Data lineage

Risco de Mercado

P&L

Reporting

Tools

Control-M

Airflow

Databricks

Azure

AWS

YARN

GitHub

Jenkins

Sonar

Power BI

ServiceNow

Job description

Estamos buscando um(a) Desenvolvedor(a) Big Data para atuar em um projeto internacional do mercado financeiro, com foco em Datalake, pipelines de dados e Risco de Mercado.

É obrigatória a disponibilidade para trabalhar no fuso horário da Espanha.

Principais responsabilidades

• Desenvolver e manter pipelines de dados utilizando Apache Spark e Scala;
• Implementar processos de ingestão, transformação, validação e publicação de dados;
• Trabalhar com SQL e PL/SQL no processamento e tratamento de dados;
• Planejar e orquestrar processos utilizando Control-M;
• Otimizar o desempenho, a confiabilidade e a escalabilidade dos processos Spark;
• Realizar testes unitários e integrados e apoiar testes de aceitação (UAT);
• Investigar e resolver incidentes em produção;
• Colaborar com equipes internacionais em ambiente Agile.

Requisitos obrigatórios

• Experiência em desenvolvimento Big Data, com atuação em Apache Spark e Scala;
• Conhecimento de SQL e PL/SQL;
• Experiência com pipelines de dados e Datalake;
• Conhecimento de Control-M e Airflow;
• Experiência com testes e suporte a ambientes produtivos;
• Conhecimento de Databricks, Azure, AWS Compute e/ou YARN;
• Experiência com CI/CD e ferramentas como GitHub, Jenkins e Sonar;
• Conhecimento de Power BI;
• Conhecimento de ServiceNow e experiência em monitoramento de produção;
• Conhecimentos de qualidade e rastreabilidade de dados;
• Experiência no setor bancário, especialmente em Risco de Mercado, métricas regulatórias, P&L, exposição, limites, ratings ou reporting;
• ???