Desenvolvedor Backend Spark / Scala – Métricas de Risco

Grupo Data; São Paulo; Remote; BRL 180,000 - 260,000; Full time

Job summary

Grupo Data está buscando um Desenvolvedor Backend para atuar em um projeto internacional do setor financeiro, desenvolvendo soluções de processamento de dados para métricas de risco e reporting regulatório, com foco em Apache Spark, Scala, SQL e PL/SQL.

Você fará parte de equipes internacionais em ambiente Agile, responsável por pipelines de dados, ingestão, transformação e publicação de grandes volumes, com ênfase em desempenho e confiabilidade dos processos.

Qualifications

• Experiência em desenvolvimento backend ou Big Data com Spark e Scala.
• Conhecimento de SQL e PL/SQL.
• Experiência com pipelines de dados e Datalake.
• Conhecimento de Control-M e Airflow.
• Conhecimento de Databricks, Azure, AWS Compute e/ou YARN.
• Experiência com CI/CD e ferramentas como GitHub, Jenkins e Sonar.
• Conhecimento de Power BI.
• Conhecimento de ServiceNow e experiência em monitoramento e suporte de produção.
• Experiência com testes unitários, integrados e validações em UAT e produção.
• Conhecimentos de qualidade e rastreabilidade de dados.
• Experiência no setor bancário, especialmente com riscos, métricas regulatórias, P&L, avaliações financeiras, exposição, limites, ratings ou reporting.
• Inglês em nível de conversação.
• Espanhol em nível de conversação.
• Disponibilidade para atuar no fuso horário da Espanha.

Responsibilities

• Desenvolver e manter soluções backend utilizando Apache Spark e Scala.
• Implementar processos de ingestão, transformação, validação e publicação de grandes volumes de dados.
• Desenvolver consultas e rotinas em SQL e PL/SQL.
• Planejar e orquestrar processos utilizando Control-M.
• Desenvolver e manter pipelines de dados para métricas e relatórios regulatórios.
• Otimizar o desempenho, a confiabilidade e a escalabilidade dos processos Spark.
• Realizar testes unitários e integrados e apoiar testes de aceitação (UAT).
• Investigar incidentes, identificar suas causas e resolver problemas em produção.
• Participar de todo o ciclo de desenvolvimento, da análise de necessidades à implantação e ao suporte.
• Colaborar com equipes internacionais em ambiente Agile.

Job description

Estamos buscando um(a) Desenvolvedor(a) Backend para atuar em um projeto internacional do mercado financeiro, desenvolvendo soluções de processamento de dados para métricas de risco e reporting regulatório, com foco em Apache Spark, Scala, PL/SQL e Control-M.

Principais responsabilidades

• Desenvolver e manter soluções backend utilizando Apache Spark e Scala;
• Implementar processos de ingestão, transformação, validação e publicação de grandes volumes de dados;
• Desenvolver consultas e rotinas em SQL e PL/SQL;
• Planejar e orquestrar processos utilizando Control-M;
• Desenvolver e manter pipelines de dados para métricas e relatórios regulatórios;
• Otimizar o desempenho, a confiabilidade e a escalabilidade dos processos Spark;
• Realizar testes unitários e integrados e apoiar testes de aceitação (UAT);
• Investigar incidentes, identificar suas causas e resolver problemas em produção;
• Participar de todo o ciclo de desenvolvimento, da análise de necessidades à implantação e ao suporte;
• Colaborar com equipes internacionais em ambiente Agile.

Requisitos obrigatórios

• Experiência em desenvolvimento backend ou Big Data, com atuação em Apache Spark e Scala;
• Conhecimento de SQL e PL/SQL;
• Experiência com pipelines de dados e Datalake;
• Conhecimento de Control-M e Airflow;
• Conhecimento de Databricks, Azure, AWS Compute e/ou YARN;
• Experiência com CI/CD e ferramentas como GitHub, Jenkins e Sonar;
• Conhecimento de Power BI;
• Conhecimento de ServiceNow e experiência em monitoramento e suporte de produção;
• Experiência com testes unitários, integrados e validações em UAT e produção;
• Conhecimentos de qualidade e rastreabilidade de dados;
• Experiência no setor bancário, especialmente com riscos, métricas regulatórias, P&L, avaliações financeiras, exposição, limites, ratings ou reporting;
• Inglês em nível de conversação;
• Espanhol em nível de conversação;
• Disponibilidade para atuar no fuso horário da Espanha.

Apache Spark | Scala | SQL | PL/SQL | Control-M | Pipelines de Dados | Métricas de Risco | Reporting Regulatório