Desenvolvedor Big Data

Grupo Data; São Paulo; A distancia; BRL 150.000 - 230.000; Jornada completa

Descripción de la vacante

Grupo Data procura um(a) Desenvolvedor(a) Big Data para atuar em projeto internacional no mercado financeiro, com foco em Datalake, pipelines de dados e Risco de Mercado. É obrigatório estar disponível para trabalhar no fuso horário da Espanha.

As responsabilidades incluem desenvolver pipelines com Spark/Scala, gerenciar ingestão e transformação de dados, além de trabalhar com SQL/PL-SQL, Control-M e Airflow, contribuindo com equipes globais em ambiente ágil.

Formación

• Experiência em Big Data com Spark e Scala.
• Conhecimento de SQL e PL/SQL.
• Experiência com pipelines de dados e Datalake.
• Conhecimento de Control-M e Airflow.
• Experiência com testes e suporte a ambientes produtivos.
• Conhecimento de Databricks, Azure, AWS Compute e/ou YARN.
• Experiência com CI/CD e ferramentas como GitHub, Jenkins e Sonar.
• Conhecimento de Power BI.
• Conhecimento de ServiceNow e monitoramento de produção.
• Conhecimentos de qualidade e rastreabilidade de dados.
• Experiência no setor bancário, especialmente em Risco de Mercado, métricas regulatórias, P&L, exposição, limites, ratings ou reporting.
• ???

Responsabilidades

• Desenvolver e manter pipelines de dados utilizando Apache Spark e Scala;
• Implementar processos de ingestão, transformação, validação e publicação de dados;
• Trabalhar com SQL e PL/SQL no processamento e tratamento de dados;
• Planejar e orquestrar processos utilizando Control-M;
• Otimizar o desempenho, a confiabilidade e a escalabilidade dos processos Spark;
• Realizar testes unitários e integrados e apoiar testes de aceitação (UAT);
• Investigar e resolver incidentes em produção;
• Colaborar com equipes internacionais em ambiente Agile.

Conocimientos

Big Data

Apache Spark

Scala

SQL

PL/SQL

Datalake

Airflow

Control-M

Databricks

Azure

AWS Compute

YARN

CI/CD

GitHub

Jenkins

Sonar

Power BI

ServiceNow

Data Quality

Mercado Financeiro

Herramientas

Databricks

Azure

AWS Compute

YARN

Control-M

Airflow

GitHub

Jenkins

Sonar

Descripción del empleo

Estamos buscando um(a) Desenvolvedor(a) Big Data para atuar em um projeto internacional do mercado financeiro, com foco em Datalake, pipelines de dados e Risco de Mercado.

É obrigatória a disponibilidade para trabalhar no fuso horário da Espanha.

Principais responsabilidades

• Desenvolver e manter pipelines de dados utilizando Apache Spark e Scala;
• Implementar processos de ingestão, transformação, validação e publicação de dados;
• Trabalhar com SQL e PL/SQL no processamento e tratamento de dados;
• Planejar e orquestrar processos utilizando Control-M;
• Otimizar o desempenho, a confiabilidade e a escalabilidade dos processos Spark;
• Realizar testes unitários e integrados e apoiar testes de aceitação (UAT);
• Investigar e resolver incidentes em produção;
• Colaborar com equipes internacionais em ambiente Agile.

Requisitos obrigatórios

• Experiência em desenvolvimento Big Data, com atuação em Apache Spark e Scala;
• Conhecimento de SQL e PL/SQL;
• Experiência com pipelines de dados e Datalake;
• Conhecimento de Control-M e Airflow;
• Experiência com testes e suporte a ambientes produtivos;
• Conhecimento de Databricks, Azure, AWS Compute e/ou YARN;
• Experiência com CI/CD e ferramentas como GitHub, Jenkins e Sonar;
• Conhecimento de Power BI;
• Conhecimento de ServiceNow e experiência em monitoramento de produção;
• Conhecimentos de qualidade e rastreabilidade de dados;
• Experiência no setor bancário, especialmente em Risco de Mercado, métricas regulatórias, P&L, exposição, limites, ratings ou reporting;
• ???