DATA ENGINEER III

Inter; Belo Horizonte; On-site; BRL 120,000 - 190,000; Full time

Benefits offered by this job

Vale alimentação

Vale refeição

Plano de saúde

Plano odontológico

Seguro de vida

DayOff de Aniversário

Licença parental estendida

Auxílio-creche/babá

Sala de Amamentação

Care4U Belo Horizonte

Job summary

A Inter está buscando um profissional para atuar no time Internacional, desenvolvendo pipelines de dados escaláveis e eficientes para projetos globais. O candidato trabalhará com Python, SQL, Spark e serviços AWS, incluindo S3, Glue e EMR.

Você colaborará com engenheiros, cientistas e analistas de dados para criar soluções que aprimorem eficiência e decisões orientadas por dados. Inglês leitura é desejável e a posição é on-site em Belo Horizonte.

Qualifications

• Experiência em Python e SQL para desenvolver pipelines de dados.
• Conhecimento comprovado com Spark (PySpark) e AWS.
• Experiência com Spark, Kafka e Airflow para ETL/ELT.
• Conhecimento de serviços AWS para engenharia de dados (S3, Glue, EMR).
• Trabalho com bancos de dados relacionais e NoSQL e modelagem de dados.
• Entendimento de data lakes/warehouses e AWS Redshift.
• Arquitetura distribuída, streaming e open source; segurança básica na AWS.
• Resolução de problemas de infra e processamento de dados; Git.
• Boa comunicação para atuar com equipes multidisciplinares.
• Leitura em inglês.

Responsibilities

• Implementar pipelines de dados escaláveis e eficientes.
• Monitorar recursos e custos das soluções desenvolvidas.
• Desenvolver código com foco em clean code e boas práticas.
• Realizar otimização de pipelines de dados.
• Prover integrações entre sistemas de dados.
• Colaborar com equipes de engenharia, ciência e análise de dados.

Skills

Python

SQL

PySpark

Spark

AWS

Data pipelines

Data lakes/warehouses

Git

Comunicação

Tools

Apache Spark

Apache Kafka

Apache Airflow

MySQL

PostgreSQL

MongoDB

Amazon S3

Redshift

Job description

Conheça o Inter
Pioneiros, mudamos o mercado ao lançar o primeiro banco digital do Brasil e seguimos criando tendências com tecnologia de ponta. Evoluímos para um Super App Financeiro Global, com soluções completas e inovação de primeira. Aqui, o trabalho tem propósito: construir oportunidades reais, transformar a vida das pessoas e o mercado financeiro. Esse é o nosso Jeito Inter de Fazer. Se você quer fazer parte dessa mudança e deixar um legado, seu lugar é aqui.
Vem ser Sangue Laranja.

Sobre a vaga e missão do cargo

Você fará parte do nosso time Internacional, vai atuar nas demandas de dados dos projetos globais do Inter.

No seu dia a dia, você vai:

• Implementar pipelines de dados escaláveis e eficientes;
• Monitorar recursos e custos de soluções desenvolvidas;
• Desenvolver códigos e soluções com foco em clean code, boas práticas e eficiência;
• Realizar otimização em pipelines de dados
• Prover integrações de aplicações e serviços de dados entre sistemas.
• Colaborar com outras equipes de engenharia, ciência e análise de dados para desenvolver soluções de dados que impulsionem a eficiência e tomada de decisão orientada por dados.

Obrigatórios:

• Proficiência em Python e SQL;
• Conhecimento em Spark (PySpark);
• Conhecimento comprovado com AWS;
• Conhecimento em ferramentas de big data como Apache Spark, Apache Kafka e Apache Airflow, e experiência em utilizá-las para construir pipelines de dados;
• Conhecimento nos principais serviços da AWS utilizados em engenharia de dados, como Amazon S3 para armazenamento de dados, AWS Glue para ETL, EMR;
• Experiência em bancos de dados relacionais e não relacionais, como MySQL, PostgreSQL, e/ou NoSQL (por exemplo, MongoDB), e capacidade de otimizar consultas e modelagem de dados;
• Compreensão dos conceitos de data lakes e data warehouses, e experiência em projetar e implementar soluções utilizando serviços da AWS, como Amazon S3 e Amazon Redshift;
• Conhecimento com arquitetura distribuída, conceitos de streaming de dados e utilização de ferramentas opensource;
• Conhecimento básico em práticas de segurança da AWS, como configuração de políticas de acesso e criptografia de dados, e conformidade com regulamentações de segurança;
• Habilidade para resolver problemas técnicos (troubleshooting) relacionados à infraestrutura e processamento de dados na AWS;
• Conhecimento com arquiteturas de batch e streaming;
• Familiaridade com sistemas de controle de versão, como Git, e boas práticas de clean code;
• Boas habilidades de comunicação para trabalhar em equipe e colaborar com outras áreas, como cientistas de dados, engenheiros de software e analistas de negócios.
• Inglês para leitura
• Vale-alimentação e Vale-refeição
• Plano de saúde e odontológico
• Seguro de vida
• DayOff de Aniversário
• Baby On Board e Sala de Amamentação
• Licença parental estendida
• Auxílio-creche/babá e/ou auxílio para filhos com deficiência
• Wellhub e Grupo de Corrida Inter
• Espaço CARE4U (Belo Horizonte): serviços de autocuidado com valores exclusivos,área de descompressão, jogos e minicampo de golfe
• Vantagens no nosso SuperApp, como Duo Gourmet
• Cartão Prime Inter
• Programas de treinamento e capacitação internos

Etapas do Processo Seletivo

• Screening (abordagem inicial para alinhamento de expectativas sobre a vaga);