Analytics Engineer

Intervalor; São Paulo; Presencial; BRL 60.000 - 100.000; Tempo integral

Resumo da oferta

Uma empresa inovadora no setor de recuperação de crédito está em busca de um Engenheiro de Dados Pleno. Neste papel, você será responsável por desenvolver e otimizar pipelines de dados, garantindo a qualidade e segurança das informações. Com foco em cloud computing, você irá trabalhar em um ambiente colaborativo, utilizando tecnologias de ponta para impulsionar decisões estratégicas. Se você é apaixonado por dados e busca um desafio que combine eficiência e inovação, esta é a oportunidade perfeita para você se juntar a um time que está revolucionando o mercado.

Qualificações

• Experiência sólida em desenvolvimento de pipelines de dados e ferramentas como Python e SQL.
• Conhecimento profundo em bancos de dados relacionais e NoSQL, além de cloud computing.

Responsabilidades

• Construir e otimizar pipelines de dados, garantindo a qualidade e segurança das informações.
• Administrar a infraestrutura de dados em ambientes de nuvem e implementar práticas de IaC.

Conhecimentos

Desenvolvimento de pipelines de dados (ETL/ELT)

Python

SQL

Apache Spark

Bancos de dados relacionais (SQL Server, PostgreSQL, MySQL)

NoSQL (MongoDB, Cassandra, DynamoDB)

Plataformas de cloud computing (AWS, Azure, GCP)

Orquestração de workflows (Apache Airflow)

Governança de dados

Modelagem de dados dimensional e analítica

Descrição da oferta de emprego

Job description

Você tem o desafio. A gente tem a solução.

Com mais de 20 anos de mercado, somos um dos principais players de recuperação de crédito e relacionamento do Brasil.

Chegamos pra alavancar as jornadas de negociação com humanização nas relações, digitalização e eficiência na recuperação de crédito.

Usamos dados para mudar o futuro, trazendo ofertas personalizadas no momento que o cliente mais precisa.

Integramos canais para que o atendimento seja por onde o consumidor mais usa e da forma mais simples possível.

Sem letras miúdas ou juridiquês. Aqui é ganha-ganha pro cliente e pra sua empresa.

Eficiência e humanização caminhando juntas, rumo à revolução.

Isso é Intervalor. E este é apenas o começo

Main responsibilities

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para integrar nosso time de dados. Este profissional terá um papel fundamental na construção, otimização e manutenção de nossa infraestrutura de dados, garantindo a qualidade, segurança e disponibilidade das informações para impulsionar decisões estratégicas e análises avançadas.

Responsabilidades e Atividades:

• Construção e Otimização de Pipelines de Dados (ETL/ELT):
• Desenvolver, implementar e manter pipelines de dados robustos, escaláveis e eficientes para integrar dados de diversas fontes.
• Otimizar pipelines existentes para melhorar a performance, confiabilidade e reduzir custos.
• Monitorar a saúde dos pipelines, identificando e resolvendo gargalos e erros.

• Ingestão de Fontes de Dados Diversas:
• Conectar e ingerir dados de diferentes origens, como bancos de dados relacionais e NoSQL, APIs, arquivos (CSV, JSON, etc.), sistemas legados e plataformas de terceiros.
• Implementar mecanismos de extração, transformação e carga de dados (ETL/ELT) adequados a cada fonte e necessidade.
• Garantir a integridade e a qualidade dos dados durante o processo de ingestão.

• Sustentação e Otimização de Ambientes Cloud:
• Administrar e manter a infraestrutura de dados em ambientes de nuvem (AWS, Azure, GCP).
• Implementar práticas de IaC (Infraestrutura como Código) para provisionamento e gerenciamento de recursos.
• Monitorar e otimizar custos e performance dos serviços de cloud relacionados a dados.
• Participar da definição e implementação de arquiteturas de dados escaláveis e resilientes na nuvem.

• Conhecimento e Utilização de Serviços de Cloud:
• Utilizar e configurar serviços de armazenamento (S3, ADLS, GCS), bancos de dados (RDS, Cloud SQL, DynamoDB, Cosmos DB, Bigtable), ferramentas de processamento de dados (Spark, Dataflow, EMR), orquestração de workflows (Airflow, Cloud Composer, Step Functions) e outras soluções de cloud relevantes.
• Avaliar e recomendar novos serviços e tecnologias de cloud para melhorar a infraestrutura de dados.

• Governança de Dados:
• Participar da definição e implementação de políticas e processos de governança de dados, incluindo qualidade, linhagem, metadados e catálogo de dados.
• Garantir a conformidade com as políticas de governança em todos os processos de engenharia de dados.
• Colaborar com outras áreas para garantir a compreensão e a aplicação das práticas de governança de dados.

• Segurança da Informação:
• Implementar e manter medidas de segurança para proteger os dados em repouso e em trânsito, seguindo as melhores práticas e políticas da empresa.
• Garantir o controle de acesso aos dados e a conformidade com regulamentações de privacidade (LGPD, GDPR, etc.).
• Participar da identificação e mitigação de riscos de segurança relacionados aos dados.

• Modelagem de Dados (Dimensional e Analítica):
• Projetar e implementar modelos de dados eficientes e otimizados para análise e relatórios (modelagem dimensional, star schema, snowflake schema).
• Transformar dados brutos em formatos adequados para consumo por ferramentas de BI e análise.
• Documentar os modelos de dados e garantir a sua compreensão por outras equipes.
• Colaborar com analistas e cientistas de dados para entender as necessidades de modelagem e garantir a qualidade dos dados para análise.

Requirements and skills

Habilidades Necessárias:

• Sólida experiência em desenvolvimento de pipelines de dados (ETL/ELT) utilizando ferramentas e linguagens como Python, SQL e frameworks de processamento de dados (ex: Apache Spark, Apache Beam).
• Profundo conhecimento de bancos de dados relacionais (SQL Server, PostgreSQL, MySQL) e NoSQL (MongoDB, Cassandra, DynamoDB).
• Experiência prática com plataformas de cloud computing (AWS, Azure ou GCP) e seus serviços de dados.
• Familiaridade com ferramentas de orquestração de workflows (ex: Apache Airflow).
• Conhecimento de princípios e práticas de governança de dados, qualidade de dados e segurança da informação.
• Experiência em modelagem de dados dimensional e analítica para data warehouses e data marts.
• Habilidade para escrever código limpo, eficiente e bem documentado.
• Capacidade de trabalhar de forma colaborativa em equipes multidisciplinares.
• Excelentes habilidades de comunicação e resolução de problemas.
• Proatividade, autonomia e capacidade de aprendizado contínuo.