Engenheiro de plataforma de dados senior

NetVagas; Brasil; Presencial; BRL 60.000 - 100.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está em busca de um Engenheiro de Plataforma de Dados Sênior para integrar sua equipe dinâmica. O profissional terá a oportunidade de liderar a evolução de uma plataforma de CRM, lidando com terabytes de dados e utilizando tecnologias de ponta como Java, Scala e AWS. A função envolve a criação de soluções escaláveis e eficientes, além de colaborar com equipes de Ciência de Dados e QA. Se você é apaixonado por dados e deseja impactar o varejo no Brasil, esta é a oportunidade ideal para você.

Qualificações

• Mais de 4 anos de experiência em soluções de dados com forte conhecimento em Java, Scala e Python.
• Experiência em processamento de Big Data com Spark e gerenciamento de cluster EMR.

Responsabilidades

• Evoluir a arquitetura da plataforma de dados para melhorias contínuas.
• Desenvolver Data Lake em larga escala usando Spark e projetar Data Pipelines.

Conhecimentos

Java

Scala

Python

SQL

Big Data Processing

Data Analysis

Problem Solving

Agile Methodologies

Formação académica

Computer Science

Information Systems

Engineering

Statistics

Ferramentas

Spark

AWS Cloud Services

Azure Cloud Services

Databricks

MySQL

PostgreSQL

DynamoDB

Descrição da oferta de emprego

Quem é o candidato que buscamos:

Estamos à procura de um Engenheiro de Plataforma de Dados Sênior para se juntar à nossa equipe. Nosso objetivo é liderar a próxima geração de software de CRM para o varejo, lidando com milhões de shoppers distribuídos em centenas de clientes em todo o Brasil. Nosso foco é ajudar os clientes a encantar e oferecer as melhores ofertas aos shoppers, o que exige interagir e analisar terabytes de dados usando as últimas técnicas de analytics, superando desafios tecnológicos diariamente.

Valorizamos uma cultura de desenvolvimento, comunicação, qualidade de código e troca de conhecimento, que são práticas essenciais para uma equipe feliz e eficiente. Utilizamos tecnologias como Java, Scala, Spark, MySQL, Postgresql, SQL, Python, AWS Cloud Services (S3, EMR, Lambda, StepFunctions, Athena, Glue Data Catalog, Dynamodb, Kinesis, SQS, SNS, EC2, ECS, EKS, Fargate, Redshift), Microsoft Azure Cloud Services (Data Factory, Analysis Services, Synapse Analytics, Azure Data Lake), Databricks e desenvolvimento de ETL como código.

Principais responsabilidades:

1. Evoluir a arquitetura da plataforma de dados para fornecer melhorias contínuas alinhadas às estratégias tecnológicas da empresa;
2. Desenvolver Data Lake / Lakehouse em larga escala usando Spark;
3. Ter experiência com frameworks de Lakehouse, como Delta Lake, Hudi ou Iceberg;
4. Projetar plataformas de dados (DW, DM, Data Quality, Data Lake ou Lakehouse) para escalabilidade de negócios;
5. Projetar Data Pipelines incluindo linhagem de dados, camadas semânticas e catálogo de dados;
6. Implementar soluções de dados escaláveis e eficientes para atender às necessidades de negócio;
7. Colaborar tecnicamente com colegas;
8. Trabalhar com equipes de Ciência de Dados e QA para definir e lançar novos recursos;
9. Revisar códigos, fornecer feedback construtivo e garantir boas práticas;
10. Participar de cerimônias ágeis, identificando e resolvendo débitos técnicos;
11. Manter-se atualizado com tendências e tecnologias emergentes, trazendo novidades para a equipe.

Perfil acadêmico e habilidades:

• Formação em Ciência da Computação, Sistemas de Informação, Engenharia, Estatística ou áreas relacionadas;
• Mais de 4 anos de experiência em soluções de dados, com forte conhecimento em Java e/ou Scala, Python e SQL;
• Experiência em processamento de Big Data com Spark, gerenciamento de cluster EMR, arquitetura de dados e metodologias de testes como TDD, IaaS e Serverless;
• Experiência com bancos de dados SQL (MySQL, Oracle, PostgreSQL) e NoSQL (DynamoDB, MongoDB, Redis);
• Conhecimento em ferramentas de consulta SQL distribuídas ou open source como Athena, Trino ou Presto;
• Capacidade de atuar como referência técnica, mentorando equipes de desenvolvimento;
• Ótima resolução de problemas, pensamento crítico e habilidades analíticas;
• Excelentes habilidades de comunicação, colaboração e relacionamento interpessoal;
• Experiência com metodologias ágeis, automação de build e práticas de CI/CD;
• Inglês avançado para comunicação com equipe europeia.

Desejáveis:

• Experiência no desenvolvimento de produtos digitais escaláveis;
• Experiência em plataformas de CRM ou ferramentas de marketing;
• Experiência com transformação de sistemas legados e rupturas arquitetônicas.