Staff Data Engineer

Grupo OLX; Ituiutaba; On-site; BRL 180,000 - 280,000; Full time

Job summary

O Grupo OLX está contratando um Staff Data Engineer para integrar o time de Data Platform Engineer. Você vai trabalhar com ingestão, transformação e governança de dados, disponibilizando dados de forma confiável para diferentes equipes.

Buscamos atuação com Python, PySpark e Spark em ambientes distribuídos, além de AWS e ferramentas de orquestração como Airflow. Venha fazer parte de uma plataforma moderna de dados que impacta o negócio.

Qualifications

• Sólido conhecimento em fundamentos e boas práticas de engenharia de software.
• Domínio em Python e PySpark.
• SQL avançado e experiência com motores de consulta distribuídos.
• Experiência com arquiteturas de processamento de dados em tempo real (Streaming).
• Conhecimento em AWS e governança de dados.

Responsibilities

• Manter plataforma de dados que permita armazenarem seus dados, transformarem e disponibilizá-los para consumo.
• Trabalhar sistemas escaláveis, distribuídos, com alta disponibilidade e tolerante a falhas.
• Utilizar tecnologias atuais e Open Source.
• Manter e desenvolver uma plataforma dados moderna.

Skills

Python

PySpark

SQL

Streaming

Spark

Trino

Athena

Airflow

AWS

Terraform

GitHub Actions

Linux

AWS IAM

AWS Lake Formation

EMR

Iceberg

Tools

Apache Iceberg

Trino

Athena

Spark

Airflow

MWAA

AWS Glue

EMR

Job description

Somos o Grupo OLX, um marketplace de classificados 100% digital que conecta mais de 70 milhões de pessoas.

Líder na compra e venda de autos, imóveis e bens de consumo, nosso ecossistema diversificado oferece uma plataforma inovadora para negócios e consumo consciente.

São mais de 500 mil anúncios publicados diariamente e 70 milhões de visitas em nossas plataformas (OLX, VivaReal e Zap Imóveis) por mês. Com tecnologia desenvolvida no Brasil, democratizamos o acesso ao comércio para todos, contribuindo positivamente para a economia.

Ao trabalhar na OLX, você fará parte de uma cultura de alta performance, com os melhores talentos. Pensamos grande e olhamos sempre para o futuro, para liderar nossos mercados. Assim, construímos confiança e geramos impacto real para negócios e na vida das pessoas.

E o que você precisa ter?

• Sólido conhecimento em fundamentos e boas práticas de engenharia de software;
• Domínio em Python e PySpark;
• SQL avançado e experiência com motores de consulta distribuídos (Athena, Trino, Spark);
• Experiência prática com arquiteturas de processamento de dados em tempo real (Streaming);
• Frameworks de Big Data: Conhecimento prático em Spark, Apache Iceberg e Trino;
• Conhecimento em ambiente Linux;
• Domínio em AWS: Experiência robusta focada em sustentação e evolução de plataforma de dados;
• Segurança e Governança: Vivência com AWS IAM e AWS Lake Formation;
• Infraestrutura como Código & CI/CD: Conhecimento em Terraform e automação com GitHub Actions (CI/CD);
• Orquestração: Airflow / MWAA (Amazon Managed Workflows for Apache Airflow);
• Processamento e Catálogo: AWS Glue (Jobs, Metastore e Data Quality) e EMR.

Se você quer fazer parte deste desafio, essa é a sua chance! Nessa posição de Staff Data Engineer, você irá somar ao time de Data Platform Engineer, que tem como objetivo prover uma plataforma de dados confiável que permita a ingestão, transformação, exploração e governança de dados de forma simples e escalável para todo o Grupo OLX, visando proporcionar autonomia e confiabilidade no uso de dados para tomada de decisão e entrega de valor ao negócio.

No dia a dia você vai:

• Manter uma plataforma que possibilite a todos do Grupo armazenarem seus dados, transformarem e disponibilizá-los para consumo, entregando dados relevantes para outras equipes e/ou para o usuário final;
• Trabalhar sistemas altamente escaláveis, distribuídos, com alta disponibilidade, tolerante a falhas, com foco em processamento rápido e massivo;
• Utilizar tecnologias atuais e Open Source;
• Manter e desenvolver uma plataforma dados moderna.