Staff Data Engineer - Data Platform

Grupo OLX; Ituiutaba; On-site; BRL 200,000 - 360,000; Full time

Job summary

O Grupo OLX procura um Staff Data Engineer para integrar o time de Data Platform. Você irá atuar na manutenção e evolução de uma plataforma de dados confiável, possibilitando ingestão, transformação, exploração e governança de dados para o grupo OLX, com foco em autonomia e confiabilidade no uso de dados para decisões de negócios.

O candidato ideal possui forte experiência em Python/PySpark, Spark, Iceberg, Trino, AWS, IaC (Terraform) e orquestração com Airflow, além de conhecimento em Glue/EMR

Qualifications

• Conhecimento sólido em fundamentos e boas práticas de engenharia de software.
• Domínio em Python e PySpark.
• SQL avançado com engines distribuídos (Athena, Trino, Spark).
• Experiência prática com arquiteturas de processamento de dados em tempo real (Streaming).
• Frameworks de Big Data: Spark, Apache Iceberg e Trino.
• Conhecimento em ambiente Linux.
• Domínio em AWS com foco em sustentação e evolução de plataformas de dados.
• Segurança e Governança: AWS IAM e AWS Lake Formation.
• Infraestrutura como Código & CI/CD: Terraform e GitHub Actions.
• Orquestração: Airflow/MWAA.
• Processamento e Catálogo: AWS Glue e EMR.

Responsibilities

• Manter e evoluir uma plataforma de dados confiável para ingestão, transformação e governança dos dados do grupo OLX.
• Trabalhar em sistemas distribuídos, escaláveis, com alta disponibilidade e tolerância a falhas.
• Utilizar tecnologias Open Source e modernas para processamento de dados em volume massivo.

Skills

Python/PySpark

SQL avançado

Streaming

Big Data ecosystems

Linux

AWS

IAM/Lake Formation

Terraform

GitHub Actions

Airflow/MWAA

AWS Glue/EMR

Tools

AWS

AWS IAM

Terraform

GitHub Actions

Airflow/MWAA

AWS Lake Formation

AWS Glue

EMR

Linux

Job description

Somos o Grupo OLX, um marketplace de classificados 100% digital que conecta mais de 70 milhões de pessoas.

Líder na compra e venda de autos, imóveis e bens de consumo, nosso ecossistema diversificado oferece uma plataforma inovadora para negócios e consumo consciente.

São mais de 500 mil anúncios publicados diariamente e 70 milhões de visitas em nossas plataformas (OLX, VivaReal e Zap Imóveis) por mês. Com tecnologia desenvolvida no Brasil, democratizamos o acesso ao comércio para todos, contribuindo positivamente para a economia.

Ao trabalhar na OLX, você fará parte de uma cultura de alta performance, com os melhores talentos. Pensamos grande e olhamos sempre para o futuro, para liderar nossos mercados. Assim, construímos confiança e geramos impacto real para negócios e na vida das pessoas.

E o que você precisa ter?

• Sólido conhecimento em fundamentos e boas práticas de engenharia de software;
• Domínio em Python e PySpark;
• SQL avançado e experiência com motores de consulta distribuídos (Athena, Trino, Spark);
• Experiência prática com arquiteturas de processamento de dados em tempo real (Streaming);
• Frameworks de Big Data: Conhecimento prático em Spark, Apache Iceberg e Trino;
• Conhecimento em ambiente Linux;
• Domínio em AWS: Experiência robusta focada em sustentação e evolução de plataforma de dados;
• Segurança e Governança: Vivência com AWS IAM e AWS Lake Formation;
• Infraestrutura como Código & CI/CD: Conhecimento em Terraform e automação com GitHub Actions (CI/CD);
• Orquestração: Airflow / MWAA (Amazon Managed Workflows for Apache Airflow);
• Processamento e Catálogo: AWS Glue (Jobs, Metastore e Data Quality) e EMR.

Se você quer fazer parte desse desafio, essa é a sua chance! Nessa posição de Staff Data Engineer, você irá somar ao time de Data Platform, que tem como objetivo prover uma plataforma de dados confiável que permita a ingestão, transformação, exploração e governança de dados de forma simples e escalável para todo o grupo OLX, visando proporcionar autonomia e confiabilidade no uso de dados para tomada de decisão e entrega de valor ao negócio.

No dia a dia você vai:

• Manter uma plataforma que possibilite a todos do Grupo armazenarem seus dados, transformarem e disponibilizá-los para consumo, entregando dados relevantes para outras equipes e/ou para o usuário final;
• Trabalhar sistemas altamente escaláveis, distribuídos, com alta disponibilidade, tolerante a falhas, com foco em processamento rápido e massivo;
• Utilizar tecnologias atuais e Open Source;
• Manter e desenvolver uma plataforma dados moderna.

Criar um alerta de emprego para esta pesquisa