Especialista em Observabilidade de Dados

Grupo OLX

Brasil

Híbrido

BRL 180 000 - 260 000

Tempo integral

Há 9 dias

Gerador de candidaturas

Não envies um currículo genérico — gera um currículo e uma carta de apresentação adaptados a esta função específica.

Ultrapassa os filtros ATS

Vantagens oferecidas por esta oferta de emprego

Remuneração compatível com o mercado

Plano de Saúde

Plano Odontológico

Previdência Privada

Auxílio Home Office

Auxílio Mobilidade

Seguro de Vida

Licenças estendidas

Clube de vantagens

Auxílio alimentação

Resumo da oferta

Grupo OLX, empresa líder no setor de classificados online no Brasil, oferece oportunidade para Especialista em Observabilidade de Dados. Você fará parte do Time Data Observability, construindo sistemas de monitoramento, garantindo confiabilidade e qualidade dos pipelines e dados, com foco em melhoria contínua.

A posição envolve colaboração com Engenheiros de Dados, Analistas e Cientistas de Dados, uso de AWS e ferramentas de orquestração para manter alta disponibilidade dos dados.

Qualificações

Sólido conhecimento em fundamentos e boas práticas de engenharia de software.
Domínio em Python e PySpark.
SQL avançado e experiência com motores de consulta distribuídos (Athena, Presto, Trino).
Experiência prática com arquiteturas de processamento de dados em tempo real (Streaming).
Frameworks de Big Data: Spark, Hive e Presto.
Conhecimento em ambiente Linux.
Domínio em AWS: Experiência robusta focada em sustentação e evolução de plataforma de dados.
Segurança e Governança: Vivência com AWS IAM e AWS Lake Formation.
Infraestrutura como Código & CI/CD: Terraform e automação com GitHub Actions (CI/CD).
Orquestração: Airflow / MWAA (Amazon Managed Workflows for Apache Airflow).
Processamento e Catálogo: AWS Glue (Jobs, Metastore e Data Quality).

Responsabilidades

Criar processos proativos que garantam a chegada dos dados aos prazos e frequências acordados.
Desenvolver e automatizar testes de qualidade de dados para identificar nulos, duplicados ou anômalos.
Investigar a raiz de incidentes em pipelines e dados, reduzindo downtime.
Assegurar data lineage documentado e rastreabilidade de relatórios e produtos de dados.
Conduzir post-mortems e propor melhorias de arquitetura e playbooks.
Monitorar custos de processamento/armazenamento e sugerir otimizações.
Colaborar com Engenheiros de Dados, Analistas e Cientistas para contratos de dados e métricas de observabilidade.

Conhecimentos

Python

PySpark

SQL Avançado

Streaming

Big Data Frameworks

Linux

AWS

Data Governance

Infraestrutura como Código

Orquestração

Ferramentas

Spark

Hive

Presto/Trino

Airflow / MWAA

Terraform

GitHub Actions

AWS Glue

AWS IAM

Lake Formation

Descrição da oferta de emprego

Somos uma empresa 100% digital, com tecnologia desenvolvida localmente e líder no mercado de compra e venda online. Nos tornamos a marca que melhor representa a economia circular no país.

Hoje contamos com dois escritórios nas cidades de Rio de Janeiro e São Paulo. Nosso modelo de trabalho flexível oferece autonomia e liberdade para que nossas pessoas elaborem seus padrões e rotinas com disciplina e protagonismo na conexão com negócio, as prioridades e o propósito da empresa.

Construir um ambiente diverso, inclusivo e comprometido com a equidade faz parte do nosso DNA. Entendemos que diversidade, equidade e inclusão são essenciais para criarmos um ambiente seguro com entregas inovadoras e eficientes para nossas pessoas e sociedade.

Responsabilidades e atribuições

Se você quer fazer parte desse desafio, essa oportunidade é a sua chance. Nessa posição de Especialista em Observabilidade de Dados, você irá somar ao Time Data Observability, que tem como objetivo garantir a confiabilidade, qualidade e disponibilidade dos dados em toda a organização. Você será responsável por construir sistemas de monitoramento e alertas proativos que detectam e resolvem anomalias em nossos pipelines antes que elas impactem as decisões de negócio e nossos clientes.

No dia a dia você vai:

Criar processos proativos que acompanhem a execução dos pipelines orquestrados garantindo que os dados cheguem no prazo e na frequência acordados com as áreas de negócio;
Desenvolver e automatizar testes de qualidade de dados para identificar dados nulos, duplicados ou anômalos antes que cheguem aos usuários finais;
Atuar na Resolução de Incidentes, investigando a causa raiz de falhas nos pipelines ou anomalias nos dados, mitigando os problemas e reduzindo o tempo de inatividade;
Garantir que a rastreabilidade dos dados (data lineage) esteja documentada e funcional, facilitando o entendimento de quais relatórios e produtos de dados são impactados quando uma tabela ou uma rotina falha;
Conduzir reuniões de post-mortem após incidentes críticos, propondo melhorias na arquitetura e criando playbooks para acelerar a resolução de problemas futuros;
Monitorar os custos de processamento e armazenamento, identificando anomalias como queries ineficientes que disparam o faturamento ou uso excessivo de poder de processamento, sugerindo otimizações;
Atuar lado a lado com Engenheiros de Dados, Analistas e Cientistas de Dados para estabelecer contratos de dados e garantir que as novas peças técnicas e fontes de dados já nasçam com as métricas de observabilidade configuradas.

Requisitos e qualificações

E o que você precisa ter?

Sólido conhecimento em fundamentos e boas práticas de engenharia de software;
Domínio em Python e PySpark;
SQL avançado e experiência com motores de consulta distribuidos (Athena, Presto, Trino);
Experiência prática com arquiteturas de processamento de dados em tempo real (Streaming);
Frameworks de Big Data: Conhecimento prático em Spark, Hive e Presto;
Conhecimento em ambiente Linux;
Domínio em AWS: Experiência robusta focada em sustentação e evolução de plataforma de dados;
Segurança e Governança: Vivência com AWS IAM e AWS Lake Formation;
Infraestrutura como Código & CI/CD: Conhecimento em Terraform e automação com GitHub Actions (CI/CD);
Orquestração: Airflow / MWAA (Amazon Managed Workflows for Apache Airflow);
Processamento e Catálogo: AWS Glue (Jobs, Metastore e Data Quality).

Informações adicionais

Mais sobre o Grupo OLX:

No Brasil desde 2010, o Grupo OLX tem como propósito empoderar as pessoas para que alcancem seus sonhos, reinventando o modelo de consumo. Com a aquisição do Grupo ZAP, concluída em outubro de 2020, a companhia opera a OLX, plataforma horizontal com posição de liderança nas categorias de automóveis, bens de consumo usados e imóveis; e duas plataformas líderes do mercado imobiliário, ZAP e Viva Real.

Benefícios: