Data Engineer Sênior

Avenue; Brasil; Remote; BRL 180,000 - 300,000; Full time

Job summary

A Avenue busca um Engenheiro de Dados Sênior para liderar a construção e evolução da nossa plataforma de dados, assegurando escalabilidade e confiabilidade para suportar produtos e análises.

Você atuará no design de pipelines ETL/ELT, governança de dados e colaboração com times de Engenharia, Analytics e Negócio, com foco em soluções técnicas de longo prazo e melhoria contínua do ecossistema de dados.

Qualifications

• Experiência sólida como Data Engineer atuando em ambientes modernos de dados.
• Domínio de Python para desenvolvimento de soluções de engenharia de dados.
• Experiência com modelagem de dados e construção de pipelines ETL/ELT.
• Conhecimento avançado em SQL e bancos de dados relacionais e analíticos.
• Experiência com plataformas de cloud computing, preferencialmente GCP.
• Vivência com processamento e orquestração de dados em larga escala.
• Conhecimento em versionamento de código, testes e boas práticas de engenharia de software.
• Capacidade de atuar com autonomia, colaborando com diferentes áreas e influenciando decisões técnicas.

Responsibilities

• Desenvolver, manter e evoluir pipelines de dados escaláveis e resilientes.
• Projetar e implementar soluções para ingestão, transformação e disponibilização de dados.
• Atuar na construção e evolução da arquitetura de dados da companhia.
• Garantir qualidade, governança, observabilidade e confiabilidade dos dados.
• Trabalhar em parceria com times de Engenharia, Produto, Analytics e Negócio para entender necessidades e transformar requisitos em soluções técnicas.
• Participar de discussões arquiteturais e decisões técnicas de longo prazo.
• Promover boas práticas de desenvolvimento, automação e DataOps.

Skills

Python

SQL

Modelagem de dados

ETL/ELT

Pipelines de dados

Nuvem (GCP)

Orquestração de dados

Testes & versionamento

Autonomia & colaboração

Tools

BigQuery

GCS

Dataform

dbt

Airflow

Dataproc

Unity Catalog

Dataplex

Pub/Sub

Job description

Sobre a vaga

Estamos em busca de uma pessoa Senior Data Engineer para nos ajudar a construir e evoluir nossa plataforma de dados, garantindo escalabilidade, confiabilidade e disponibilidade para suportar produtos, análises e iniciativas estratégicas do negócio. Procuramos alguém com forte capacidade técnica, visão de arquitetura e senso de dono, que goste de resolver problemas complexos e contribuir ativamente para a evolução do ecossistema de dados da Avenue.

No seu dia a dia, você terá como responsabilidade

• Desenvolver, manter e evoluir pipelines de dados escaláveis e resilientes;
• Projetar e implementar soluções para ingestão, transformação e disponibilização de dados;
• Atuar na construção e evolução da arquitetura de dados da companhia;
• Garantir qualidade, governança, observabilidade e confiabilidade dos dados;
• Trabalhar em parceria com times de Engenharia, Produto, Analytics e Negócio para entender necessidades e transformar requisitos em soluções técnicas;
• Participar de discussões arquiteturais e decisões técnicas de longo prazo;
• Promover boas práticas de desenvolvimento, automação e DataOps.

Requisitos Obrigatórios

Para se encaixar na posição, buscamos alguém com experiência e conhecimento nos seguintes pontos:

• Experiência sólida como Data Engineer atuando em ambientes modernos de dados;
• Domínio de Python para desenvolvimento de soluções de engenharia de dados;
• Experiência com modelagem de dados e construção de pipelines ETL/ELT;
• Conhecimento avançado em SQL e bancos de dados relacionais e analíticos;
• Experiência com plataformas de cloud computing, preferencialmente GCP;
• Vivência com processamento e orquestração de dados em larga escala;
• Conhecimento em versionamento de código, testes e boas práticas de engenharia de software;
• Capacidade de atuar com autonomia, colaborando com diferentes áreas e influenciando decisões técnicas.

Diferenciais

Não é obrigatório, mas seria incrível se você também possuir:

• Ecossistema GCP & Analytics Moderno:Forte vivência em soluções de dados noGoogle Cloud Platform (GCP), especialmenteBigQuery(modelagem dimensional seguindo conceitos Kimball, otimização de partições e clusters) eCloud Storage (GCS);
• Modelagem e Orquestração de Pipelines:Experiência prática comDataform (SQLX)oudbtpara construção de camadas de transformação (ELT), além deGoogle Cloud Composer (Apache Airflow)para orquestração de pipelines complexos;
• Processamento Distribuído & Lakehouse:Experiência comDatabricks(Unity Catalog, Workflows e PySpark) ouGCP Dataprocpara processamento de dados em larga escala;
• Mensageria e Streaming:Conhecimento em soluções de ingestão e processamento de eventos em tempo real, utilizando tecnologias comoGoogle Cloud Pub/Sub;
• Governança e Qualidade de Dados:Vivência com ferramentas de governança, catálogo e qualidade de dados, comoDataplex, Data CatalogouUnity Catalog;
• Otimização de Custos e Performance:Conhecimento de boas práticas para otimização de custos e performance em ambientes cloud, incluindo estratégias de armazenamento, particionamento, processamento e ingestão de dados.

Informações adicionais

Essa é uma vaga 100% home office para regime CLT.