Data Engineer Sênior

Avenue; Brasil; Remote; BRL 180,000 - 320,000; Full time

Benefits offered by this job

Home office

CLT regime

Job summary

A Avenue está recrutando um(a) Senior Data Engineer para construir e evoluir nossa plataforma de dados, assegurando escalabilidade, confiabilidade e disponibilidade para suportar produtos, análises e iniciativas estratégicas.

Você atuará com Python, SQL e pipelines ETL/ELT em ambiente de cloud, preferencialmente GCP, contribuindo com a arquitetura de dados, governança e qualidade, além de colaborar com Engenharia, Analytics e Negócio. Regime 100% home office no Brasil, CLT.

Qualifications

• Experiência sólida como Data Engineer em ambientes modernos de dados.
• Domínio de Python para desenvolvimento de soluções de engenharia de dados.
• Experiência com modelagem de dados e construção de pipelines ETL/ELT.
• Conhecimento avançado em SQL e bancos de dados relacionais e analíticos.
• Experiência com plataformas de cloud computing, preferencialmente GCP.
• Vivência com processamento e orquestração de dados em larga escala.
• Conhecimento em versionamento de código, testes e boas práticas de engenharia de software.
• Capacidade de atuar com autonomia, colaborando com diferentes áreas e influenciando decisões técnicas.

Responsibilities

• Desenvolver, manter e evoluir pipelines de dados escaláveis e resilientes.
• Projetar e implementar soluções para ingestão, transformação e disponibilização de dados.
• Atuar na construção e evolução da arquitetura de dados da companhia.
• Garantir qualidade, governança, observabilidade e confiabilidade dos dados.
• Trabalhar em parceria com times de Engenharia, Produto, Analytics e Negócio para entender necessidades e transformar requisitos em soluções técnicas.
• Participar de discussões arquiteturais e decisões técnicas de longo prazo.
• Promover boas práticas de desenvolvimento, automação e DataOps.

Skills

Python

SQL

ETL/ELT

Data modeling

Data pipelines

Cloud (GCP)

Airflow

Data governance

Testing

Autonomia

Tools

BigQuery

Cloud Storage (GCS)

dbt

Dataform

Airflow

Dataproc

Pub/Sub

Dataplex

Unity Catalog

Job description

Sobre a vaga

Estamos em busca de uma pessoa Senior Data Engineer para nos ajudar a construir e evoluir nossa plataforma de dados, garantindo escalabilidade, confiabilidade e disponibilidade para suportar produtos, análises e iniciativas estratégicas do negócio. Procuramos alguém com forte capacidade técnica, visão de arquitetura e senso de dono, que goste de resolver problemas complexos e contribuir ativamente para a evolução do ecossistema de dados da Avenue.

Estamos em busca de uma pessoa Senior Data Engineer para nos ajudar a construir e evoluir nossa plataforma de dados, garantindo escalabilidade, confiabilidade e disponibilidade para suportar produtos, análises e iniciativas estratégicas do negócio. Procuramos alguém com forte capacidade técnica, visão de arquitetura e senso de dono, que goste de resolver problemas complexos e contribuir ativamente para a evolução do ecossistema de dados da Avenue.

No seu dia a dia, você terá como responsabilidade

• Desenvolver, manter e evoluir pipelines de dados escaláveis e resilientes;
• Projetar e implementar soluções para ingestão, transformação e disponibilização de dados;
• Atuar na construção e evolução da arquitetura de dados da companhia;
• Garantir qualidade, governança, observabilidade e confiabilidade dos dados;
• Trabalhar em parceria com times de Engenharia, Produto, Analytics e Negócio para entender necessidades e transformar requisitos em soluções técnicas;
• Participar de discussões arquiteturais e decisões técnicas de longo prazo;
• Promover boas práticas de desenvolvimento, automação e DataOps.

Requisitos Obrigatórios

Para se encaixar na posição, buscamos alguém com experiência e conhecimento nos seguintes pontos:

• Experiência sólida como Data Engineer atuando em ambientes modernos de dados;
• Domínio de Python para desenvolvimento de soluções de engenharia de dados;
• Experiência com modelagem de dados e construção de pipelines ETL/ELT;
• Conhecimento avançado em SQL e bancos de dados relacionais e analíticos;
• Experiência com plataformas de cloud computing, preferencialmente GCP;
• Vivência com processamento e orquestração de dados em larga escala;
• Conhecimento em versionamento de código, testes e boas práticas de engenharia de software;
• Capacidade de atuar com autonomia, colaborando com diferentes áreas e influenciando decisões técnicas.

Diferenciais

Não é obrigatório, mas seria incrível se você também possuir:

• Ecossistema GCP & Analytics Moderno: Forte vivência em soluções de dados no Google Cloud Platform (GCP), especialmente BigQuery (modelagem dimensional seguindo conceitos Kimball, otimização de partições e clusters) e Cloud Storage (GCS);
• Modelagem e Orquestração de Pipelines: Experiência prática com Dataform (SQLX) ou dbt para construção de camadas de transformação (ELT), além de Google Cloud Composer (Apache Airflow) para orquestração de pipelines complexos;
• Processamento Distribuído & Lakehouse: Experiência com Databricks (Unity Catalog, Workflows e PySpark) ou GCP Dataproc para processamento de dados em larga escala;
• Mensageria e Streaming: Conhecimento em soluções de ingestão e processamento de eventos em tempo real, utilizando tecnologias como Google Cloud Pub/Sub;
• Governança e Qualidade de Dados: Vivência com ferramentas de governança, catálogo e qualidade de dados, como Dataplex, Data Catalog ou Unity Catalog;
• Otimização de Custos e Performance: Conhecimento de boas práticas para otimização de custos e performance em ambientes cloud, incluindo estratégias de armazenamento, particionamento, processamento e ingestão de dados.

Informações adicionais

Essa é uma vaga 100% home office para regime CLT.