Profissional Engenheiro(a) de Dados Sênior

Luby; Brasil; Teletrabalho; BRL 180 000 - 300 000; Tempo integral

Resumo da oferta

A Luby busca um(a) Engenheiro(a) de Dados Sênior para atuar no Google Cloud Platform, projetando, construindo e mantendo pipelines de dados escaláveis, integrando novas fontes aos padrões existentes e entregando dentro da infraestrutura e processo de mudança do cliente.

Você vai desenvolver modelos e consultas no BigQuery, construir transformações com dbt, gerenciar DAGs com Airflow, escrever código em Python para ingestão e conectores, além de garantir qualidade, lineage e documentação.

Qualificações

• Experiência com pipelines de dados em ambientes cloud (GCP).
• Conhecimento de modelagem dimensional e normalizada.
• Domínio de BigQuery, particionamento e clustering.
• Conhecimento de pipelines com dbt, testes e documentação.
• Experiência com orquestração de jobs (Airflow/Cloud Composer).
• Integração de dados via ETL/ELT e CI/CD.

Responsabilidades

• Desenvolver modelos e consultas no BigQuery com particionamento, clustering e modelos incrementais, otimizando performance e custo.
• Construir transformações modulares em dbt, com testes, documentação e metadados.
• Desenvolver e manter DAGs no Cloud Composer/Airflow, incluindo agendamento, dependências, retries e alertas.
• Escrever código de pipeline em Python para ingestão e desenvolvimento de conectores.
• Implementar diferentes padrões de ingestão e modelar dados em estruturas dimensionais e normalizadas.
• Garantir a qualidade dos dados e registrar metadados e lineage no Dataplex/Data Catalog.
• Atuar com Git e CI/CD, documentando runbooks como parte da entrega.

Conhecimentos

BigQuery

dbt

Python

Airflow

CI/CD

Data modeling

Ferramentas

Cloud Composer/Airflow

Dataplex/Data Catalog

Git

Descrição da oferta de emprego

A Luby busca um(a) Engenheiro(a) de Dados Sênior para atuar no Google Cloud Platform, projetando, construindo e mantendo pipelines de dados escaláveis. O profissional será responsável por desenvolver a ingestão, modelagem e garantia de qualidade dos dados de ponta a ponta, integrando novas fontes aos padrões existentes e entregando dentro da infraestrutura e processo de mudança do cliente, incluindo documentação e runbooks.

Responsabilidades

• Desenvolver modelos e consultas no BigQuery com particionamento, clustering e modelos incrementais, otimizando performance e custo.
• Construir transformações modulares em dbt, com testes, documentação e metadados.
• Desenvolver e manter DAGs no Cloud Composer/Airflow, incluindo agendamento, dependências, retries e alertas.
• Escrever código de pipeline em Python para ingestão e desenvolvimento de conectores.
• Implementar diferentes padrões de ingestão e modelar dados em estruturas dimensionais e normalizadas.
• Garantir a qualidade dos dados e registrar metadados e lineage no Dataplex/Data Catalog.
• Atuar com Git e CI/CD, documentando runbooks como parte da entrega.