Engenheiro de Dados SR

Magazine Luiza S/A; São Paulo; Hybrid; BRL 140,000 - 220,000; Full time

Benefits offered by this job

Adaptações de modelo de trabalho híbr)

Job summary

A Magazine Luiza S/A está buscando um Engenheiro de Dados para projetar, implementar e otimizar pipelines de dados que alimentam aplicações internas. Você trabalhará com BigQuery, SQL avançado e Python para transformar grandes volumes de dados em informações confiáveis.

O papel envolve colaboração com equipes, uso de Airflow, governança de dados, validação de qualidade e monitoramento de pipelines, com foco em desempenho e redução de custos.

Qualifications

• Experiência sólida em Engenharia de Dados e pipelines em produção.
• SQL avançado e experiência com Google BigQuery.
• Python para automação e processamento de dados.
• Experiência com ETL/ELT e reprocessamento de dados.

Responsibilities

• Desenvolver, manter e otimizar pipelines de dados para ingestão, processamento, transformação e disponibilização de informações.
• Construir e manter tabelas analíticas, estruturando dados de diferentes fontes para consumo por aplicações e sistemas internos.
• Implementar e manter fluxos de processamento com Airflow.
• Desenvolver scripts em Python para automação de rotinas e integração entre sistemas.
• Integrar diferentes fontes de dados garantindo consistência e qualidade.
• Aplicar validação, testes e monitoramento para identificar falhas e atrasos.
• Investigar e corrigir problemas de pipelines e divergências de dados.
• Otimizar consultas, particionamento, clusterização e reduzir custos computacionais.
• Contribuir para a evolução da arquitetura de dados e governança de ativos.

Skills

Engenharia de Dados

Pipelines de dados

SQL avançado

Google BigQuery

Python

Apache Airflow

Modelagem de dados

ETL/ELT

Git

Otimização de custos

Tools

Apache Airflow

Git

Job description

Descrição do Cargo

• Principais responsabilidades

  • Desenvolver, manter e otimizar pipelines de dados para ingestão, processamento, transformação e disponibilização de informações.
  • Desenvolver consultas e scripts SQL avançados para transformação, consolidação e processamento de grandes volumes de dados no Google BigQuery.
  • Construir e manter tabelas analíticas, estruturando dados de diferentes fontes para consumo por aplicações e sistemas internos.
  • Desenvolver processos automatizados de carga e atualização de dados, incluindo rotinas incrementais, cargas históricas e reprocessamentos.
  • Implementar e manter fluxos de processamento e dependências utilizando ferramentas de orquestração, como Apache Airflow.
  • Desenvolver scripts em Python para automação de rotinas, integração entre sistemas e processamento de dados.
  • Integrar diferentes fontes de dados, garantindo consistência, integridade e padronização das informações.
  • Implementar mecanismos de validação, testes e monitoramento para identificar falhas, inconsistências e atrasos no processamento.
  • Investigar e corrigir problemas relacionados à execução de pipelines, divergências de dados e falhas de integração.
  • Otimizar consultas, estruturas de tabelas e processos de processamento, buscando melhorar desempenho e reduzir custos computacionais.
  • Aplicar boas práticas de particionamento, clusterização, versionamento de código e organização dos ativos de dados.
  • Desenvolver documentação técnica dos pipelines, tabelas, regras de transformação e dependências entre processos.
  • Contribuir para a evolução da arquitetura de dados, identificando oportunidades de automação, padronização e melhoria contínua.
  • Garantir a confiabilidade e a disponibilidade dos dados utilizados pelos sistemas e processos da companhia.

• Requisitos técnicos

  • Experiência sólida em Engenharia de Dados e desenvolvimento de pipelines em ambientes produtivos.
  • Domínio de SQL avançado e experiência com Google BigQuery.
  • Experiência com Python aplicado à automação e ao processamento de dados.
  • Experiência com ferramentas de orquestração, preferencialmente Apache Airflow.
  • Conhecimento de modelagem de dados e estruturação de tabelas analíticas.
  • Experiência com processos ETL/ELT, cargas incrementais e reprocessamento de dados.
  • Conhecimento de otimização de consultas, particionamento, clusterização e controle de custos.
  • Experiência com versionamento de código utilizando Git.
  • Conhecimento de testes, validação, monitoramento e tratamento de falhas em pipelines.
  • Capacidade de investigar problemas técnicos e implementar soluções robustas e escaláveis.

• Diferenciais

  • Experiência com ambientes de dados em nuvem, especialmente Google Cloud Platform.
  • Conhecimento de integração de APIs e ingestão de dados de plataformas externas.
  • Experiência com grandes volumes de dados e processamento de eventos.
  • Conhecimento de práticas de CI/CD e DataOps.
  • Experiência com governança, catálogo e documentação de ativos de dados.

Modelo de Trabalho

Adotamos o modelo híbrido de trabalho

Se você busca um ambiente de crescimento e desafios, Vem ser feliz!

Nossos valores nos unem e nossas diferenças nos potencializam como um grupo. Mais do que igualdade, buscamos equidade: Aqui, temos espaço para sermos autênticos, independentemente de gênero, etnia, raça, orientação sexual, clero ou deficiência.