Engenheiro(a) de Dados Sênior

Grupo Panvel | Corporativo; Eldorado do Sul; Hybrid; BRL 180,000 - 240,000; Full time

Benefits offered by this job

Refeitório no local

TotalPass

Plano de Saúde & Odonto

Transporte Fretado

Descontos exclusivos na Panvel

Job summary

A Grupo Panvel, líder no varejo farmacêutico, busca Engenheiro(a) de Dados Senior para atuar em implantação de pipelines e governança de dados. O candidato trabalhará com Databricks, Delta Lake e Unity Catalog, contribuindo para decisões de arquitetura e qualidade de dados.

O papel requer atuação híbrida (presencial em Eldorado do Sul/RS com possibilidade de ajuste) e colaboração com times de BI, ciência de dados e negócios para disponibilizar dados confiáveis e bem documentados.

Qualifications

• Experiência com pipelines de dados batch e streaming.
• Domínio Databricks (Spark/Delta Lake/Unity Catalog).
• Arquitetura de dados (lakehouse, modelagem e trade-offs).
• Infra como código com Terraform.
• CI/CD com GitLab (pipelines e MR).
• Python e SQL avançados, otimização de queries.
• Experiência em cloud (AWS) como infraestrutura subjacente.

Responsibilities

• Desenhar, construir e manter pipelines de dados no Databricks.
• Contribuir para decisões de arquitetura de dados com visão de longo prazo.
• Provisionar infraestrutura de dados como código (Terraform).
• Evoluir CI/CD no GitLab com pipelines de deploy e testes.
• Modelar e catalogar dados seguindo a arquitetura medallion.
• Garantir qualidade e observabilidade de pipelines em produção.
• Explorar IA para acelerar tarefas de engenharia, geração e revisão de código.
• Revisar Merge Requests e disseminar boas práticas de engenharia de dados.
• Colaborar com BI e ciência de dados para dados confiáveis.

Skills

Pipelines de dados

Databricks (Spark)

Delta Lake

Unity Catalog

Terraform

GitLab CI/CD

Python

SQL

Cloud AWS

Education

Engenharia/ Ciência da Computação ou áreas correlatas

Tools

Databricks

GitLab

Terraform

Job description

Job description

Você quer fazer parte de um grande time em uma empresa que não para de crescer?

Se você está dentro dos requisitos abaixo, venha participar do nosso processo seletivo para Engenheiro(a) de Dados Senior. Vamos adorar te conhecer!

Main responsibilities

• Desenhar, construir e manter pipelines de dados (ETL/ELT) no Databricks (Spark, Delta Lake, Workflows);
• Contribuir para decisões de arquitetura de dados (lakehouse, modelagem medallion, padrões de integração) com visão de médio e longo prazo;
• Provisionar e versionar infraestrutura de dados como código (Terraform);
• Evoluir esteiras de CI/CD no GitLab (pipelines de deploy, testes automatizados, qualidade de código);
• Modelar e catalogar dados seguindo a arquitetura medallion (bronze/silver/gold) e o Unity Catalog;
• Garantir qualidade e confiabilidade dos dados (testes, validações, observabilidade de pipelines em produção);
• Explorar a IA como facilitadora do time, com agentes e skills que aceleram tarefas recorrentes de engenharia, geração e revisão de código e documentação;
• Revisar código de outros engenheiros (Merge Requests) e disseminar boas práticas de engenharia de dados;
• Colaborar com as áreas de negócio, BI e Ciência de Dados para disponibilizar dados confiáveis e bem documentados.

Requirements and skills

• Sólida experiência em engenharia de dados, com pipelines batch (e, idealmente, streaming/structured streaming);
• Experiência com Databricks: Spark (PySpark/SQL), Delta Lake, Workflows/Jobs e Unity Catalog;
• Experiência com arquitetura de dados (lakehouse/data lake em escala, decisões de design e trade-offs);
• Terraform ou outra ferramenta de infraestrutura como código;
• CI/CD com GitLab (pipelines, MRs, deploys automatizados);
• Python e SQL avançados (queries complexas, otimização, modelagem dimensional);
• Experiência em cloud (AWS ou equivalente) como infraestrutura subjacente;
• Formação em Engenharia, Ciência da Computação ou áreas correlatas.

Diferenciais:

• Uso de ferramentas de IA aplicadas ao dia a dia de engenharia (copilots, agentes, automação de tarefas do time);
• Certificações Databricks (Data Engineer Associate/Professional);
• Pós-graduação ou especialização em dados ou engenharia de software;
• Vivência em consultoria de dados/analytics e/ou em empresas de varejo ou farma;
• Inglês técnico para leitura de documentação.

Additional information

• Modelo de trabalho: Híbrido (Presencial\Remoto)
• Disponibilidade para atuar em Eldorado do Sul/RS
• Refeitório no local;
• TotalPass;
• Plano de Saúde & Odonto (via cooperativa);
• Transporte Fretado;
• Descontos exclusivos na Panvel;