Analista de Dados Pleno

Edenred; São Paulo; On-site; BRL 90,000 - 150,000; Full time

Benefits offered by this job

Ticket Restaurante

Ticket Alimentação

Assistência Médica e Odontológica

Ticket Transporte

Seguro de Vida

Plataforma exclusiva para o desarrollo

Gympass

Conte Comigo

Day Off

Auxílio Home Office

Cartão Presente Perfeito (aniversário)

Job summary

A Edenred está buscando um Engenheiro de Dados Pleno para desenhar, desenvolver e operar pipelines de dados robustos em um ambiente híbrido. O papel envolve construir soluções de ingestão, processamento e disponibilização de dados para BI e produtos internos, com foco em qualidade, performance e governança.

Você trabalhará próximo de times de produto e negócio, contribuindo para a evolução da arquitetura de dados, com ênfase em LGPD, segurança e automação de deploy.

Qualifications

• Experiência prévia em engenharia de dados ou desenvolvimento back-end com foco em processamento de dados.
• Vivência prática com Apache Spark, Python e SQL em ambientes distribuídos.
• Experiência com bancos relacionais, data warehouses e integração de dados a partir de diferentes fontes.
• Conhecimento em ferramentas de orquestração como Azure Data Factory, Airflow, Prefect ou similares.
• Experiência em projetos em cloud, especialmente Azure, e atuação em ambientes produtivos com alta disponibilidade.
• Familiaridade com CI/CD, versionamento com Git e qualidade/observabilidade de pipelines.
• Conhecimento em modelagem de dados dimensional e normalizada.

Responsibilities

• Projetar e implementar pipelines de ETL/ELT em batch e streaming para ingestão, transformação e disponibilização de dados.
• Desenvolver soluções de back-end para processamento de dados em larga escala utilizando Spark, SQL e Python.
• Construir e manter estruturas de data lake / data lakehouse, modelos de dados e camadas de consumo.
• Otimizar performance de jobs e queries, incluindo tuning de Spark, SQL e clusters.
• Implementar práticas de qualidade de dados, como validações, testes automatizados, monitoramento e alertas.
• Integrar diferentes fontes de dados, como bancos relacionais, APIs, arquivos, mensageria e, quando aplicável, dados oriundos de Oracle ERP.
• Orquestrar pipelines utilizando ferramentas como Azure Data Factory ou similares.
• Atuar em parceria com analistas e times de produto para traduzir necessidades de negócio em soluções técnicas.
• Garantir segurança, compliance e boas práticas de governança de dados, considerando requisitos como LGPD, gestão de acessos e criptografia.
• Apoiar automações de deploy e operação com práticas de DevOps / CI-CD, além de documentação e participação em definições de arquitetura e governança.

Skills

Engenharia de dados

Spark

Python

SQL

Modelagem de dados

Data warehouses

Orquestração de dados

Azure Data Factory

Airflow

Prefect

CI/CD

Git

Tools

Azure Data Factory

Airflow

Prefect

Job description

Take a step forward and let Edenred surprise you. Every day, we deliver innovative solutions to improve the life of millions of people, connecting employees, companies, and merchants all around the world. We know there are hundred ways for you to grow. With us, you will expand your skills in a multicultural, challenging, and dynamic environment. Dare to join Edenred and get ready to thrive in a global company that will offer you endless opportunities. Edenred is all about meritocracy. You come as you are, and you contribute. Indeed, the Edenred Group recognizes, recruits and develops all talents and singularities. We are committed to preventing all forms of discrimination and to providing all our candidates with equal opportunities regardless of their gender and gender expression, disability, origin, religious belief and sexual orientation or any other criteria.

SOBRE A VAGA:

Buscamos uma pessoa para atuar como Engenheiro(a) de Dados Pleno, sendo responsável por projetar, desenvolver e operar pipelines de dados robustos e escaláveis, que suportem tanto necessidades analíticas quanto operacionais da companhia. Essa posição terá papel importante na construção de soluções de ingestão, processamento e disponibilização de dados para BI e produtos internos, garantindo qualidade, performance, segurança e governança. É uma oportunidade para atuar em um ambiente com forte interação com times de produto e negócio, contribuindo para evolução da arquitetura de dados e sustentação de ambientes em produção. Experiência com Databricks será considerada um diferencial.

PRINCIPAIS RESPONSABILIDADES:

• Projetar e implementar pipelines de ETL/ELT em batch e streaming para ingestão, transformação e disponibilização de dados.
• Desenvolver soluções de back-end para processamento de dados em larga escala utilizando Spark, SQL e Python.
• Construir e manter estruturas de data lake / data lakehouse, modelos de dados e camadas de consumo.
• Otimizar performance de jobs e queries, incluindo tuning de Spark, SQL e clusters.
• Implementar práticas de qualidade de dados, como validações, testes automatizados, monitoramento e alertas.
• Integrar diferentes fontes de dados, como bancos relacionais, APIs, arquivos, mensageria e, quando aplicável, dados oriundos de Oracle ERP.
• Orquestrar pipelines utilizando ferramentas como Azure Data Factory ou similares.
• Atuar em parceria com analistas e times de produto para traduzir necessidades de negócio em soluções técnicas.
• Garantir segurança, compliance e boas práticas de governança de dados, considerando requisitos como LGPD, gestão de acessos e criptografia.
• Apoiar automações de deploy e operação com práticas de DevOps / CI-CD, além de documentação e participação em definições de arquitetura e governança.

O QUE BUSCAMOS:

• Experiência prévia em engenharia de dados ou desenvolvimento back-end com foco em processamento de dados.
• Vivência prática com Apache Spark, Python e SQL em ambientes distribuídos.
• Experiência com bancos relacionais, data warehouses e integração de dados a partir de diferentes fontes.
• Conhecimento em ferramentas de orquestração como Azure Data Factory, Airflow, Prefect ou similares.
• Experiência em projetos em cloud, especialmente Azure, e atuação em ambientes produtivos com alta disponibilidade.
• Familiaridade com práticas de CI/CD, versionamento com Git e qualidade/observabilidade de pipelines.
• Conhecimento em modelagem de dados dimensional e normalizada.

DIFERENCIAIS:

• Experiência com Databricks, especialmente com Workspace, Jobs e Delta Lake.
• Conhecimento em integração com Oracle ERP e entendimento de processos financeiros/contábeis.
• Vivência com mensageria e streaming, como Kafka.
• Conhecimento em observabilidade, segurança e governança de dados, incluindo ferramentas como Prometheus, Grafana ou Datadog.
• Experiência com infraestrutura como código, como Terraform.

INFORMAÇÕES COMPLEMENTARES:

• Local de Trabalho: Pinheiros, São Paulo-SP
• Modelo de Trabalho: Híbrido - 2x por semana presencial
• Conheça um pouco dos benefícios que oferecemos para cuidar do que mais importa: você!
• Ticket Restaurante e Ticket Alimentação
• Assistência Médica e Odontológica
• Ticket Transporte
• Seguro de Vida
• Plataforma exclusiva para o desenvolvimento de idiomas
• Programas de saúde e bem-estar: Gympass, Conte Comigo e muito mais
• Cartão Presente Perfeito (aniversário) + Day Off
• Auxílio Home Office (a depender do modelo de trabalho)
• E muito mais!