Engenheiro de Dados - Sênior

BRQ; Brasil; Remote; BRL 180,000 - 240,000; Full time

Job summary

BRQ procura engenheiro(a) de dados para construir a fundação de dados com Databricks e PySpark. Você criará pipelines automatizados, organizará dados em camadas e assegurará logs, qualidade e governança.

Experiência com Databricks, PySpark e Python é essencial, assim como visão de arquitetura de data lake, orquestração e controle de acesso. Remoto com colaboração entre áreas e foco em escalabilidade sustentável.

Qualifications

• Experiência em engenharia de dados e desenvolvimento de pipelines.
• Experiência com Databricks e PySpark.
• Conhecimento de Python e Apache Spark.
• Conhecimento de arquitetura medalhão e organização de dados em camadas.
• Experiência com ingestão, persistência, transformação e disponibilização de dados.
• Conhecimento de orquestração, monitoramento, logs e tratamento de falhas em pipelines.
• Vivência com práticas de qualidade, validação e reconciliação de dados.
• Conhecimento de governança, controle de acesso e segurança de dados.

Responsibilities

• Desenvolver e automatizar a ingestão das fontes de dados mapeadas na plataforma Databricks.
• Persistir, processar e transformar dados com Python e PySpark.
• Organizar os dados em arquitetura medalhão, da camada bruta às camadas tratadas e prontas para consumo.
• Criar e manter pipelines orquestrados, monitorados e preparados para lidar com falhas e reprocessamentos.
• Implementar logs, alertas, validações de qualidade e reconciliações de dados.
• Contribuir para a governança de acesso, a segregação de ambientes e o tratamento adequado das informações.
• Assegurar a rastreabilidade entre as fontes, as transformações e os dados disponibilizados.
• Documentar fontes, layouts, regras, linhagem e procedimentos técnicos e operacionais.
• Identificar oportunidades para reutilizar fontes e dados comuns entre processos, evitando ingestões e tratamentos duplicados.
• Acompanhar a observabilidade e os custos da plataforma, apoiando sua evolução sustentável.
• Trabalhar com as áreas envolvidas para priorizar a expansão da solução conforme o valor para o negócio, a maturidade do mapeamento e as dependências técnicas.

Skills

Databricks

PySpark

Python

Data lakes/arquitetura em camadas

Ingestão de dados

Orquestração/monitoramento

Governança de dados

Documentação técnica

Tools

Delta Lake

Job description

Sobre a vaga

O projeto Databricks e MCCD tem como objetivo criar a fundação de dados. A iniciativa busca evoluir de uma execução predominantemente manual para pipelines automatizados, confiáveis e monitorados, usando Databricks para organizar e processar dados desde a ingestão das fontes até a disponibilização de informações e produtos de dados.

A arquitetura deverá permitir a expansão gradual para novos processos, com reutilização de fontes, conectores, regras e domínios de dados. O foco inicial é estabelecer uma base técnica segura, rastreável e sustentável, que não dependa do conhecimento individual para ser operada.

Principais responsabilidades

• Desenvolver e automatizar a ingestão das fontes de dados mapeadas na plataforma Databricks.
• Persistir, processar e transformar dados com Python e PySpark.
• Organizar os dados em arquitetura medalhão, da camada bruta às camadas tratadas e prontas para consumo.
• Criar e manter pipelines orquestrados, monitorados e preparados para lidar com falhas e reprocessamentos.
• Implementar logs, alertas, validações de qualidade e reconciliações de dados.
• Contribuir para a governança de acesso, a segregação de ambientes e o tratamento adequado das informações.
• Assegurar a rastreabilidade entre as fontes, as transformações e os dados disponibilizados.
• Documentar fontes, layouts, regras, linhagem e procedimentos técnicos e operacionais.
• Identificar oportunidades para reutilizar fontes e dados comuns entre processos, evitando ingestões e tratamentos duplicados.
• Acompanhar a observabilidade e os custos da plataforma, apoiando sua evolução sustentável.
• Trabalhar com as áreas envolvidas para priorizar a expansão da solução conforme o valor para o negócio, a maturidade do mapeamento e as dependências técnicas.

Requisitos

• Experiência em engenharia de dados e desenvolvimento de pipelines.
• Experiência com Databricks e PySpark.
• Conhecimento de Python e Apache Spark.
• Conhecimento de arquitetura medalhão e organização de dados em camadas.
• Experiência com ingestão, persistência, transformação e disponibilização de dados.
• Conhecimento de orquestração, monitoramento, logs e tratamento de falhas em pipelines.
• Vivência com práticas de qualidade, validação e reconciliação de dados.
• Conhecimento de governança, controle de acesso e segurança de dados.
• Capacidade de produzir documentação técnica e operacional clara.
• Experiência na construção ou evolução de data lakes ou plataformas analíticas em Databricks.
• Gestão de features
• Apresentações coorporativas
• Gestão de roadmap técnico

Diferenciais

• Familiaridade com Delta Lake e recursos relacionados do ecossistema Databricks.
• Experiência com observabilidade e otimização de custos em plataformas de dados.
• Familiaridade com práticas de CI/CD e gestão de ambientes de dados.

Cultura na BRQ

Chamamos de BRQ Way o nosso jeito de cuidar das pessoas, com iniciativas de carreira e desenvolvimento, saúde e bem-estar, e comunicação e conexão. Trabalhamos com flexibilidade de acordo com o contexto do projeto (anywhere office, híbrido ou presencial) e investimos em desenvolvimento contínuo com BRQ Academy, mentoria, incentivo a certificações e programas de idiomas, entre outras frentes.

Diversidade, inclusão e liberdade fazem parte do nosso dia a dia. Incentivamos a candidatura de pessoas com perfis, trajetórias e realidades diversas, além de contarmos com oportunidades afirmativas para pessoas com deficiência e mulheres. Também temos três Grupos de Afinidade, chamados de Roars, que criam espaços de troca e impulsionam iniciativas inclusivas na empresa. https://www.brq.com/carreiras/

Vaga c6effe

#LI-Remote

#LI-WL1