Engenheiro(a) de Dados Pleno

Bridge & Co.; Brasil; Remote; BRL 120,000 - 180,000; Full time

Job summary

A Bridge & Co. está buscando um Engenheiro(a) de Dados Pleno para construir e sustentar pipelines de dados no Data Hub, desde ingestão até validação automatizada, assegurando a confiabilidade da base antes de análises.

A posição é remota, com atuação em Databricks, Python/PySpark e SQL avançado, preparando o data layer para visualizações e produtos de analytics pelas áreas de negócio.

Qualifications

• Experiência com Databricks, incluindo notebooks, Jobs e Delta.
• Domínio de Python e PySpark.
• SQL avançado.
• Experiência na construção e sustentação de pipelines de ingestão e normalização de dados.
• Experiência com testes automatizados de qualidade de dados e observabilidade.
• Experiência com versionamento, CI/CD e documentação técnica.
• Autonomia técnica para conduzir entregas sem acompanhamento constante.
• Disciplina com documentação e com estimativa de prazos.

Responsibilities

• Construir e sustentar pipelines de ingestão e tratamento de dados no Databricks.
• Desenvolver as rotinas de de/para e de validação automatizada dos dados.
• Garantir a confiabilidade da base de dados antes que seja consumida em produtos de analytics.
• Criar testes automatizados de qualidade de dados e estruturar a observabilidade dos pipelines.
• Lidar com dados inconsistentes e fontes instáveis, mantendo os pipelines funcionando de forma confiável.
• Refatorar pipelines e códigos legados sempre que necessário.
• Medir e comunicar os ganhos de eficiência de cada iniciativa.
• Manter versionamento, CI/CD e documentação técnica atualizados, além de estimar prazos.

Skills

Databricks notebooks/Jobs/Delta

Python

PySpark

SQL avançado

CI/CD

Observability

Data pipelines

Documentação

Tools

Git

CI/CD tooling

Job description

Que tal fazer parte do nosso time como Engenheiro(a) de Dados Pleno?

Sua missão será construir e sustentar os pipelines de dados do Data Hub, da ingestão à normalização, ao de/para e à validação automatizada, garantindo a confiabilidade da base antes que qualquer visualização chegue às áreas de negócio.

Essa é uma oportunidade no modelo remoto.

RESPONSABILIDADES E ATRIBUIÇÕES

Como Engenheiro(a) de Dados Pleno, você focará em:

• Construir e sustentar pipelines de ingestão e tratamento de dados no Databricks.
• Desenvolver as rotinas de de/para e de validação automatizada dos dados.
• Garantir a confiabilidade da base de dados antes que ela seja consumida em produtos de analytics pelas áreas de negócio.
• Criar testes automatizados de qualidade de dados e estruturar a observabilidade dos pipelines.
• Lidar com dados inconsistentes e fontes instáveis, mantendo os pipelines funcionando de forma confiável.
• Refatorar pipelines e códigos legados sempre que necessário.
• Medir e comunicar os ganhos de eficiência de cada iniciativa.
• Manter versionamento, CI/CD e documentação técnica atualizados, além de estimar prazos das entregas.

REQUISITOS E QUALIFICAÇÕES

Como requisitos básicos, buscamos:

• Experiência com Databricks, incluindo notebooks, Jobs e Delta.
• Domínio de Python & PySpark.
• SQL avançado.
• Experiência na construção e sustentação de pipelines de ingestão e normalização de dados.
• Experiência com testes automatizados de qualidade de dados e observabilidade.
• Experiência com versionamento, CI/CD e documentação técnica.
• Autonomia técnica para conduzir entregas sem acompanhamento constante.
• Disciplina com documentação e com estimativa de prazos.