Pleno Data Engineer - Remote Pipelines & CI/CD

Bridge & Co.; United States; Teletrabalho; USD 100 000 - 150 000; Tempo integral

Resumo da oferta

Bridge & Co. busca Engenheiro(a) de Dados Pleno para construir e sustentar pipelines no Data Hub, desde ingestão até validação automatizada. Trabalho em modelo remoto, com foco em confiabilidade da base antes de dashboards e análises de negócio.

É preciso dominar Databricks (notebooks, Jobs, Delta), Python e PySpark, SQL avançado e ter experiência em pipelines de ingestão/normalização, testes de qualidade de dados, observabilidade, CI/CD e documentação técnica.

Qualificações

• Experiência com Databricks (notebooks, Jobs e Delta).
• Domínio de Python e PySpark para transformação de dados.
• SQL avançado para manipular grandes volumes de dados.
• Experiência em pipelines de ingestão e normalização de dados.
• Testes automatizados de qualidade de dados e observabilidade.
• Versionamento, CI/CD e documentação técnica.
• Autonomia técnica para entregar sem acompanhamento.

Responsabilidades

• Construir e sustentar pipelines de ingestão e normalização de dados no Databricks.
• Desenvolver rotinas de de/para e validação automatizada dos dados.
• Garantir a confiabilidade da base antes de painéis/visualizações.
• Criar testes automatizados de qualidade de dados e observabilidade.
• Lidar com dados inconsistentes e fontes instáveis mantendo pipelines estáveis.
• Refatorar pipelines e códigos legados quando necessário.
• Medir e comunicar ganhos de eficiência das iniciativas.
• Manter versionamento, CI/CD e documentação técnica atualizados.

Conhecimentos

Databricks

Python

PySpark

SQL

Data pipelines

Testes automatizados

Observabilidade

CI/CD

Documentação técnica

Autonomia

Ferramentas

Delta Lake

Descrição da oferta de emprego

Bridge & Co. busca Engenheiro(a) de Dados Pleno para construir e sustentar pipelines no Data Hub, desde ingestão até validação automatizada. Trabalho em modelo remoto, com foco em confiabilidade da base antes de dashboards e análises de negócio.

É preciso dominar Databricks (notebooks, Jobs, Delta), Python e PySpark, SQL avançado e ter experiência em pipelines de ingestão/normalização, testes de qualidade de dados, observabilidade, CI/CD e documentação técnica.