Engenheiro de Dados Sênior

VagasFloripa.com.br; Brasil; Remote; BRL 120,000 - 180,000; Full time

Job summary

A Rehva Tech busca um Engenheiro de Dados Sênior para liderar a construção da plataforma de dados, desde ingestão até disponibilização para áreas de negócio, Analytics e Ciência de Dados.

Você trabalhará com Python, SQL, Apache Airflow, Trino, Apache Iceberg, Amazon S3, PostgreSQL, Superset e Docker, mantendo qualidade, rastreabilidade e segurança em produção.

Responsibilities

• Desenvolver, manter e evoluir pipelines de ingestão, transformação e disponibilização de dados com Python, SQL e Airflow.
• Estruturar e otimizar tabelas e modelos de dados para atender às necessidades analíticas.
• Trabalhar com Data Lake, usando S3, Iceberg e Trino.
• Integrar dados de bancos relacionais, APIs e arquivos.
• Garantir disponibilidade de dados dentro do prazo, com qualidade e segurança.
• Impor validações, alertas, métricas e monitoramento de pipelines.
• Investigar problemas de dados e performance para prevenir recorrências.
• Apoiar analistas e cientistas de dados na definição de requisitos.

Skills

Python

SQL

Apache Airflow

Trino

Apache Iceberg

Amazon S3

PostgreSQL

Superset

Docker

Tools

Python

SQL

Job description

Estamos com oportunidade para Engenheiro de Dados Sênior na empresa Rehva Tech.

Descrição da vaga:

Buscamos uma Pessoa Engenheira de Dados para fazer parte do time responsável por transformar dados de diferentes fontes em informações acessíveis, consistentes e úteis.

O time de Engenharia de Dados é responsável por viabilizar qualquer análise e tomada de decisão no tempo adequado, provendo dados corretos e confiáveis de maneira segura.

Nesta posição, você atuará na construção e evolução da nossa plataforma de dados, desde a ingestão e transformação até a disponibilização para áreas de negócio, Analytics e Ciência de Dados. Procuramos alguém que combine conhecimento técnico, visão de negócio, senso de responsabilidade sobre o ambiente de produção e vontade de melhorar continuamente a forma como trabalhamos com dados.

Nossa stack é baseada principalmente em Python, SQL, Apache Airflow, Trino, Apache Iceberg, Amazon S3, PostgreSQL e Superset, além de Docker, ferramentas de monitoramento e práticas de integração e entrega contínuas

Responsabilidades e Atribuições / Requisitos e Qualificações:

• -Desenvolver, manter e evoluir pipelines de ingestão, transformação e disponibilização de dados utilizando Python, SQL e Apache Airflow;
• -Estruturar e otimizar tabelas, modelos de dados para atender às necessidades analíticas e operacionais da empresa;
• -Trabalhar com nosso Data Lake, utilizando tecnologias como Amazon S3, Apache Iceberg e Trino;
• -Integrar dados provenientes de bancos relacionais, APIs, arquivos e outros sistemas internos e externos;
• -Garantir que os dados sejam disponibilizados dentro do prazo necessário, com qualidade, consistência, rastreabilidade e segurança;
• -Implementar validações, alertas, métricas e mecanismos de monitoramento para identificar falhas e atrasos nos pipelines;
• -Investigar e corrigir problemas de dados e de performance, atuando na causa raiz e prevenindo recorrências;
• -Apoiar analistas, cientistas de dados e áreas de negócio na definição de requisitos e na construção de soluções adequadas para cada necessidade;
• -Contribuir para a evolução da arquitetura, da governança e das práticas de controle de acesso aos dados;
• -Criar e manter documentação técnica sobre pipelines, tabelas, regras de negócio e decisões de arquitetura;
• -Desenvolver código legível, testável e sustentável, participando de revisões de código e compartilhando conhecimento com o time;
• -Buscar continuamente oportunidades de automação, simplificação e redução do tempo entre uma necessidade de negócio e a disponibilização dos dados;
• -Acompanhar as soluções em produção e assumir responsabilidade pela confiabilidade dos produtos de dados sob sua atuação.