Engenheiro de Dados - SR

V8.TECH; Olinda; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa inovadora em Olinda busca um Data Engineer para desenvolver e otimizar pipelines de dados. O profissional será responsável pela ingestão e transformação de dados, garantindo eficiência e governança. Oferecemos trabalho remoto, horário flexível e benefícios competitivos.

Serviços

Cartão de Benefícios Flexíveis

Seguro de Vida

Plano de Saúde

PLR

Qualificações

• Experiência em engenharia de dados e automação de pipelines.
• Vivência com arquitetura de Data Lake, Data Vault e Data Marts.
• Familiaridade com versionamento e automação de deploy com Liquibase.

Responsabilidades

• Desenvolver, otimizar e monitorar pipelines de dados para ingestão e transformação.
• Criar e manter pipelines de ingestão do Oracle OLTP para o Lakehouse.
• Garantir segurança e compliance dos dados, implementando controles de acesso.

Conhecimentos

Engenharia de Dados

Automação de Pipelines

SQL Avançado

Integração de Dados

Ferramentas

Oracle GoldenGate

Apache Airflow

Data Vault

Data Mesh

Liquibase

RabbitMQ

Kafka

Azure Data Factory

Descrição da oferta de emprego

Estamos em busca de uma pessoa dedicada e com vontade de fazer a diferença para atuar na área de Dados. Se você ama tecnologia, gosta de desafios e acredita no poder da colaboração para alcançar grandes resultados, essa oportunidade é para você!

Responsabilidades e atribuições

O Data Engineer será responsável pelo desenvolvimento, otimização e manutenção de pipelines de dados, garantindo ingestão, transformação e exposição de dados eficientes e escaláveis no Lakehouse.

Atenderá três frentes dentro do projeto:

Equipe de Ingestão – Criará pipelines para captura de dados do OLTP Oracle transacional e ingestão para o Lakehouse via CDC (Change Data Capture), GoldenGate e Airflow.

Equipe do Lake – Implementará estratégias de transformação de dados, organização de camadas do Lakehouse, Data Vault e Data Mesh.

Equipe de Data Marts – Criará e otimizará modelos de dados e processos de exposição para analistas, relatórios, BI e Data Science.

Garantirá qualidade, rastreabilidade e governança nas pipelines, utilizando Liquibase para versionamento, DataOps para automação e monitoramento para auditoria.

Atuará lado a lado com DataOps Engineers, Analistas de Dados, DevSecOps e Engenharia de Plataforma, garantindo entregas seguras e eficientes.

Trabalhará diretamente com o time cliente para a materialização das esteiras de dados e conformidade com padrões arquiteturais.

Desenvolver, otimizar e monitorar pipelines de dados para ingestão, transformação e exposição no Lakehouse.

Criar e manter pipelines de ingestão do Oracle OLTP para o Lakehouse, garantindo baixa latência e alta disponibilidade.

Organizar e otimizar camadas do Data Lake, garantindo dados estruturados para múltiplos consumidores.

Implementar e otimizar estratégias de Data Vault e Data Mesh, garantindo governança e rastreabilidade.

Criar e otimizar Data Marts para consumo analítico, garantindo performance para BI e Data Science.

Garantir observabilidade e rastreabilidade dos dados, implementando logs, métricas e monitoramento contínuo.

Atuar junto ao time cliente para materializar as esteiras de dados, garantindo conformidade com padrões arquiteturais.

Garantir segurança e compliance dos dados, implementando controles de acesso, anonimização e auditoria.

Apoiar a otimização e escalabilidade do ambiente de dados, garantindo eficiência operacional e suporte a alto volume de dados.

Requisitos e qualificações

Experiência em engenharia de dados e automação de pipelines.

Experiência prática com ingestão de dados via CDC e GoldenGate.

Vivência com arquitetura de Data Lake, Data Vault e Data Marts.

Familiaridade com versionamento e automação de deploy com Liquibase.

Experiência com modelagem de dados e otimização de queries para análise e transações.

Capacidade de lidar com múltiplos consumidores de dados, garantindo eficiência operacional.

Conhecimento em mensageria e integração de dados via APIs e tópicos corporativos.

Ingestão de Dados: Oracle GoldenGate, CDC, Azure Data Factory, Apache Airflow

Transformação e Modelagem: SQL avançado, Apache Spark, Data Vault, Data Mesh.

Automação e Versionamento: Liquibase para versionamento de schema e DataOps para automação.

Exposição de Dados: APIs REST, RabbitMQ/Kafka para eventos, Data Marts para consumo analítico.

Monitoramento e Observabilidade: Azure Monitor, Prometheus, OpenTelemetry, Data Lineage

Informações Adicionais

Remuneração CLT compatível com o mercado;

Trabalho Remoto;

Horário de trabalho flexível: De acordo com área de atuação e política interna;

Flash - Cartão de Benefícios Flexíveis com todas as categorias habilitadas: Alimentação, Refeição, Mobilidade, Educação, Saúde e Cultura;

Seguro de Vida (Caixa Econômica);

Plano de Saúde (Porto Seguro);

PLR de acordo com a política da empresa;