Engenheiro de Dados - SR

Todos os direitos reservados; São Paulo; Teletrabalho; BRL 70.000 - 110.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está em busca de um Engenheiro de Dados apaixonado por tecnologia e desafios. Nesta função, você será responsável por desenvolver, otimizar e manter pipelines de dados eficientes no Lakehouse, garantindo a ingestão e transformação de dados de forma escalável. Trabalhará em colaboração com equipes multidisciplinares, implementando estratégias de Data Vault e Data Mesh, e assegurando a qualidade e governança dos dados. Se você deseja fazer parte de uma equipe dinâmica e contribuir para a transformação digital de diversos setores, esta é a oportunidade ideal para você!

Serviços

Remuneração CLT compatível com o mercado

Trabalho Remoto

Horário de trabalho flexível

Cartão de Benefícios Flexíveis

Seguro de Vida

Plano de Saúde

PLR

Zero dress code

Voucher no dia do aniversário

Parceria com escola de inglês

Qualificações

• Experiência em engenharia de dados e automação de pipelines.
• Familiaridade com versionamento e automação de deploy com Liquibase.
• Capacidade de lidar com múltiplos consumidores de dados.

Responsabilidades

• Desenvolver e otimizar pipelines de dados para ingestão e transformação.
• Garantir qualidade e governança nas pipelines de dados.
• Trabalhar em colaboração com equipes de DataOps e DevSecOps.

Conhecimentos

Engenharia de Dados

Automação de Pipelines

Ingestão de Dados via CDC

GoldenGate

Data Lake

Data Vault

Data Marts

SQL Avançado

Apache Airflow

Liquibase

Formação académica

Graduação em Ciência da Computação ou áreas relacionadas

Ferramentas

Oracle

Azure Data Factory

Apache Spark

RabbitMQ

Kafka

Azure Monitor

Prometheus

OpenTelemetry

Descrição da oferta de emprego

Estamos em busca de uma pessoa dedicada e com vontade de fazer a diferença para atuar na área de Dados. Se você ama tecnologia, gosta de desafios e acredita no poder da colaboração para alcançar grandes resultados, essa oportunidade é para você!

Responsabilidades e atribuições

• O Data Engineer será responsável pelo desenvolvimento, otimização e manutenção de pipelines de dados, garantindo ingestão, transformação e exposição de dados eficientes e escaláveis no Lakehouse.
• Atenderá três frentes dentro do projeto:
• Equipe de Ingestão – Criará pipelines para captura de dados do OLTP Oracle transacional e ingestão para o Lakehouse via CDC (Change Data Capture), GoldenGate e Airflow.
• Equipe do Lake – Implementará estratégias de transformação de dados, organização de camadas do Lakehouse, Data Vault e Data Mesh.
• Equipe de Data Marts – Criará e otimizará modelos de dados e processos de exposição para analistas, relatórios, BI e Data Science.
• Garantirá qualidade, rastreabilidade e governança nas pipelines, utilizando Liquibase para versionamento, DataOps para automação e monitoramento para auditoria.
• Atuará lado a lado com DataOps Engineers, Analistas de Dados, DevSecOps e Engenharia de Plataforma, garantindo entregas seguras e eficientes.
• Trabalhará diretamente com o time cliente para a materialização das esteiras de dados e conformidade com padrões arquiteturais.
• Desenvolver, otimizar e monitorar pipelines de dados para ingestão, transformação e exposição no Lakehouse.
• Criar e manter pipelines de ingestão do Oracle OLTP para o Lakehouse, garantindo baixa latência e alta disponibilidade.
• Organizar e otimizar camadas do Data Lake, garantindo dados estruturados para múltiplos consumidores.
• Implementar e otimizar estratégias de Data Vault e Data Mesh, garantindo governança e rastreabilidade.
• Criar e otimizar Data Marts para consumo analítico, garantindo performance para BI e Data Science.
• Garantir observabilidade e rastreabilidade dos dados, implementando logs, métricas e monitoramento contínuo.
• Atuar junto ao time cliente para materializar as esteiras de dados, garantindo conformidade com padrões arquiteturais.
• Garantir segurança e compliance dos dados, implementando controles de acesso, anonimização e auditoria.
• Apoiar a otimização e escalabilidade do ambiente de dados, garantindo eficiência operacional e suporte a alto volume de dados.

Requisitos e qualificações

• Experiência em engenharia de dados e automação de pipelines.
• Experiência prática com ingestão de dados via CDC e GoldenGate.
• Vivência com arquitetura de Data Lake, Data Vault e Data Marts.
• Familiaridade com versionamento e automação de deploy com Liquibase.
• Experiência com modelagem de dados e otimização de queries para análise e transações.
• Capacidade de lidar com múltiplos consumidores de dados, garantindo eficiência operacional.
• Conhecimento em mensageria e integração de dados via APIs e tópicos corporativos.
• Ingestão de Dados: Oracle GoldenGate, CDC, Azure Data Factory, Apache Airflow.
• Transformação e Modelagem: SQL avançado, Apache Spark, Data Vault, Data Mesh.
• Automação e Versionamento: Liquibase para versionamento de schema e DataOps para automação.
• Exposição de Dados: APIs REST, RabbitMQ/Kafka para eventos, Data Marts para consumo analítico.
• Monitoramento e Observabilidade: Azure Monitor, Prometheus, OpenTelemetry, Data Lineage.

Requisitos desejáveis

• Experiência com DataOps e automação de pipelines de dados.
• Conhecimento em engenharia de performance para consultas analíticas e transacionais.
• Familiaridade com integração de dados em arquiteturas híbridas e multinuvem.
• Experiência com governança e conformidade de dados (LGPD, GDPR, RBAC).
• Conhecimento avançado em data streaming e arquitetura event-driven.
• Experiência com integração entre DataOps e DevSecOps para pipelines seguros.
• Conhecimento em event-driven data architecture e real-time analytics.
• Familiaridade com técnicas de compressão, particionamento e otimização de armazenamentos distribuídos.
• Experiência com Machine Learning pipelines e integração com Data Science.

Benefícios

• Remuneração CLT compatível com o mercado;
• Trabalho Remoto;
• Horário de trabalho flexível: De acordo com área de atuação e política interna;
• Flash - Cartão de Benefícios Flexíveis com todas as categorias habilitadas: Alimentação, Refeição, Mobilidade, Educação, Saúde e Cultura;
• Seguro de Vida (Caixa Econômica);
• Plano de Saúde (Porto Seguro);
• PLR de acordo com a política da empresa;
• Zero dress code, vista-se como se sentir mais confortável;
• Voucher no dia do aniversário;
• Parceria com escola de inglês;
• Programa de indicação #amigosv8.tech;

Sobre a empresa

Há 10 anos no mercado, a V8.Tech é uma empresa jovem, movida por tecnologia e inovação, que acelera a transformação digital. Ajudamos nossos clientes a revolucionarem seus negócios por meio da reestruturação e evolução, com foco na otimização de processos, tecnologia da informação, transformação digital e no crescimento em diversos setores. Atendemos diversos países na América Latina a partir de nosso escritório em São Paulo: Argentina, Colômbia, Peru e México.