Especialista de Engenharia de Dados Sênior (Google Cloud)

HUNT IT - Recrutamento Especializado para TI; São Paulo; On-site; BRL 240,000 - 360,000; Full time

Job summary

HUNT IT - Recrutamento Especializado para TI busca um(a) Especialista de Engenharia de Dados Sênior para atuação 100% presencial em projeto estratégico de migração de plataforma de dados na Av. Paulista, São Paulo.

Conduz a conversão de Spark/PySpark, Hive/Impala, e fluxos de streaming no Google Cloud, com 9 meses de migração em ondas e 3 meses de pós-implantação.

Aplicará padrões de código, revisões em pares, CI/CD (GitLab) e suporte à validação entre sistemas legados e destino.

Qualifications

• Experiência sênior em engenharia de dados.
• Atuação 100% presencial.
• Experiência com Spark/PySpark, Hive/Impala e dados em grande escala.
• Conhecimento de migração para Google Cloud.

Responsibilities

• Conduzir a conversão e implantação de jobs Spark e PySpark, Hive/Impala e fluxos de streaming no Google Cloud.
• Operar a fábrica de migração com IA e regras
• Garantir a paridade entre legado e destino e apoiar reprocessamento de ondas
• Resolver casos técnicos complexos e adaptar frameworks proprietários
• Aplicar padrões de código e CI/CD (GitLab)
• Esclarecer dúvidas de regra de negócio com especialistas do cliente
• Apoiar estimativas e planejamento das ondas de migração

Skills

Spark

PySpark

Big data

Google Cloud

Tools

Google Cloud

GitLab CI

Job description

Buscamos um(a) Especialista de Engenharia de Dados Sênior para atuar de forma 100% presencial em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte, na Av. Paulista, em São Paulo. O projeto é a migração de uma plataforma de dados de grande porte, hoje em Cloudera na AWS, para o Google Cloud, no modelo lift and shift: cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados, streaming com CDC, centenas de modelos de Machine Learning e frameworks proprietários de ingestão e processamento. São 9 meses de migração em ondas mensais, seguidos de 3 meses de pós-implantação. Você vai atuar na fábrica de migração, convertendo e implantando cargas no Google Cloud, resolvendo os casos técnicos mais complexos e garantindo a qualidade do que vai para produção.

Principais responsabilidades

• Conduzir a conversão e a implantação de jobs Spark e PySpark, SQL de Hive e Impala e fluxos de streaming no Google Cloud.
• Operar os aceleradores da fábrica de migração no dia a dia: conversão assistida por IA, regras da fábrica, testes de paridade e evidências.
• Garantir a comparação automática entre legado e destino e apoiar o reprocessamento de ondas quando necessário.
• Resolver casos técnicos complexos e apoiar a adaptação dos frameworks proprietários do cliente.
• Aplicar e manter padrões de código, revisão em pares e esteiras de CI/CD (GitLab CI).
• Esclarecer dúvidas de regra de negócio junto aos especialistas do cliente.
• Apoiar a estimativa e o planejamento das ondas de migração.

Informações adicionais

• Atuação 100% presencial em instituição financeira na Av. Paulista - São Paulo.
• Contratação CLT.