Especialista De Engenharia De Dados Sênior (Googlecloud)

Leega Consultoria; São Paulo; On-site; BRL 180,000 - 320,000; Full time

Job summary

A Leega Consultoria procura um Especialista de Engenharia de Dados para atuar presencialmente em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte.

O projeto envolve migrar de Cloudera na AWS para o Google Cloud em modo lift and shift, com cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados e streaming com CDC, em 9 meses de migração por ondas e 3 meses de pós-implantação.

Qualifications

• 8+ anos de experiência em engenharia de dados.
• Experiência mínima de 3 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer). Domínio de Spark e PySpark e de SQL avançado.
• Experiência com ecossistema Hadoop (Hive, Impala, HDFS), preferencialmente em Cloudera. Experiência em projetos de migração de dados ou de plataformas de dados.
• Experiência com versionamento e CI/CD (Git, GitLab CI ou similares).
• Ensino superior completo em Tecnologia, Engenharia ou áreas correlatas.

Responsibilities

• Operar a conversão e implantação de jobs Spark e PySpark no Google Cloud.
• Conduzir a migração de plataforma de dados em Waves mensais com 9 meses de migração e 2,5 PB de dados.
• Garantir a comparação automática entre legado e destino e reprocessar ondas quando necessário.
• Definir padrões de código e esteiras de CI/CD (GitLab CI) e traduzir regras de negócio entre cliente e engenharia.
• Apoiar o Gerente de Projetos e o Scrum Master na estimativa e planejamento das ondas.

Skills

Engenharia de dados

CI/CD

Comunicação entre negócio e engenharia

Liderança técnica

Education

Superior completo em Tecnologia/Engenharia

Tools

Google Cloud Dataproc

BigQuery

Cloud Storage

Composer

Spark

PySpark

Hadoop

Hive

Impala

Git/GitLab CI

Job description

Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo, melhoram a vida das pessoas.

Somos uma consultoria de tecnologia, agnóstica e estratégica. Com escritórios no Brasil e na Europa, nosso time de mais de 580 talentos multidisciplinares vive e respira o ecossistema de Data Analytics, Cloud e IA. Dominamos a base, da Governança à Engenharia, para garantir que a tecnologia não seja apenas uma ferramenta, mas uma vantagem competitiva sustentável para os maiores players do mercado.

/n

Requisitos obrigatórios

• Mínimo de 8 anos de experiência em engenharia de dados.
• Experiência mínima de 3 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer). Domínio de Spark e PySpark e de SQL avançado.
• Experiência com ecossistema Hadoop (Hive, Impala, HDFS), preferencialmente em Cloudera. Experiência em projetos de migração de dados ou de plataformas de dados.
• Experiência com versionamento e CI/CD (Git, GitLab CI ou similares).
• Ensino superior completo em Tecnologia, Engenharia ou áreas correlatas.

Diferenciais

• Certificação Google Cloud Professional Data Engineer.
• Experiência com IA generativa aplicada a conversão ou geração de código.
• Experiência com Kafka, Flink e CDC.
• Experiência em instituições financeiras.
• Experiência com Apache Iceberg.

Competências comportamentais

• Comunicação clara entre negócio e engenharia.
• Senso de qualidade e de dono sobre o que vai para produção.
• Calma e foco para atuar em janelas de implantação e situações de pressão.

Informações adicionais

INDISPENSÁVEL Conhecimento/Atuação em:

• Engenharia de dados com Spark no Google Cloud
• Migração de dados

Atuação presencial

Modelo de atuação 100% PRESENCIAL, em instituição financeira localizada na Av. Paulista - São Paulo.

Contratação CLT.

/n

Buscamos um Especialista de Engenharia de Dados sênior para atuar de forma presencial em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte. O projeto é a migração de uma plataforma de dados de grande porte, hoje em Cloudera na AWS, para o Google Cloud, no modo lift and shift: cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados, streaming com CDC, centenas de modelos de Machine Learning e frameworks proprietários de ingestão e processamento, em 9 meses de migração por ondas mensais, seguidos de 3 meses de pós implantação.

Principais responsabilidades

• Operar os aceleradores da Leega no dia a dia: conversão assistida por IA, regras da fábrica, testes de paridade e evidências.
• Conduzir a conversão e a implantação de jobs Spark e PySpark, SQL de Hive e Impala e fluxos de streaming no Google Cloud.
• Garantir a comparação automática entre legado e destino e conduzir o reprocessamento de ondas quando necessário.
• Resolver casos técnicos complexos e apoiar a adaptação dos frameworks proprietários do cliente.
• Definir e manter padrões de código, revisão em pares e esteiras de CI/CD (GitLab CI). Traduzir dúvidas de regra de negócio entre especialistas do cliente e os times de engenharia.
• Apoiar o Gerente de Projetos e o Scrum Master na estimativa, no planejamento das ondas e no acompanhamento do ritmo.