12731611 - ENGENHEIRO DADOS PL

Stefanini; United States; On-site; USD 110,000 - 160,000; Full time

Job summary

DigAI está buscando um Engenheiro de Dados Pleno para liderar a migração de pipelines e tabelas do Cloudera Hadoop para a AWS, acompanhando desde o levantamento até a estabilização em produção.

Você mapeará jobs, escreverá rotinas em Shell Script, converterá consultas para Athena/EMR, e modelará o data lake no S3 com uso de Redshift quando cabível. A vaga valoriza custo, desempenho e padrões de uso.

Qualifications

• Experiência com Cloudera Hadoop, HQL e Shell Script.
• Conhecimento de Amazon Athena, AWS Glue e Amazon EMR.
• Conhecimento de AWS Step Functions, AWS Lambda, EventBridge e MWAA/Airflow.
• Conhecimento de Amazon S3 e Amazon Redshift.

Responsibilities

• Mapear jobs, pipelines, consultas em HQL e rotinas de orquestração em Shell Script no Cloudera.
• Converter consultas HQL para Athena/Glue/EMR com foco em custo, desempenho e acesso.
• Redesenhar rotinas em Shell Script usando serviços gerenciados da AWS (Step Functions, Lambda, EventBridge, MWAA/Airflow).
• Modelar o data lake de destino no S3 com zonas raw, trusted e refined, usando Redshift quando aplicável.

Skills

Cloudera Hadoop

HQL

Shell Script

Tools

Amazon Athena

AWS Glue

Amazon EMR

AWS Step Functions

AWS Lambda

Amazon EventBridge

MWAA/Airflow

Amazon S3

Amazon Redshift

Job description

Na Stefanini, você fará parte de uma jornada de transformação que combina tecnologia, inteligência artificial e criatividade humana para gerar impacto real. Como Engenheiro(a) de Dados Pleno, atuará na migração de tabelas e pipelines do Cloudera Hadoop para a AWS, acompanhando o trabalho desde o levantamento inicial até a estabilização em produção.

Responsabilidades

• Mapear jobs, pipelines, consultas em HQL e rotinas de orquestração em Shell Script no ambiente Cloudera.
• Converter consultas HQL para Amazon Athena, AWS Glue ou Amazon EMR, selecionando a solução conforme o caso de uso, considerando custo, desempenho e padrão de acesso.
• Redesenhar rotinas em Shell Script utilizando serviços gerenciados da AWS, como Step Functions, Lambda, EventBridge e MWAA/Airflow.
• Modelar o data lake de destino no Amazon S3, organizando as zonas raw, trusted e refined, e utilizar Amazon Redshift quando aplicável.

Requisitos obrigatórios

• Experiência com Cloudera Hadoop, HQL e Shell Script.
• Conhecimento de Amazon Athena, AWS Glue e Amazon EMR.
• Conhecimento de AWS Step Functions, AWS Lambda, Amazon EventBridge e Amazon MWAA/Airflow.
• Conhecimento de Amazon S3 e Amazon Redshift.

Diferenciais

• Experiência com migração de dados e pipelines entre diferentes ambientes.
• Conhecimento de outras tecnologias de Big Data e cloud.

O que esperamos

Buscamos uma pessoa com experiência em engenharia de dados, capaz de contribuir em diferentes etapas de uma migração e de avaliar soluções considerando custo, desempenho e padrões de uso. Sua pretensão salarial também será considerada no processo.