Engenheiro(a) de Dados Pleno: Migração Cloudera para AWS

Stefanini; United States; On-site; USD 110,000 - 160,000; Full time

Job summary

DigAI está buscando um Engenheiro de Dados Pleno para liderar a migração de pipelines e tabelas do Cloudera Hadoop para a AWS, acompanhando desde o levantamento até a estabilização em produção.

Você mapeará jobs, escreverá rotinas em Shell Script, converterá consultas para Athena/EMR, e modelará o data lake no S3 com uso de Redshift quando cabível. A vaga valoriza custo, desempenho e padrões de uso.

Qualifications

• Experiência com Cloudera Hadoop, HQL e Shell Script.
• Conhecimento de Amazon Athena, AWS Glue e Amazon EMR.
• Conhecimento de AWS Step Functions, AWS Lambda, EventBridge e MWAA/Airflow.
• Conhecimento de Amazon S3 e Amazon Redshift.

Responsibilities

• Mapear jobs, pipelines, consultas em HQL e rotinas de orquestração em Shell Script no Cloudera.
• Converter consultas HQL para Athena/Glue/EMR com foco em custo, desempenho e acesso.
• Redesenhar rotinas em Shell Script usando serviços gerenciados da AWS (Step Functions, Lambda, EventBridge, MWAA/Airflow).
• Modelar o data lake de destino no S3 com zonas raw, trusted e refined, usando Redshift quando aplicável.

Skills

Cloudera Hadoop

HQL

Shell Script

Tools

Amazon Athena

AWS Glue

Amazon EMR

AWS Step Functions

AWS Lambda

Amazon EventBridge

MWAA/Airflow

Amazon S3

Amazon Redshift

Job description

DigAI está buscando um Engenheiro de Dados Pleno para liderar a migração de pipelines e tabelas do Cloudera Hadoop para a AWS, acompanhando desde o levantamento até a estabilização em produção.

Você mapeará jobs, escreverá rotinas em Shell Script, converterá consultas para Athena/EMR, e modelará o data lake no S3 com uso de Redshift quando cabível. A vaga valoriza custo, desempenho e padrões de uso.