Engenheiro De Dados ( Aws / Terraforms)

buscojobs Brasil; Caicó; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados está buscando profissionais para desenvolver soluções tecnológicas em torno do ciclo de vida dos dados. Os candidatos devem ter habilidades em Python e experiência em governança e arquitetura na AWS. O papel envolve a criação de pipelines de dados, garantindo o acesso e a disponibilidade de informações em ambientes analíticos, utilizando ferramentas como Terraform e Jenkins.

Qualificações

• Experiência com dados, governança e arquitetura na AWS.
• Experiência na construção de modelos dimensionais.
• Habilidades em automatização de criação de infraestrutura.

Responsabilidades

• Criar soluções tecnológicas para o ciclo de vida dos dados.
• Garantir governança e acesso a dados globais.
• Realizar criação de pipelines de dados com DevOps.

Conhecimentos

Programação em Python

Governança de dados na AWS

Criação de pipelines de dados

Processamento com Spark

Power BI

Ferramentas

Terraform

Jenkins

GitHub

AWS EMR

AWS Glue

Descrição da oferta de emprego

Responsabilidades

• Profissionais que criam soluções tecnológicas em torno do ciclo de vida dos dados, passando pelos processos de ingestão, transformação, governança, organização e disponibilização de informações.
• Disponibilizar dados com origem globais (dados externos) numa base analítica para as áreas de negócio e garantir governança e acesso, seguindo as políticas e governanças estabelecidas pelo cliente.
• Realizar criação de pipelines de dados com DevOps, utilizando Terraform e Jenkins / github para automatizar criação de infraestrutura AWS e deploy de soluções
• Auxiliar analistas de dados na classificação de dados pessoais e sensíveis e sua configuração com AWS Lake Formation (permissão de acesso a colunas e linhas)
• Processar grandes volumes de dados com uso do Spark através do EMR Studio e AWS Glue Jobs e Workflow
• Auxiliar analistas de dados na criação de modelos dimensionais para anállise de dados (fatos e dimensões)
• Habilidades de programação em Python
• Relacionamento com a área de negócio para entendimento das origens e mapeamento dos dados
• Estruturação e consolidação de dados e indicadores na AWS, garantindo bases com os templates adequados para o consumo direto em ferramentas de PowerBi para construção de dashboards;

Qualificações técnicas

• Habilidades de programação em Python
• Experiência com dados, governança e arquitetura na AWS (Lake Formation, EMR, Glue)
• Criação de pipelines de dados com DevOps (Terraform, Jenkins, GitHub)
• Ingestão, transformação e disponibilização de dados com foco em governança
• Processamento de grandes volumes com Spark via EMR Studio e AWS Glue Jobs e Workflows
• Experiência na construção de modelos dimensionais (fatos e dimensões)
• Experiência com Power BI para consumo de dashboards