Engenheiro De Dados ( Aws / Terraforms)

buscojobs Brasil; Pará; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia está em busca de profissionais especializados em criar pipelines de dados utilizando DevOps e infraestrutura AWS. O candidato ideal deve ter habilidades em Python, experiência em governança de dados e conhecimento em ferramentas de BI como PowerBi. Este papel envolve o processamento de grandes volumes de dados e a colaboração com analistas para a modelagem e visualização de informações.

Qualificações

• Habilidade sólida em programação em Python.
• Experiência com infraestrutura AWS e governança de dados.
• Conhecimento em práticas de DevOps aplicadas a pipelines de dados.

Responsabilidades

• Criar pipelines de dados com DevOps usando Terraform e Jenkins.
• Auxiliar na classificação de dados pessoais e sensíveis.
• Processar grandes volumes de dados com Spark e AWS Glue.
• Criar modelos dimensionais para análise de dados.
• Relacionar com áreas de negócio para mapeamento de dados.
• Consolidar dados na AWS para uso em PowerBi.

Conhecimentos

Programação em Python

Infraestrutura AWS

DevOps para pipelines de dados

BI e ferramentas como PowerBi

Descrição da oferta de emprego

Overview

Profissionais que criam soluções tecnológicas em torno do ciclo de vida dos dados, passando pelos processos de ingestão, transformação, governança, organização e disponibilização de informações. Disponibilizar dados com origem globais (dados externos) numa base analítica para as áreas de negócio e garantir governança e acesso, seguindo as políticas e governanças estabelecidas pelo cliente.

Responsibilities

• Realizar criação de pipelines de dados com DevOps, utilizando Terraform e Jenkins / github para automatizar criação de infraestrutura AWS e deploy de soluções
• Auxiliar analistas de dados na classificação de dados pessoais e sensíveis e sua configuração com AWS Lake Formation (permissão de acesso a colunas e linhas)
• Processar grandes volumes de dados com uso do Spark através do EMR Studio e AWS Glue Jobs e Workflow
• Auxiliar analistas de dados na criação de modelos dimensionais para anállise de dados (fatos e dimensões)
• Relacionamento com a área de negócio para entendimento das origens e mapeamento dos dados
• Estruturação e consolidação de dados e indicadores na AWS, garantindo bases com os templates adequados para o consumo direto em ferramentas de PowerBi para construção de dashboards

Qualifications

• Habilidades de programação em Python
• Experiência com infraestrutura AWS, governança de dados e ferramentas de transformação
• Conhecimento de práticas de DevOps aplicadas a pipelines de dados
• Conhecimento de BI e consumo de dados em ferramentas como PowerBi