Engenheiro De Dados ( Aws / Terraforms)

buscojobs Brasil; Rio de Janeiro; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia de dados está buscando profissionais para criar soluções tecnológicas em torno do ciclo de vida dos dados em Rio de Janeiro. O candidato ideal terá habilidades em Python, experiência na criação de pipelines de dados com DevOps e conhecimento em governança de dados. O trabalho inclui processar grandes volumes de dados e estruturar informações para ferramentas de Power BI.

Qualificações

• Habilidades de programação em Python.
• Experiência com criação de pipelines de dados utilizando Terraform e Jenkins.
• Conhecimento em governança de dados e AWS Lake Formation.
• Experiência com Spark e AWS Glue.
• Capacidade de relacionamento com a área de negócio.

Responsabilidades

• Disponibilizar dados globais numa base analítica.
• Criar pipelines de dados com DevOps.
• Auxiliar analistas na classificação de dados.
• Processar grandes volumes de dados com Spark.
• Estruturar e consolidar dados na AWS.

Conhecimentos

Programação em Python

Criação de pipelines de dados

Conhecimento em governança de dados

Experiência com Spark e AWS

Relacionamento com a área de negócio

Ferramentas

Terraform

Jenkins

GitHub

AWS

Power BI

Descrição da oferta de emprego

Resumo

Profissionais que criam soluções tecnológicas em torno do ciclo de vida dos dados, passando pelos processos de ingestão, transformação, governança, organização e disponibilização de informações.

Principais Responsabilidades

• Disponibilizar dados com origem globais (dados externos) numa base analítica para as áreas de negócio e garantir governança e acesso, seguindo as políticas e governanças estabelecidas pelo cliente.
• Realizar criação de pipelines de dados com DevOps, utilizando Terraform e Jenkins / GitHub para automatizar criação de infraestrutura AWS e deploy de soluções
• Auxiliar analistas de dados na classificação de dados pessoais e sensíveis e sua configuração com AWS Lake Formation (permissão de acesso a colunas e linhas)
• Processar grandes volumes de dados com uso do Spark através do EMR Studio e AWS Glue Jobs e Workflow
• Auxiliar analistas de dados na criação de modelos dimensionais para análise de dados (fatos e dimensões)
• Relacionamento com a área de negócio para entendimento das origens e mapeamento dos dados
• Estruturação e consolidação de dados e indicadores na AWS, garantindo bases com os templates adequados para o consumo direto em ferramentas de PowerBi para construção de dashboards

Qualificações

• Habilidades de programação em Python
• Experiência com criação de pipelines de dados com DevOps, utilizando Terraform e Jenkins / GitHub para automatizar criação de infraestrutura AWS e deploy de soluções
• Conhecimento em governança de dados, AWS Lake Formation e permissões de acesso a dados
• Experiência com Spark, EMR Studio e AWS Glue Jobs e Workflows
• Capacidade de relacionamento com a área de negócio para entendimento das origens e mapeamento dos dados
• Capacidade de estruturar e consolidar dados na AWS para consumo em Power BI