Engenheiro De Dados ( Aws / Terraforms)

buscojobs Brasil; Vitória da Conquista; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de recrutamento no Brasil está em busca de profissionais para desenvolver soluções tecnológicas voltadas para o ciclo de vida dos dados. Os candidatos deverão ter habilidades em programação em Python e experiência com ferramentas como AWS, Spark e PowerBi. Oferecemos uma oportunidade desafiadora de atuar na criação de pipelines de dados e na estruturação de informações analíticas para as áreas de negócio.

Qualificações

• Habilidades de programação em Python.
• Capacidade de entender origens e mapeamento de dados.
• Experiência com processamento de dados usando Spark.
• Conhecimento em criação de pipelines de dados com DevOps.
• Estruturação de dados na AWS e uso do PowerBi.

Responsabilidades

• Criar soluções tecnológicas em dados ao longo de seu ciclo de vida.
• Criar pipelines de dados utilizando DevOps.
• Processar grandes volumes de dados com Spark.
• Apoiar na classificação de dados pessoais.
• Consolidar dados para construção de dashboards.

Conhecimentos

Programação em Python

Relacionamento com a área de negócio

DevOps

AWS

Spark

PowerBi

Ferramentas

Terraform

Jenkins

AWS Glue

EMR Studio

Descrição da oferta de emprego

Responsabilidades

• Profissionais que criam soluções tecnológicas em torno do ciclo de vida dos dados, passando pelos processos de ingestão, transformação, governança, organização e disponibilização de informações.
• Disponibilizar dados com origem globais (dados externos) numa base analítica para as áreas de negócio e garantir governança e acesso, seguindo as políticas e governanças estabelecidas pelo cliente.
• Realizar criação de pipelines de dados com DevOps, utilizando Terraform e Jenkins / github para automatizar criação de infraestrutura AWS e deploy de soluções
• Auxiliar analistas de dados na classificação de dados pessoais e sensíveis e sua configuração com AWS Lake Formation (permissão de acesso a colunas e linhas)
• Processar grandes volumes de dados com uso do Spark através do EMR Studio e AWS Glue Jobs e Workflow
• Auxiliar analistas de dados na criação de modelos dimensionais para anállise de dados (fatos e dimensões)
• Habilidades de programação em Python
• Relacionamento com a área de negócio para entendimento das origens e mapeamento dos dados
• Estruturação e consolidação de dados e indicadores na AWS, garantindo bases com os templates adequados para o consumo direto em ferramentas de PowerBi para construção de dashboards;

Requisitos / Competências

• Habilidades de programação em Python
• Relacionamento com a área de negócio para entendimento das origens e mapeamento dos dados
• Auxiliar analistas de dados na classificação de dados pessoais e sensíveis e sua configuração com AWS Lake Formation (permissão de acesso a colunas e linhas)
• Processar grandes volumes de dados com uso do Spark através do EMR Studio e AWS Glue Jobs e Workflow
• Realizar criação de pipelines de dados com DevOps, utilizando Terraform e Jenkins / github para automatizar criação de infraestrutura AWS e deploy de soluções
• Estruturação e consolidação de dados e indicadores na AWS, garantindo bases com os templates adequados para o consumo direto em ferramentas de PowerBi para construção de dashboards
• Disponibilizar dados com origem globais (dados externos) numa base analítica para as áreas de negócio e garantir governança e acesso, seguindo as políticas e governanças estabelecidas pelo cliente