Engenheiro De Dados ( Aws / Terraforms)

buscojobs Brasil; São Paulo; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em São Paulo busca profissionais para desenvolver soluções tecnológicas em torno do ciclo de vida dos dados. O candidato ideal deve ter habilidades em programação em Python e experiência com pipelines de dados, DevOps, e tecnologias AWS, incluindo Terraform e Glue. O papel envolve a criação de pipelines, processamento de dados em larga escala e colaboração com analistas de dados para garantir governança e acesso a informações.

Qualificações

• Habilidades de programação em Python.
• Experiência com pipelines de dados, DevOps, Terraform, Jenkins e GitHub.
• Conhecimento em Spark (EMR Studio) e AWS Glue Jobs.
• Capacidade de entender origens de dados e mapear dados em parceria com áreas de negócio.
• Experiência com governança de dados e AWS Lake Formation.

Responsabilidades

• Criar soluções tecnológicas para o ciclo de vida dos dados.
• Disponibilizar dados globais numa base analítica.
• Realizar criação de pipelines de dados com DevOps.
• Auxiliar na classificação de dados pessoais e sensíveis.
• Processar grandes volumes de dados com Spark.
• Auxiliar na criação de modelos dimensionais para análise de dados.
• Relacionar com a área de negócio para entender as origens de dados.
• Estruturar e consolidar dados na AWS para ferramentas de PowerBi.

Conhecimentos

Programação em Python

Pipelines de dados

DevOps

Terraform

Jenkins

GitHub

Spark (EMR Studio)

AWS Glue Jobs

Governança de dados

AWS Lake Formation

Descrição da oferta de emprego

Responsabilidades

• Profissionais que criam soluções tecnológicas em torno do ciclo de vida dos dados, passando pelos processos de ingestão, transformação, governança, organização e disponibilização de informações.
• Disponibilizar dados com origem globais (dados externos) numa base analítica para as áreas de negócio e garantir governança e acesso, seguindo as políticas e governanças estabelecidas pelo cliente.
• Realizar criação de pipelines de dados com DevOps, utilizando Terraform e Jenkins / github para automatizar criação de infraestrutura AWS e deploy de soluções
• Auxiliar analistas de dados na classificação de dados pessoais e sensíveis e sua configuração com AWS Lake Formation (permissão de acesso a colunas e linhas)
• Processar grandes volumes de dados com uso do Spark através do EMR Studio e AWS Glue Jobs e Workflow
• Auxiliar analistas de dados na criação de modelos dimensionais para anállise de dados (fatos e dimensões)
• Habilidades de programação em Python
• Relacionamento com a área de negócio para entendimento das origens e mapeamento dos dados
• Estruturação e consolidação de dados e indicadores na AWS, garantindo bases com os templates adequados para o consumo direto em ferramentas de PowerBi para construção de dashboards;

Qualificações

• Habilidades de programação em Python
• Experiência com pipelines de dados, DevOps, Terraform, Jenkins e GitHub para automação de infraestrutura AWS
• Conhecimento em Spark (EMR Studio) e AWS Glue Jobs e Workflow
• Capacidade de entender origens de dados e mapear dados em parceria com áreas de negócio
• Experiência com governança de dados e AWS Lake Formation (permissão de acesso a colunas e linhas)