Engenheiro de dados foco cloud AWS

IBM Computing; Brasília; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em Brasília busca um Data Engineer para trabalhar com dados em ambientes AWS. O candidato ideal terá experiência em criação de pipelines de dados, processamento e integração de grandes conjuntos de dados, além de conhecimento em ferramentas como AWS Glue e Lambda. Se você tem paixão por inovação e está pronto para enfrentar desafios de dados complexos, esta pode ser a oportunidade para você.

Qualificações

• Experiência como Data Engineer focado em AWS.
• Sólido conhecimento em SQL e ambientes de Big Data.
• Experiência com integração de bancos de dados complexos.

Responsabilidades

• Coletar, armazenar e processar dados em batch e em tempo real.
• Implementar e validar modelos preditivos com foco em big data.
• Trabalhar em um ambiente ágil com cientistas e engenheiros.

Conhecimentos

AWS

Python

Pyspark

ETL/ELT

SQL

Machine Learning

Ferramentas

AWS Glue

AWS Lambda

Amazon DynamoDB

Elasticsearch

Splunk

Descrição da oferta de emprego

Introduction

Uma carreira em Consultoria IBM é baseada em relacionamentos de longo prazo e colaboração próxima com clientes em todo o mundo.

Você trabalhará com visionários de diversos setores para aprimorar a jornada de nuvem híbrida e IA para as empresas mais inovadoras e valiosas do mundo. Sua capacidade de acelerar o impacto e promover mudanças significativas para seus clientes é possibilitada pelo nosso ecossistema de parceiros estratégicos e nossas robustas plataformas tecnológicas em todo o portfólio da IBM, incluindo Software e Red Hat.

A curiosidade e a busca constante por conhecimento são a base para o sucesso na Consultoria IBM. Em sua função, você será incentivado a desafiar os padrões, investigar ideias fora da sua área de atuação e apresentar soluções criativas que resultem em impacto inovador para uma ampla rede de clientes. Nossa cultura de evolução e empatia se concentra em oportunidades de crescimento e desenvolvimento profissional a longo prazo, em um ambiente que acolhe suas habilidades e experiências únicas.

Your role and responsibilities

Como Data Engineer na IBM, você utilizará o poder dos dados para revelar histórias fascinantes e padrões complexos. Você contribuirá para a coleta, armazenamento e processamento de dados em batch e em tempo real.

Colaborando de perto com equipes diversas, você desempenhará um papel importante na decisão dos sistemas de gerenciamento de dados mais adequados e na identificação dos dados essenciais para análises perspicazes. Como Data Engineer, você enfrentará desafios relacionados à integração de bancos de dados e à organização de conjuntos de dados complexos e não estruturados.

Suas responsabilidades podem incluir:

• Implementar e validar modelos preditivos, além de criar e manter modelos estatísticos com foco em big data, incorporando várias técnicas estatísticas e de machine learning.
• Projetar e implementar aplicações de busca empresarial, como Elasticsearch e Splunk, de acordo com os requisitos do cliente.
• Trabalhar em um ambiente ágil e colaborativo, em parceria com cientistas, engenheiros, consultores e administradores de banco de dados de diversas áreas para aplicar rigor analítico e métodos estatísticos aos desafios de previsão de comportamentos.
• Construir equipes ou desenvolver programas para limpar e integrar dados de forma eficiente e reutilizável, além de desenvolver modelos preditivos ou prescritivos e avaliar seus resultados.

Requisitos técnicos e profissionais necessários

Buscamos profissionais com experiência como Data Engineer na esteira de AWS e conhecimento técnico em:

• Plataformas de dados - AWS
• Projetar e desenvolver pipelines de dados robustos para processamento, transformação e ingestão de dados de origem ao destino.
• Implementar processos ETL/ELT
• Desenvolver funções Lambda para criação de aplicativos
• CI/CD, IaC
• Proficiência em ferramentas AWS: experiência com AWS Glue, AWS Lambda, Amazon Athena, Amazon DynamoDB, Amazon CloudWatch, Amazon SNS e AWS Step Functions.
• Experiência com linguagens de programação como Python e Pyspark.
• Conhecimento profundo de tecnologias de banco de dados e do ecossistema de Big Data, como AWS RDS.
• Experiência com AWS Data Lakes
• Conhecimento em pipelines de implantação usando AWS CloudFormation
• Experiência com Git
• Sólido conhecimento em SQL

A IBM compromete-se a criar um ambiente diversificado e orgulha-se de ser uma empregadora de oportunidades iguais. Todos os candidatos qualificados receberão consideração para emprego sem distinção de raça, cor, religião, sexo, identidade ou expressão de gênero, orientação sexual, origem nacional, casta, genética, gravidez, deficiência, neurodivergência, idade, status de veterano ou outras características. A IBM também está comprometida com a conformidade com todas as práticas de emprego justo relacionadas à cidadania e imigração.