Engenheiro (a) de Dados AWS

4DF Connect; Brasil; On-site; BRL 120,000 - 190,000; Full time

Job summary

A 4DF Connect procura um Engenheiro de Dados AWS para projetar, desenvolver e manter pipelines de ingestão, transformação e armazenamento de dados em Data Warehouse e Data Lake.

Você garantirá qualidade, confiabilidade e monitoramento dos dados, além de criar integrações entre sistemas e a nuvem AWS. Também modelará dados e apoiará iniciativas DevOps/DataOps em escala de serviços na nuvem.

Qualifications

• Experiência com AWS incluindo S3, Lambda, Glue, Athena, CloudWatch, CloudFormation, SNS, SQS, API Gateway e RDS (Aurora).
• Conhecimento em SQL e Apache.
• Modelagem de dados para Data Warehouse e Data Lake.

Responsibilities

• Projetar, desenvolver e manter pipelines de ingestão de dados.
• Modelar estruturas de dados para Data Warehouse e Data Lake (estruturados e não estruturados).
• Construir e manter processos de tratamento e armazenamento de dados.
• Construir e manter processos de controle e monitoramento do Data Lake.
• Desenvolver integrações utilizando APIs e soluções de mensageria.
• Criar integrações de dados entre sistemas e o Data Lake, utilizando SQL e Apache.
• Monitorar ingestões de dados envolvendo ciclos de qualidade.
• Garantir confiabilidade da plataforma e dados por meio de testes unitários.
• Apoiar na criação de esteiras DevOps/DataOps na nuvem.

Skills

AWS Services

SQL

Data modeling

APIs

DataOps

Terraform

Data Warehouse

Data Lake

Monitoring

CloudFormation

Tools

CloudWatch

API Gateway

Terraform

Job description

Sobre a vaga

Buscamos um(a) Engenheiro(a) de Dados AWS para projetar, desenvolver e manter pipelines de ingestão, transformação e armazenamento de dados em ambientes de Data Warehouse e Data Lake.

Você será responsável por garantir a qualidade, confiabilidade e monitoramento dos dados, além de criar integrações entre sistemas e a nuvem AWS.

Responsabilidades principais

• Projetar, desenvolver e manter processos de ingestão de dados;
• Modelar e projetar estruturas de dados para Data Warehouse e Data Lake (estruturados e não estruturados);
• Construir e manter processos de tratamento e armazenamento de dados;
• Construir e manter processos de controle e monitoramento do Data Lake;
• Desenvolver integrações utilizando APIs e soluções de mensageria;
• Criar integrações de dados entre sistemas e o Data Lake, utilizando SQL e Apache;
• Monitorar ingestões de dados envolvendo ciclos de qualidade;
• Garantir a confiabilidade da plataforma e dos dados por meio de testes unitários;
• Apoiar na criação de esteiras DevOps/DataOps em escala de serviços e infraestrutura na nuvem.

Requisitos técnicos

• Experiência com AWS: S3, Lambda, Glue, Athena, CloudWatch, CloudFormation, SNS, SQS, API Gateway, RDS (Aurora) e Terraform;
• Conhecimento em SQL e Apache;
• Experiência com modelagem de dados para Data Warehouse e Data Lake;
• Familiaridade com APIs, mensageria e automação de infraestrutura;
• Conhecimento em práticas de DevOps/DataOps.

Diferenciais

• Conhecimento em Amazon QuickSight;
• Experiência com testes unitários em pipelines de dados;
• Atuação prévia em ambientes de grande volume de dados.