AWS Cloud Data Engineer

Kstack; São Paulo; Presencial; BRL 180 000 - 300 000; Tempo integral

Resumo da oferta

A Kstack está buscando um AWS Cloud Data Engineer para projetar, construir e manter plataformas de dados na AWS, com pipelines escaláveis e seguras. O profissional trabalhará com AWS Glue, Kinesis, Lambda, S3, Redshift e SageMaker, além de gerenciar infra em nuvem via IaC e pipelines CI/CD.

Você vai colaborar com engenheiros de dados, cientistas de dados e stakeholders de negócios para entregar soluções de dados confiáveis, com foco em desempenho, escalabilidade e compliance.

Qualificações

• Pipelines de dados na nuvem AWS
• Conhecimentos em ETL/ELT com PySpark
• Experiência com ML (SageMaker) é desejável

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis na AWS
• Construir e otimizar fluxos ETL/ELT com PySpark e AWS Glue
• Desenvolver, implantar e suportar fluxos de ML com SageMaker
• Gerenciar aplicações conteinerizadas e cargas de trabalho com Fargate
• Automatizar infraestrutura com Terraform e OpenTofu (IaC)
• Otimizar armazenamento com Redshift e S3 para análises
• Implementar arquitetura orientada a eventos com SQS
• Desenvolver pipelines CI/CD seguros para deploys
• Monitorar e solucionar problemas para alta disponibilidade e custo
• Colaborar com engenheiros de dados, devs e stakeholders
• Seguir práticas de segurança, governança e operações em nuvem (IAM, criptografia, logging)

Conhecimentos

AWS Cloud

PySpark

AWS Glue

Amazon Kinesis

AWS Lambda

Amazon S3

Amazon Redshift

Terraform

OpenTofu

IaC

CI/CD

Security best practices

IAM

Logging & monitoring

Ferramentas

PySpark

AWS Glue

Kubernetes

Descrição da oferta de emprego

Estamos em busca de um(a) AWS Cloud Data Engineer para projetar, construir e manter plataformas de dados em nuvem escaláveis, seguras e automatizadas. Este(a) profissional será responsável por desenvolver pipelines de dados, gerenciar infraestrutura em nuvem e suportar cargas de trabalho de análise e machine learning no ecossistema AWS.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis e nativos da nuvem usando AWS Glue, Amazon Kinesis Data Streams, AWS Lambda e Amazon S3.
• Construir e otimizar fluxos de trabalho ETL/ELT usando PySpark e AWS Glue.
• Desenvolver, implantar e suportar fluxos de trabalho de machine learning usando Amazon SageMaker.
• Construir e gerenciar aplicações conteinerizadas e cargas de trabalho em lote usando AWS Fargate.
• Provisionar, gerenciar e automatizar a infraestrutura em nuvem usando Terraform e OpenTofu, seguindo as melhores práticas de Infrastructure as Code (IaC).
• Projetar e otimizar soluções de armazenamento de dados usando Amazon Redshift e Amazon S3 para suportar cargas de trabalho de análise e relatórios.
• Implementar e manter arquiteturas orientadas a eventos usando Amazon SQS e outros serviços de mensagens da AWS.
• Desenvolver e suportar pipelines CI/CD seguros e automatizados para implantações de aplicações e infraestrutura.
• Monitorar, solucionar problemas e otimizar serviços AWS para garantir alta disponibilidade, desempenho, escalabilidade e eficiência de custos.
• Colaborar com engenheiros de dados, desenvolvedores de software, cientistas de dados e stakeholders de negócios para entregar soluções de dados confiáveis e completas.
• Seguir as melhores práticas de segurança, governança e operações em nuvem, incluindo IAM, criptografia, logging e monitoramento.