AWS Data Engineer | Senior (Remote)

Compass UOL; Brasil; Teletrabalho; BRL 223 200 - 334 800; Tempo integral

Resumo da oferta

Uma empresa de tecnologia está em busca de um profissional para desenvolver e implementar pipelines de dados robustos em um ambiente AWS. O candidato ideal deve ter experiência em migração de dados de GCP e On-Premise, além de dominar orquestração e automação com ferramentas como Apache Airflow e DBT. As responsabilidades incluem monitorar a performance dos pipelines e colaborar com diferentes áreas para garantir segurança e integridade dos dados.

Qualificações

• Experiência em AWS e migração de dados para cloud.
• Vivência com GCP e/ou ambientes On-Premise.
• Domínio de pipelines ETL/ELT, orquestração e automação.

Responsabilidades

• Desenvolver e manter pipelines de dados em AWS.
• Migração de grandes volumes de dados para AWS.
• Construir pipelines utilizando Apache Airflow e DBT.

Conhecimentos

AWS

Migração de dados

Apache Airflow

Python

Orquestração de dados

Ferramentas

DBT

Snowflake

Kubernetes

Descrição da oferta de emprego

Responsabilidades

• Desenvolver, implementar e manter pipelines de dados robustos, escaláveis e confiáveis em ambiente AWS;
• Atuar na migração segura e eficiente de grandes volumes de dados e workloads de GCP e On-Premise para AWS, garantindo integridade, segurança e mínima indisponibilidade;
• Construir e orquestrar pipelines utilizando Apache Airflow e DBT, apoiando processos de transformação, validação e governança dos dados;
• Utilizar serviços e tecnologias como Amazon S3, AWS Lambda, Kubernetes, Snowflake e ferramentas de orquestração;
• Monitorar continuamente a performance dos pipelines, realizando otimizações para melhoria de desempenho e redução de custos;
• Trabalhar de forma colaborativa com arquitetos, engenheiros e áreas de negócio, garantindo alinhamento com requisitos funcionais, não funcionais e de compliance.

Qualificações

• Experiência em AWS e migração de dados para cloud;
• Vivência com GCP e/ou ambientes On-Premise;
• Domínio de pipelines ETL/ELT, orquestração e automação;
• Experiência com Apache Airflow, DBT e Python;
• Conhecimento em arquiteturas de dados modernas (Data Lake, Lakehouse);
• Experiência com bancos de dados analíticos como Snowflake;
• Conhecimento em governança, segurança e boas práticas de engenharia de dados.