Engenheiro De Dados Aws - Sênior

Assurance; Brasília; À distance; BRL 180 000 - 280 000; Plein temps

Résumé du poste

Assurance está buscando Engenheiro de Dados AWS Sênior para construir e evoluir plataformas de dados em nuvem, com foco em Data Lake, Lakehouse, pipelines escaláveis e soluções para Wealth & Asset Management.

Requisitos incluem Py Spark, AWS (S3, Redshift, Glue, Lambda, Athena), Apache Iceberg e Apache Airflow, SQL avançado e experiência em ETL/ELT para grandes volumes de dados. Inglês avançado é essencial.

Qualifications

• Experiência sólida com Py Spark e desenvolvimento de pipelines de dados.

Responsabilités

• Desenvolver e otimizar pipelines de dados escaláveis utilizando Py Spark e AWS.
• Atuar com Amazon Redshift, Apache Iceberg e Apache Airflow.
• Desenvolver soluções de Data Lake/Lakehouse.
• Garantir performance, qualidade, disponibilidade e confiabilidade dos dados.
• Otimizar consultas SQL, jobs Spark e fluxos de processamento.
• Apoiar iniciativas de governança, segurança e compliance.
• Atuar na resolução de incidentes e suporte a plataformas críticas.
• Participar de decisões de arquitetura, revisões de código e evolução da plataforma.

Connaissances

Py Spark

SQL avançado

Engenharia de dados AWS

Governança de dados

Monitoramento de dados

ETL/ELT

Data Lake / Lakehouse

Inglês avançado

Outils

Apache Iceberg

Apache Airflow

AWS S3

Redshift

Glue

Lambda

Athena

Kafka

Terraform

Docker

Kubernetes

Description du poste

Estamos buscando Engenheiro(a) de Dados AWS Sênior para atuar na construção e evolução de plataformas de dados em nuvem, com foco em Data Lake, Lakehouse, pipelines de alta escala e soluções para Wealth amp; Asset Management.

Principais responsabilidades

• Desenvolver e otimizar pipelines de dados escaláveis utilizando Py Spark e AWS.
• Atuar com Amazon Redshift, Apache Iceberg e Apache Airflow.
• Desenvolver soluções de Data Lake/Lakehouse.
• Garantir performance, qualidade, disponibilidade e confiabilidade dos dados.
• Otimizar consultas SQL, jobs Spark e fluxos de processamento.
• Apoiar iniciativas de governança, segurança e compliance.
• Atuar na resolução de incidentes e suporte a plataformas críticas.
• Participar de decisões de arquitetura, revisões de código e evolução da plataforma.

Requisitos obrigatórios e imprescindíveis

• Experiência sólida com Py Spark e desenvolvimento de pipelines de dados.
• Forte conhecimento em AWS, especialmente S3, Redshift, Glue, Lambda e Athena.
• Experiência prática com Apache Iceberg em produção.
• Experiência com Apache Airflow para orquestração e monitoramento.
• SQL avançado, incluindo otimização de consultas, performance e modelagem de dados.
• Experiência com ETL/ELT e processamento de grandes volumes de dados.
• Conhecimento em arquiteturas Data Lake, Data Warehouse e Lakehouse.
• Conhecimento em qualidade, governança e monitoramento de dados.
• Inglês avançadoInglês avançado para conversação, com participação em reuniões e discussões técnicas com equipes dos EUA.

Desejável

• Experiência no setor financeiro, Asset Management, Wealth Management, Mercado de Capitais, Fin Tech ou Investment Banking.
• Conhecimento de Kafka, Terraform, Docker e/ou Kubernetes.
• Experiência com dados de mercado, gestão de portfólio ou soluções de investimentos.
• Conhecimento em arquiteturas de dados em tempo real/streaming.
• Experiência com Infraestrutura como Código (Ia C) e automação em nuvem.

Condições

• Remoto
• Contratação: PJ
• Prazo: 12 meses (renováveis)

Engenheiro de dados aws - sênior • Brasília, DF, BR