AWS Data Engineer | Senior

Compass UOL; Brasil; Teletrabalho; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia no Brasil está buscando um profissional experiente para desenvolver e otimizar soluções de dados em larga escala. O candidato ideal deve ter proficiência em Airflow e experiência com AWS, além de habilidades em Python e Scala. O trabalho é remoto e oferece a chance de crescimento profissional em um ambiente inovador.

Qualificações

• Proficiência em Airflow para orquestração de pipelines de dados.
• Experiência com Amazon S3 para armazenamento distribuído.
• Experiência com AWS EMR para processamento escalável.
• Banco de Dados SQL e otimização de consultas.
• Experiência com Spark (PySpark) para processamento em larga escala.
• Experiência em Python e Scala para transformação de dados.
• Conhecimento em Iceberg para versionamento de dados.
• Conhecimento em Parquet como formato otimizado.

Responsabilidades

• Desenvolver e otimizar soluções de dados em larga escala em nuvem.
• Criar DAGs e workflows de orquestração de dados utilizando Airflow.
• Implementar scripts em Python e Scala conforme regras de negócio.
• Garantir a qualidade e governança dos dados em pipelines.
• Colaborar com áreas de negócio para soluções técnicas robustas.

Conhecimentos

Airflow

Amazon S3

AWS EMR

SQL

Spark (PySpark)

Python

Scala

Iceberg

Parquet

Descrição da oferta de emprego

Job description

.

Main responsibilities

• Desenvolver e otimizar soluções de dados em larga escala em ambientes distribuídos e em nuvem (AWS);
• Criar DAGs e workflows de orquestração de processos de transformação e integração de dados utilizando Airflow;
• Implementar scripts e aplicações em Python e Scala para atender às regras de negócio e necessidades específicas da BU;
• Aplicar regras de negócio e validações para garantir a consistência, integridade e qualidade dos dados, especialmente na camada Gold;
• Realizar transformações complexas utilizando Spark (PySpark) e SQL, assegurando performance e escalabilidade;
• Utilizar Amazon S3 para armazenamento e AWS EMR para processamento distribuído de grandes volumes de dados;
• Implementar e gerenciar tabelas Iceberg e arquivos Parquet, garantindo versionamento, governança e otimização do armazenamento;
• Empregar ClickHouse como tecnologia complementar para análises de alta performance;
• Garantir qualidade, governança e monitoramento contínuo dos pipelines de dados, promovendo automação e observabilidade;
• Colaborar com áreas de negócio e times de produto para traduzir requisitos em soluções técnicas robustas.

Requirements and skills

• Proficiência em Airflow – orquestração e agendamento de pipelines de dados;
• Experiência com em Amazon S3 – armazenamento distribuído;
• Experiência com em AWS EMR – processamento distribuído e escalável;
• Banco de Dados SQL – modelagem, consultas e otimização;
• Experiência comSpark (PySpark) – processamento de dados em larga escala;
• Experiência com Python e Scala – desenvolvimento de scripts e aplicações de transformação;
• Conhecimento em Iceberg – versionamento e governança de dados;
• Conhecimento em Parquet – formato otimizado de armazenamento columnar.

Diferencial :ClickHouse,Java,Parquet avançado,Scrum e metodologias ágeis .

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

Additional information

#remote

remote