Scala Data Engineer | Senior

Compass UOL; Brasil; Teletrabalho; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia busca um profissional para trabalhar em remota, que irá criar workflows de transformação e implementar scripts em Python e Scala, garantindo a integridade dos dados. A experiência em AWS e ClickHouse é desejável. O candidato ideal deve ter proficiência em SQL e conhecimentos em modelagem de dados.

Responsabilidades

• Criação de workflows para orquestração de processos de transformação.
• Implementação de scripts em Python e Scala.
• Garantia de consistência e integridade dos dados na camada Gold.
• Utilização de AWS S3 para armazenamento.
• Implementação de tabelas com Iceberg para versionamento.
• Uso de ClickHouse como tecnologia complementar.

Conhecimentos

Proficiência em SQL

Entendimento de modelagem de dados

Experiência com ETL

Experiência com cloud AWS (S3 e EMR)

Experiência com Python

Experiência com Scala

Conhecimento desejável: ClickHouse

Descrição da oferta de emprego

Job description

Main responsibilities

• Criação de workflows para orquestração de processos de transformação;
• Implementação de scripts em Python e Scala;
• Aplicação de regras de negócio (ex.: exclusão de dados originados no positivo);
• Garantia de consistência e integridade dos dados na camada Gold;
• Utilização de AWS S3 para armazenamento e AWS EMR para processamento distribuído;
• Implementação de tabelas com Iceberg para versionamento e governança;
• Uso de ClickHouse como tecnologia complementar.

Requirements and skills

• Proficiência em SQL;
• Entendimento de modelagem de dados;
• Experiência com ETL;
• Experiência com cloud AWS (S3 e EMR);
• Experiência com Python;
• Experiência com Scala;
• Conhecimento desejável: ClickHouse.

Additional information

#remote

remote