Data Engineer | Junior (Remote)

Compass UOL; Teletrabalho; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados está procurando um profissional para construir pipelines de dados e otimizar data lakes em ambientes Azure e GCP. O candidato deve ter forte conhecimento em Spark e Databricks, além de experiência com Azure Data Factory e segurança de dados. Este papel é fundamental para garantir a eficiência no tratamento de dados estruturados e não estruturados. Os candidatos devem ter experiência em Python e SQL, e práticas de governança são valorizadas.

Qualificações

• Conhecimento em Spark e Databricks é essencial.
• Experiência com Azure Data Factory e ferramentas relacionadas ao Azure.
• Programação em Python e SQL relevantes para engenharia de dados.

Responsabilidades

• Construir pipelines de dados em ambiente Azure e GCP.
• Otimizar e monitorar data lakes.
• Modelar dados nas camadas bronze, prata e ouro.

Conhecimentos

Spark

Databricks

GCP

Azure Data Factory

Python

SQL

Governança de Dados

Descrição da oferta de emprego

Responsabilidades e atribuições

• Construir pipelines de dados para ingestão, processamento e tratamento de dados estruturados e não estruturados em ambiente Azure + Databricks e GCP;
• O profissional será responsável pela manipulação e ingestão de dados, bem como automatização da ingestão;
• Projetar modelagem de dados transacional e realizar a modelagem nas camadas bronze, prata e ouro;
• Monitorar esteira de dados e manter documentação padronizada;
• Reestruturação e otimização de data lakes;

Requisitos e qualificações

• Conhecimento em Spark e Databricks;
• Conhecimento em GCP;
• Experiência com Azure Data Factory e outras ferramentas do ecossistema Azure;
• Familiaridade com práticas de naming convention e padronização de dados;
• Experiência em programação com Python, SQL e outras linguagens relevantes para engenharia de dados;
• Conhecimento de segurança de dados e práticas de governança;
• Experiência com ferramentas de versionamento de código;