Data Engineer | Senior

Compass UOL; Brasil; Presencial; BRL 120.000 - 180.000; Tempo integral

Resumo da oferta

A Compass UOL busca um engenheiro de dados para colaboração na definição de práticas de engenharia e arquitetura de dados. O profissional irá desenvolver pipelines escaláveis utilizando Azure Databricks e garantir a qualidade dos dados, implementando soluções eficientes e práticas de teste.

Qualificações

• Experiência em Azure Databricks e Azure Cloud.
• Domínio em Azure Data Factory.
• Experiência consolidade com desenvolvimento em Databricks (PySpark).

Responsabilidades

• Projetar e desenvolver pipelines de dados escaláveis.
• Implementar transformações de dados complexas e limpeza de dados.
• Garantir qualidade e integridade dos dados.

Conhecimentos

Engenharia de Dados

Arquitetura de Dados

Data Pipeline

Python

PySpark

Manipulação de Dados

Ferramentas

Azure Databricks

Azure Data Factory

Pandas

Spark

Descrição da oferta de emprego

Job description

.

Main responsibilities

• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados com Azure Data Factory;
• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks para processamento e análise de grandes conjuntos de dados;
• Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
• Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
• Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
• Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
• Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
• Manter documentação técnica abrangente para os processos e soluções implementadas.

Requirements and skills

• Experiência em Azure Databricks e Azure Cloud;
• Domínio em Azure Data Factory;
• Experiência consolidada com desenvolvimento em Databricks (PySpark);
• Experiência em desenvolvimento com Python, preferencialmente com a biblioteca ElemmentTree;
• Conhecimento em Pandas;
• Conhecimento em Spark.

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

Additional information

#remote

"remote"