Desenvolvedor Databricks/Python

Compass UOL; Brasil; Presencial; BRL 120 000 - 180 000; Tempo integral

Resumo da oferta

A Compass UOL procura uma pessoa desenvolvedora com experiência em engenharia de dados para atuar na construção, evolução e sustentação de soluções de processamento de dados em larga escala. Você trabalhará com Python, Databricks (PySpark) e Azure, colaborando com equipes de engenharia, analytics e ciência de dados para transformar dados em informações estratégicas.

Como parte da equipe, será responsável por projetar pipelines, implementar transformações, otimizar desempenho e manter

Qualificações

• Experiência em desenvolvimento de soluções de dados com Python.
• Experiência em construção/manutenção de pipelines com Databricks (PySpark).
• Processamento, transformação e análise de grandes volumes de dados.
• Manipulação de dados com Pandas (estruturação e análise).
• Leitura, processamento e integração de dados XML com Python ElementTree.
• Conhecimento de plataformas de nuvem, especialmente Microsoft Azure.
• Práticas de qualidade, integridade e monitoramento de dados.
• Colaboração com times de engenharia de dados, analytics e ciência de dados.

Responsabilidades

• Projetar e desenvolver pipelines de dados escaláveis com Databricks (PySpark).
• Colaborar com equipes de engenharia e ciência de dados para entender requisitos.
• Implementar transformações de dados e otimizar código.
• Utilizar Python ElementTree para manipulação de XML.
• Desenvolver scripts com Pandas para análise de dados.
• Garantir qualidade e integridade dos dados com testes/monitoramento.
• Definir e aplicar boas práticas de engenharia de dados e documentação.

Conhecimentos

Python

Databricks (PySpark)

Azure

Pandas

XML ElementTree

Big data processing

Data quality & monitoring

Ferramentas

Databricks

PySpark

Descrição da oferta de emprego

Estamos em busca de uma pessoa desenvolvedora com experiência em tecnologias de engenharia de dados para atuar na construção, evolução e sustentação de soluções de processamento de dados em larga escala. Procuramos alguém com sólida experiência em Python, Databricks e Azure, para apoiar a transformação de dados em informações estratégicas para o negócio.

Responsabilidades e atribuições:

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
• Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
• Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
• Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
• Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
• Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
• Manter documentação técnica abrangente para os processos e soluções implementadas.

Requisitos:

• Experiência no desenvolvimento de soluções de dados utilizando Python;
• Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark);
• Vivência com processamento, transformação e análise de grandes volumes de dados;
• Experiência com manipulação e tratamento de dados utilizando Pandas;
• Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree;
• Experiência com plataformas de nuvem, especialmente Microsoft Azure;
• Conhecimento em práticas de qualidade, integridade e monitoramento de dados;
• Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados.
• Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados;
• Conhecimento em otimização de performance de pipelines e processamento distribuído;
• Familiaridade com documentação técnica de processos, pipelines e soluções de dados.