Databricks/Python Developer Senior | Remote

Compass UOL; Brasil; Remoto; BRL 180.000 - 300.000; Tempo integral

Benefícios oferecidos por esta vaga

Vale-alimentação

Vale-refeição

Plano de saúde

Plano odontológico

Seguro de vida

Auxílio home office

Programa de certificações e capacita\u

Resumo da vaga

A Compass UOL está contratando um Engenheiro de Dados para projetar e manter pipelines escaláveis com Databricks (PySpark), integrando dados complexos com Python (Pandas) e XML (ElementTree).

O profissional trabalhará com equipes de Engenharia de Dados, Analytics e Ciência de Dados, assegurando qualidade, monitoramento e documentação abrangente dos processos e soluções.

Qualificações

• Experiência no desenvolvimento de pipelines de dados com Databricks (PySpark).
• Manipulação de dados com Python (Pandas) e XML usando ElementTree.
• Garantia de qualidade e integridade dos dados com testes e monitoramento.
• Colaboração com equipes de Engenharia de Dados e Ciência de Dados.
• Conhecimento em plataformas de nuvem, especialmente Microsoft Azure.
• Otimização de desempenho de pipelines e processamento distribuído.
• Documentação técnica abrangente de pipelines e soluções.

Responsabilidades

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark).
• Colaborar com equipes de engenharia e ciência de dados para entender requisitos.
• Implementar transformações de dados, limpeza e agregações com PySpark.
• Utilizar Python ElementTree para manipulação de XML e integração de dados.
• Desenvolver scripts em Python com Pandas para dados estruturados.
• Garantir qualidade, integridade, testes e monitoramento de dados.
• Documentar processos e soluções de engenharia de dados.

Conhecimentos

Python

PySpark

Databricks

Pandas

XML ElementTree

Data quality

Data pipelines

Azure

Big data

Code optimization

Ferramentas

Databricks

Azure

Descrição da vaga

Job type: Full-time employee Full-time employee

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
• Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
• Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
• Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
• Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
• Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
• Manter documentação técnica abrangente para os processos e soluções implementadas.
• Experiência no desenvolvimento de soluções de dados utilizando Python;
• Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark);
• Vivência com processamento, transformação e análise de grandes volumes de dados;
• Experiência com manipulação e tratamento de dados utilizando Pandas;
• Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree;
• Experiência com plataformas de nuvem, especialmente Microsoft Azure;
• Conhecimento em práticas de qualidade, integridade e monitoramento de dados;
• Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados.
• Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados;
• Conhecimento em otimização de performance de pipelines e processamento distribuído;
• Familiaridade com documentação técnica de processos, pipelines e soluções de dados.
• Vale-alimentação e/ou vale-refeição;
• Plano de saúde e plano odontológico;
• Plano de saúde para o seu pet;
• Auxílio home office (para vagas remotas);
• Seguro de vida;
• Zenklub, com acompanhamento psicológico e nutricional;
• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
• Parcerias e descontos para o seu desenvolvimento;
• Acesso ao conteúdo UOL;
• Kit maternidade;
• Licença maternidade e paternidade estendidas;
• Programa de indicações.
• Step 4: Cadastro de Qualificação 4 Cadastro de Qualificação
• Step 5: Oferta e Negociação 5 Oferta e Negociação