Databricks/Python Developer Senior | Remote

Compass Uol; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Vale alimentação

Plano de saúde

Plano odontológico

Seguro de vida

Auxílio home office

Zenklub

Certificações internas

Descontos para desenvolvimento

Licença parental

Programa de indicações

Acesso ao conteúdo UOL

Job summary

A Compass-Uol precisa de um engenheiro(a) de dados para projetar e manter pipelines de dados em Databricks, usando PySpark e Python para processamento de grandes volumes. Você trabalhará com equipes de engenharia e ciência de dados para entregar soluções eficientes e escaláveis.

É expected a manipulação de dados XML com ElementTree, uso de Pandas para análise e garantia de qualidade com testes. Benefícios incluem home office e suporte a certificações.

Qualifications

• Experiência em pipelines de dados com PySpark.
• Manipulação de dados com Python e Pandas.
• Processamento e transformação de dados XML com Python ElementTree.
• Conhecimento de plataformas de nuvem, especialmente Azure.

Responsibilities

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark).
• Colaborar com equipes de engenharia e ciência de dados para entender requisitos.
• Implementar transformações de dados complexas com PySpark e otimizar desempenho.
• Utilizar Python ElementTree para manipulação de dados XML.
• Desenvolver scripts em Python com Pandas para análise de dados.
• Garantir qualidade e integridade dos dados com testes e monitoramento.
• Documentar processos, pipelines e soluções de dados.

Skills

PySpark

Python

Pandas

XML parsing

Data processing

Tools

Databricks

Azure

Python ElementTree

Job description

Job type: Full-time employee Full-time employee

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
• Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
• Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
• Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
• Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
• Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
• Manter documentação técnica abrangente para os processos e soluções implementadas.
• Experiência no desenvolvimento de soluções de dados utilizando Python;
• Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark);
• Vivência com processamento, transformação e análise de grandes volumes de dados;
• Experiência com manipulação e tratamento de dados utilizando Pandas;
• Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree;
• Experiência com plataformas de nuvem, especialmente Microsoft Azure;
• Conhecimento em práticas de qualidade, integridade e monitoramento de dados;
• Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados.
• Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados;
• Conhecimento em otimização de performance de pipelines e processamento distribuído;
• Familiaridade com documentação técnica de processos, pipelines e soluções de dados.
• Vale-alimentação e/ou vale-refeição;
• Plano de saúde e plano odontológico;
• Plano de saúde para o seu pet;
• Auxílio home office (para vagas remotas);
• Seguro de vida;
• Zenklub, com acompanhamento psicológico e nutricional;
• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
• Parcerias e descontos para o seu desenvolvimento;
• Acesso ao conteúdo UOL;
• Kit maternidade;
• Licença maternidade e paternidade estendidas;
• Programa de indicações.
• Step 4: Cadastro de Qualificação 4 Cadastro de Qualificação
• Step 5: Oferta e Negociação 5 Oferta e Negociação