Remote Databricks & Python Data Engineer

Compass-Uol; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Vale alimentação

Plano de saúde

Plano odontológico

Seguro de vida

Auxílio home office

Zenklub

Certificações internas

Descontos para desenvolvimento

Licença parental

Programa de indicações

Acesso ao conteúdo UOL

Job summary

A Compass-Uol precisa de um engenheiro(a) de dados para projetar e manter pipelines de dados em Databricks, usando PySpark e Python para processamento de grandes volumes. Você trabalhará com equipes de engenharia e ciência de dados para entregar soluções eficientes e escaláveis.

É expected a manipulação de dados XML com ElementTree, uso de Pandas para análise e garantia de qualidade com testes. Benefícios incluem home office e suporte a certificações.

Qualifications

• Experiência em pipelines de dados com PySpark.
• Manipulação de dados com Python e Pandas.
• Processamento e transformação de dados XML com Python ElementTree.
• Conhecimento de plataformas de nuvem, especialmente Azure.

Responsibilities

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark).
• Colaborar com equipes de engenharia e ciência de dados para entender requisitos.
• Implementar transformações de dados complexas com PySpark e otimizar desempenho.
• Utilizar Python ElementTree para manipulação de dados XML.
• Desenvolver scripts em Python com Pandas para análise de dados.
• Garantir qualidade e integridade dos dados com testes e monitoramento.
• Documentar processos, pipelines e soluções de dados.

Skills

PySpark

Python

Pandas

XML parsing

Data processing

Tools

Databricks

Azure

Python ElementTree

Job description

A Compass-Uol precisa de um engenheiro(a) de dados para projetar e manter pipelines de dados em Databricks, usando PySpark e Python para processamento de grandes volumes. Você trabalhará com equipes de engenharia e ciência de dados para entregar soluções eficientes e escaláveis.

É expected a manipulação de dados XML com ElementTree, uso de Pandas para análise e garantia de qualidade com testes. Benefícios incluem home office e suporte a certificações.