Databricks Developer | Senior

Compass UOL; Brasil; Teletrabalho; BRL 120.000 - 160.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em crescimento busca um Desenvolvedor para trabalhar com dados em projetos baseados em Azure e Databricks. O profissional será responsável por projetar e implementar pipelines de dados, colaborando com diversas equipes para garantir a qualidade e eficiência nas integrações de dados. Se você é apaixonado por dados e deseja desenvolver suas habilidades em um ambiente dinâmico, essa é a sua chance!

Qualificações

• Experiência consolidada com desenvolvimento em Databricks (PysPark).
• Experiência em desenvolvimento com Python, preferencialmente com a biblioteca ElementTree.
• Conhecimento em Pandas e Spark.

Responsabilidades

• Desenvolver pipelines de dados escaláveis usando Databricks (PySpark).
• Colaborar com equipes de engenharia e ciência de dados.
• Implementar transformações de dados complexas e garantir a qualidade dos dados.

Conhecimentos

Desenvolvimento em Databricks

Python

Pandas

Spark

Azure Cloud

Azure Data Factory

Descrição da oferta de emprego

Job description

.

Main responsibilities

• Desenvolvedor nas tecnologias Azure, Databricks (PysPark), Phyton ElemmentTree e Pandas.
• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
• Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
• Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
• Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
• Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
• Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
• Manter documentação técnica abrangente para os processos e soluções implementadas.

Requirements and skills

• Experiência consolidada com desenvolvimento em Databricks (PysPark);
• Experiência em desenvolvimento com Python, preferencialmente com a biblioteca ElemmentTree;
• Conhecimento em Pandas;
• Conhecimento em Spark;
• Experiência em Azure Cloud;
• Domínio em Azure Data Factory.

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

Additional information

#remote

"remote"