Databricks Data Engineer | Mid/Senior

Compass UOL; Brasil; Teletrabalho; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia de dados está em busca de um profissional para desenvolver e manter pipelines de ingestão e transformação de dados. O candidato ideal terá experiência com Databricks, PySpark e SQL, além de habilidades em migração de dados e modelagem. A vaga é remota e oferece oportunidades de crescimento e desenvolvimento contínuo.

Responsabilidades

• Desenvolver e manter pipelines de ingestão e transformação de dados.
• Criar soluções escaláveis para integração e validação de dados.
• Atuar em projetos de migração de dados para garantir a qualidade das informações.
• Realizar modelagem de dados e apoiar iniciativas de arquitetura da informação.
• Integrar dados de fontes externas em projetos analíticos.
• Contribuir para a melhoria contínua de processos.

Conhecimentos

Experiência com Databricks

Domínio de PySpark

Programação em Python

SQL avançado

Vivência com modelagem de dados

Integração de dados via APIs

Migração de dados

Ambientes Azure e AWS

AWS DataSync

Descrição da oferta de emprego

Job description

.

Main responsibilities

• Desenvolver e manter pipelines de ingestão e transformação de dados;
• Criar soluções escaláveis para integração e validação de dados entre diferentes sistemas;
• Atuar em projetos de migração de dados, garantindo a consistência e qualidade das informações;
• Realizar modelagem de dados e apoiar iniciativas de arquitetura da informação;
• Integrar dados de fontes externas e colaborar com times multidisciplinares em projetos analíticos e operacionais;
• Contribuir para a melhoria contínua de processos, com foco em eficiência, escalabilidade e governança.

Requirements and skills

• Experiência com Databricks (Jobs, Notebooks, Workflows);
• Domínio de PySpark e Spark SQL;
• Conhecimento avançado em programação Python e SQL;
• Vivência com modelagem de dados (conceitual, lógica e física);
• Capacidade de consumir e integrar dados via APIs RESTful e SOAP;
• Experiência em migração de dados e realização de testes de validação;
• Familiaridade com ambientes Azure e AWS, com foco em projetos de migração entre nuvens;
• Conhecimento em AWS DataSync para sincronização de dados.

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

Additional information

#remote

"remote"