Databricks Data Engineer | Mid/Senior

Compass UOL; Brasil; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa líder na área de tecnologia está em busca de um Engenheiro de Dados. O candidato ideal deve ter experiência em ETL, SQL e suas ferramentas associadas, colaborando em um ambiente remoto. Você irá projetar pipelines eficientes e deverá ter um forte entendimento de ferramentas de nuvem e monitoramento de dados.

Serviços

Desenvolvimento contínuo

Oportunidades de trabalho remoto

Qualificações

• Experiência em criação de pipelines de dados ETL.
• Domínio em SQL e Banco de Dados.
• Conhecimento em Cloud e ferramentas de virtualização de dados.

Responsabilidades

• Projetar e desenvolver pipelines de dados escaláveis usando Databricks e PySpark.
• Colaborar com equipes de engenharia e ciência de dados para entender requisitos.
• Garantir qualidade e integridade dos dados implementando práticas de teste.

Conhecimentos

SQL

Python

Spark

PySpark

ETL

Ferramentas

Azure Databricks

AWS

Git

Airflow

Descrição da oferta de emprego

Job description

.

Main responsibilities

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
• Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
• Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
• Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
• Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
• Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
• Manter documentação técnica abrangente para os processos e soluções implementadas.

Requirements and skills

• Experiência na criação e sustentação de pipelines ETL para bases de dados analíticas;
• Domínio em SQL (DML, DDL, DQL) e Banco de Dados SQL (Oracle, SQL Server, PostgreSQL);
• Experiência com Python, Spark, PySpark e Spark SQL;
• Conhecimento em Azure Databricks, Azure Data Factory, Azure Dataflow e Synapse Analytics;
• Conhecimento em AWS;
• Experiência com virtualização de dados de diversas fontes (SQL, NoSQL, ServiceNow, arquivos CSV/JSON, etc.);
• Habilidades no desenvolvimento de processos ETL e workflows;
• Experiência com Containers e orquestradores como Airflow e Control-M;
• Conhecimento sobre Governança e Arquitetura de Dados;
• Experiência em monitoramento e metodologias de mensuração de resultado;
• Domínio de Git Workflow (Git, GitHub) e geração de scripts;
• Desejável: Experiência com ingestão e migração de bases de dados legadas para nuvem (Oracle/SQL Server/PostgreSQL on-premise para cloud).

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

Additional information

#remote

"remote"