Databricks Data Engineer | Mid/Senior

Compass.uol; Brasil; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em crescimento, Compass UOL, está em busca de um engenheiro de dados para projetar e desenvolver pipelines escaláveis. O profissional colaborará com equipes multidisciplinares, utilizando ferramentas como Databricks e Python, e terá a oportunidade de trabalhar em um ambiente remoto. Se você possui experiência em ETL e uma paixão por dados, esta pode ser a sua chance de crescer profissionalmente.

Qualificações

• Experiência na criação e sustentação de pipelines ETL para bases de dados analíticas.
• Domínio em SQL e Banco de Dados SQL.
• Experiência com Python, Spark e PySpark.

Responsabilidades

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks.
• Implementar transformações de dados complexas e otimizar o desempenho do código.
• Garantir a qualidade e integridade dos dados.

Conhecimentos

SQL

Python

PySpark

ETL

Data Governance

Git Workflow

Ferramentas

Azure Databricks

AWS

Airflow

Control-M

Descrição da oferta de emprego

Job description

.

Main responsibilities

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
• Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
• Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
• Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
• Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
• Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
• Manter documentação técnica abrangente para os processos e soluções implementadas.

Requirements and skills

• Experiência na criação e sustentação de pipelines ETL para bases de dados analíticas;
• Domínio em SQL (DML, DDL, DQL) e Banco de Dados SQL (Oracle, SQL Server, PostgreSQL);
• Experiência com Python, Spark, PySpark e Spark SQL;
• Conhecimento em Azure Databricks, Azure Data Factory, Azure Dataflow e Synapse Analytics;
• Conhecimento em AWS;
• Experiência com virtualização de dados de diversas fontes (SQL, NoSQL, ServiceNow, arquivos CSV/JSON, etc.);
• Habilidades no desenvolvimento de processos ETL e workflows;
• Experiência com Containers e orquestradores como Airflow e Control-M;
• Conhecimento sobre Governança e Arquitetura de Dados;
• Experiência em monitoramento e metodologias de mensuração de resultado;
• Domínio de Git Workflow (Git, GitHub) e geração de scripts;
• Desejável: Experiência com ingestão e migração de bases de dados legadas para nuvem (Oracle/SQL Server/PostgreSQL on-premise para cloud).

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

Additional information

#remote

"remote"