Databricks Data Engineer | Senior (Remote)

Compass UOL; Brasil; Presencial; BRL 279 000 - 502 000; Tempo integral

Resumo da oferta

Compass UOL está buscando um Engenheiro de Dados para definir e implementar soluções de dados, conectando necessidades de negócio e tecnologia, projetando arquiteturas como Data Lake e Data Lakehouse.

Você desenvolverá pipelines de dados escaláveis (batch e streaming), garantindo qualidade, governança e segurança, além de mentorar a equipe de engenharia de dados. Trabalhará com times de Dados e Negócio para alinhar estratégias aos objetivos da empresa.

Qualificações

• Experiência sólida em engenharia e arquitetura de dados.
• Conhecimento avançado em plataformas na nuvem (AWS, GCP).
• Conhecimento de pipelines batch e streaming e ferramentas de orquestração.
• Experiência com Data Lake/Data Lakehouse e governança de dados.

Responsabilidades

• Atuar na definição e implementação de soluções de Engenharia de Dados conectando negócio e tecnologia.
• Projetar arquiteturas de dados incluindo Data Lake e Data Lakehouse.
• Desenvolver e gerenciar pipelines de dados escaláveis (batch e streaming).
• Realizar assessment e analisar processos de coleta, organização, transformação e disponibilização de dados.
• Garantir qualidade, governança, segurança e performance dos dados.
• Trabalhar com times de Dados e Negócio para apoiar a tomada de decisões.
• Definir estratégias de dados alinhadas aos objetivos do negócio.
• Mentorar profissionais de Engenharia de Dados.

Conhecimentos

Engenharia de Dados

Arquitetura de Dados

Processamento distribuído

Batch e Streaming

Orquestração (Airflow)

Kafka

dbt

SQL/NoSQL

AWS

GCP

Data Lake

Data Lakehouse

Governança de dados

Segurança de dados

Ferramentas

Azure Data Factory

Databricks

Airflow

Kafka

dbt

PostgreSQL

MongoDB

Cassandra

AWS

GCP

Data Lake

Data Lakehouse

Apache Spark

Descrição da oferta de emprego

• Atuar na definição e implementação de soluções de Engenharia de Dados, conectando necessidades de negócio e tecnologia;
• Projetar e construir arquiteturas de dados, incluindo Data Lake e Data Lakehouse;
• Desenvolver e gerenciar pipelines de dados escaláveis, em processamento batch e streaming;
• Realizar assessment e análise dos processos de coleta, organização, transformação e disponibilização de dados;
• Garantir qualidade, governança, segurança e performance dos dados;
• Trabalhar em parceria com times de Dados e Negócio, apoiando a tomada de decisões;
• Atuar na definição de estratégias de dados alinhadas aos objetivos do negócio;
• Mentorar profissionais de Engenharia de Dados.

Responsabilidades e atribuições

• Atuar na definição e implementação de soluções de Engenharia de Dados, conectando necessidades de negócio e tecnologia;
• Projetar e construir arquiteturas de dados, incluindo Data Lake e Data Lakehouse;
• Desenvolver e gerenciar pipelines de dados escaláveis, em processamento batch e streaming;
• Realizar assessment e análise dos processos de coleta, organização, transformação e disponibilização de dados;
• Garantir qualidade, governança, segurança e performance dos dados;
• Trabalhar em parceria com times de Dados e Negócio, apoiando a tomada de decisões;
• Atuar na definição de estratégias de dados alinhadas aos objetivos do negócio;
• Mentorar profissionais de Engenharia de Dados.

Requisitos e qualificações

• Experiência sólida em Engenharia de Dados e arquitetura de dados;
• Conhecimento avançado em Azure Data Factory e Databricks;
• Experiência com Apache Spark e processamento distribuído;
• Experiência na construção de pipelines batch e streaming;
• Conhecimento em ferramentas de orquestração, como Airflow;
• Conhecimento em Kafka e dbt;
• Experiência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;
• Conhecimento em plataformas e serviços de dados em cloud, AWS e GCP;
• Experiência com arquiteturas Data Lake e Data Lakehouse;
• Conhecimento em práticas de governança, qualidade e segurança de dados.