Engenheiro de dados SR

Compass UOL; Brasil; Ibrido; BRL 180.000 - 260.000; Tempo pieno

Descrizione del lavoro

A Compass UOL procura um engenheiro de dados sênior para definir e evoluir arquiteturas de dados, com foco em pipelines escaláveis e confiáveis. O candidato trabalhará com Databricks, Spark, Airflow e plataformas cloud, desenvolvendo APIs e automações.

O profissional deverá dominar governança, segurança e observabilidade de pipelines, além de conduzir iniciativas de melhoria de performance e custo. Região Brasil; regime de trabalho remoto híbrido é comum.

Competenze

• Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake.
• Experiência sólida com DLT/Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming.
• Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta.
• Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso.
• Experiência na definição e implementação de Arquitetura de Dados, incluindo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).
• Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados.
• Experiência em Desenvolvimento de APIs (REST) e programação em Python para integrações e automações.
• Conhecimento avançado em Spark Performance Tuning e otimização de planos de execução.
• Experiência com Databricks Workflows, CI/CD, Git e automação de Deploy.

Conoscenze

Databricks

PySpark

Spark SQL

Delta Lake

DLT/Lakeflow

CDC

Structured Streaming

Auto Loader

Unity Catalog

ADF

REST API

Python

Spark Tuning

CI/CD

Git

Observability

Data Lakehouse

Lakehouse Arch.

DevOps

Governança

Strumenti

Databricks

Azure Data Factory

Auto Loader

Lakeflow

Git

Delta Lake

Databricks Workflows

Descrizione del lavoro

• Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade.
• Contrução e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance.
• Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery).
• Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold).
• Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming.
• Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow.
• Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog.
• Desenvolver APIs REST, integrações e automações utilizando Python.
• Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.

Requisitos e qualificações:

• Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake.
• Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming.
• Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta.
• Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso.
• Experiência na definição e implementação de Arquitetura de Dados, incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).
• Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados.
• Experiência em Desenvolvimento de APIs (REST) e programação avançada em Python para construção de integrações, microsserviços e automações.
• Conhecimento avançado em Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução.
• Experiência com Databricks Workflows, CI/CD, Git e Declarative Automation Bundles.
• Capacidade de otimizar workloads, dimensionar recursos computacionais e reduzir custos de processamento.
• Experiência em observabilidade, monitoramento e sustentação de pipelines em produção.
• Capacidade de atuar como referência técnica, orientar profissionais e estabelecer boas práticas de engenharia de dados.
• Certificações desejáveis: Databricks Certified Data Engineer Associate; Databricks Certified Data Engineer Professional.