Senior Data Engineer - Lakehouse Pipelines & PII Steward

Deggan; Jakarta Selatan; On-site; IDR 450,000,000 - 750,000,000; Full time

Job summary

Deggan sedang membangun tim data untuk proyek pilot platform data di Jakarta. Proyek ini membangun super dashboard bagi Direksi yang merangkum data lima divisi dengan pengukuran mutu data harian dan lineage data.

Anda akan bekerja dengan Data Engineer, Data Analyst, dan Fullstack Developer untuk menerapkan pipeline produksi menggunakan Apache Airflow, dbt, dan lakehouse pada lingkungan on-premise. Pengalaman min. 5 tahun diperlukan.

Qualifications

• Minimal 5 tahun pengalaman sebagai Data Engineer.
• Pengalaman membangun pipeline produksi dan pemrosesan data skala besar.
• Pengalaman menggunakan Apache Airflow dan dbt di lingkungan produksi.

Responsibilities

• Membangun pipeline incremental dari lima sistem sumber ke lakehouse Apache Iceberg dengan Apache Airflow.
• Mengembangkan model dbt dari bronze, silver, hingga gold, termasuk pengujian mutu data.

Skills

Data Engineering

Apache Airflow

dbt

Production Pipelines

Incremental Load

Tools

Apache Iceberg

Delta Lake

Hudi

Trino

Presto

Spark

Job description

Deggan sedang membangun tim data untuk proyek pilot platform data di Jakarta. Proyek ini membangun super dashboard bagi Direksi yang merangkum data lima divisi dengan pengukuran mutu data harian dan lineage data.

Anda akan bekerja dengan Data Engineer, Data Analyst, dan Fullstack Developer untuk menerapkan pipeline produksi menggunakan Apache Airflow, dbt, dan lakehouse pada lingkungan on-premise. Pengalaman min. 5 tahun diperlukan.