Senior Data Engineer

Deggan; Jakarta Selatan; On-site; IDR 450,000,000 - 750,000,000; Full time

Job summary

Deggan sedang membangun tim data untuk proyek pilot platform data di Jakarta. Proyek ini membangun super dashboard bagi Direksi yang merangkum data lima divisi dengan pengukuran mutu data harian dan lineage data.

Anda akan bekerja dengan Data Engineer, Data Analyst, dan Fullstack Developer untuk menerapkan pipeline produksi menggunakan Apache Airflow, dbt, dan lakehouse pada lingkungan on-premise. Pengalaman min. 5 tahun diperlukan.

Qualifications

• Minimal 5 tahun pengalaman sebagai Data Engineer.
• Pengalaman membangun pipeline produksi dan pemrosesan data skala besar.
• Pengalaman menggunakan Apache Airflow dan dbt di lingkungan produksi.

Responsibilities

• Membangun pipeline incremental dari lima sistem sumber ke lakehouse Apache Iceberg dengan Apache Airflow.
• Mengembangkan model dbt dari bronze, silver, hingga gold, termasuk pengujian mutu data.

Skills

Data Engineering

Apache Airflow

dbt

Production Pipelines

Incremental Load

Tools

Apache Iceberg

Delta Lake

Hudi

Trino

Presto

Spark

Job description

• Durasi: 25 hari kerja, terdiri dari 20 hari on-site selama 4 minggu dan 5 hari pendampingan hypercare dalam 2 minggu berikutnya.
• Perkiraan mulai: Week 3 November, bergantung pada konfirmasi proyek.

Tentang proyek

Kami menyiapkan tim untuk proyek pilot platform data di sebuah perusahaan BUMN di Jakarta. Proyek ini membangun super dashboard bagi Direksi yang merangkum data lima divisi, lengkap dengan pengukuran mutu data harian, penyamaran data pribadi otomatis dan lineage dari sistem sumber sampai dashboard. Seluruh platform berbasis open source dan berjalan di on-premise klien (OKD/OpenShift dan Apache Ozone). Kerangka kerjanya sudah terbukti pada Proof of Concept, sehingga fokus Anda adalah menerapkannya pada data nyata dalam 4 minggu.

• Membangun pipeline incremental dari lima sistem sumber (RDBMS) ke lakehouse Apache Iceberg dengan Apache Airflow.
• Mengembangkan model dbt dari lapisan bronze, silver sampai gold, termasuk pengujian mutu data (completeness, validity, timeliness).
• Mengelola Trino dan katalog Apache Polaris, termasuk aturan penyamaran PII per peran.
• Mengekalibrasi pemindai PII berbasis Microsoft Presidio pada data nyata bersama data steward klien.
• Bekerja erat dengan Data Analyst dan Fullstack Developer, serta mendampingi masa hypercare setelah go-live.
• Minimal 5 tahun pengalaman sebagai Data Engineer, termasuk membangun pipeline produksi.
• Berpengalaman memakai Apache Airflow dan dbt di lingkungan produksi.
• Memahami pemuatan incremental (watermark atau CDC) dari Oracle, PostgreSQL atau MySQL.
• Berpengalaman dengan format tabel lakehouse (Apache Iceberg, Delta Lake atau Hudi) dan query engine terdistribusi (Trino, Presto atau Spark).

Nilai tambah

• Pengalaman dengan OpenShift/OKD, Apache Polaris atau katalog Iceberg REST, OpenMetadata, atau Microsoft Presidio.
• Pengalaman dengan object storage S3-compatible on-premise, seperti Apache Ozone, Ceph atau MinIO.
• Pengalaman proyek di BUMN atau industri telekomunikasi.