Data Engineer

Kompas Gramedia - KG Media; Jakarta Barat; On-site; IDR 200.000.000 - 300.000.000; Full time

Job summary

Sebuah perusahaan teknologi data di Indonesia sedang mencari Data Engineer berpengalaman dengan pengalaman 3–5 tahun. Tanggung jawab mencakup merancang dan membangun pipeline data yang andal, serta mengelola proses ETL. Kandidat ideal harus menguasai Python atau Golang dan alat ETL seperti Airflow. Kesempatan untuk bekerja dalam tim dan berkolaborasi dengan berbagai disiplin ilmu.

Qualifications

• Pengalaman 3–5 tahun sebagai Data Engineer atau peran serupa.
• Memahami konsep ETL dan data pipeline orchestration.
• Familiar dengan sistem penyimpanan data seperti S3 dan Hadoop.

Responsibilities

• Merancang dan membangun pipeline data.
• Mengelola proses ETL dari berbagai sumber data.
• Berkolaborasi dengan tim untuk memastikan kualitas data.

Skills

Pemrograman Python

Pemrograman Golang

Optimasi Query SQL

ETL Tools (Airflow, Luigi, dbt, Prefect)

Data Modeling

Cloud Platform (AWS, GCP, Azure)

Data Governance

Data Partitioning

Job description

Job Description

• Merancang, membangun, dan memelihara pipeline data yang andal, efisien, dan skalabel untuk mendukung kebutuhan analisis dan sistem bisnis perusahaan.
• Mengelola ETL (Extract, Transform, Load) process dari berbagai sumber data ke dalam data warehouse atau data lake.
• Berkolaborasi dengan tim Data Analyst, Data Scientist, Backend Engineer, dan Product Manager untuk memastikan kualitas, ketersediaan, serta konsistensi data.
• Meningkatkan performa dan efisiensi sistem pemrosesan data melalui optimasi query, indexing, dan caching.
• Menerapkan data validation, data monitoring, dan data quality checks untuk menjaga integritas data.
• Mengimplementasikan solusi automated data workflow menggunakan orchestrator seperti Airflow atau Prefect.
• Membuat dokumentasi teknis terkait struktur data, alur ETL, serta dependensi antar sistem.
• Menyediakan dukungan teknis terhadap insiden atau issue yang terjadi pada pipeline data produksi.

Minimum Qualifications

• Memiliki pengalaman 3–5 tahun sebagai Data Engineer atau peran serupa (Middle/Medior level).
• Menguasai bahasa pemrograman seperti Python atau Golang untuk pemrosesan data.
• Pengalaman dalam ETL tools (mis. Apache Airflow, Luigi, dbt, Prefect) dan data pipeline orchestration.
• Familiar dengan SQL tingkat lanjut serta optimasi query untuk RDBMS (PostgreSQL, MySQL) dan data warehouse (BigQuery, Snowflake, Redshift).
• Pengalaman dengan data storage system seperti S3, Hadoop, Parquet, atau Delta Lake.
• Memahami konsep data modeling, data governance, dan data partitioning.
• Pengalaman dengan cloud platform (AWS, GCP, atau Azure) termasuk layanan data seperti BigQuery, Redshift, Glue, Dataflow, atau sejenisnya.
• Mampu bekerja mandiri maupun dalam tim dengan komunikasi yang baik dan berpikir analitis.