Data Engineer

PT Morula Indonesia; Jakarta Pusat; On-site; IDR 200.000.000 - 300.000.000; Full time

Job summary

Sebuah perusahaan teknologi data di Indonesia mencari Data Engineer yang berpengalaman untuk membangun, menguji, dan memelihara pipeline data otomatis. Tanggung jawab termasuk mengoptimalkan arsitektur data untuk efisiensi dan skalabilitas, serta mengelola infrastruktur penyimpanan data di cloud. Kandidat ideal harus memiliki pengalaman dengan Python, SQL, serta teknologi seperti Apache Spark dan Docker. Posisi ini menawarkan peluang untuk bekerja dengan tim bisnis serta ilmuwan data dalam lingkungan yang inovatif.

Benefits

Gaji kompetitif

Lingkungan kerja yang inovatif

Qualifications

• Mahir membangun pipeline data otomatis menggunakan tools ETL/ELT.
• Memiliki pengalaman dengan pemrosesan data skala besar.
• Mengintegrasikan data dari berbagai sumber.

Responsibilities

• Membangun, menguji, dan memelihara pipeline data otomatis.
• Mengoptimalkan arsitektur data untuk skalabilitas.
• Mengelola infrastruktur penyimpanan data di cloud.

Skills

Penguasaan Python

Penguasaan SQL tingkat lanjut

Pengalaman dengan Apache Spark (PySpark/Scala)

Pengalaman dengan Docker dan Kubernetes

Pengalaman dengan CI/CD

Penguasaan Apache Kafka

Infrastruktur sebagai Kode (IaC)

Tools

Apache Airflow

dbt

Apache NiFi

Talend

Terraform

Hadoop (HDFS, YARN, Hive)

Job description

Overview

Mahir membangun, mengoptimalkan, dan memelihara pipeline data otomatis menggunakan tools seperti Apache Airflow, dbt, Apache NiFi, atau Talend.

Menguasai bahasa pemrograman untuk data seperti Python dan SQL tingkat lanjut.

Memiliki pengalaman dengan Scala atau Java untuk pemrosesan data skala besar (big data processing).

Berpengalaman dengan Apache Spark (PySpark/Scala) untuk pemrosesan data terdistribusi yang efisien.

Memahami ekosistem Hadoop (HDFS, YARN, Hive) dan konsep distributed computing.

Menguasai Infrastructure as Code (IaC) menggunakan Terraform, AWS CloudFormation, atau Google Deployment Manager.

Terampil dalam pemodelan data (dimensional modeling, Data Vault 2.0, star/snowflake schema) dan optimasi performa query.

Pengalaman dengan platform streaming (Apache Kafka, Kafka Streams, Apache Flink, Amazon Kinesis).

Menguasai Docker untuk containerization dan Kubernetes.

Terbiasa dengan CI/CD untuk pipeline data.

Deskripsi Pekerjaan

Membangun, menguji, dan memelihara pipeline data otomatis (ETL/ELT) dari berbagai sumber

Mengoptimalkan arsitektur data untuk skalabilitas dan efisiensi biaya

Memastikan keandalan dan recoverability pipeline

Mengimplementasikan dan memelihara infrastruktur penyimpanan data (BigQuery, Redshift, Snowflake, Fabric dll.)

Mengelola partisi, indeks, dan kebijakan retensi data

Mengintegrasikan data dari sumber heterogen (database, API, streaming, file)

Mengimplementasikan data validation, cleansing, dan quality checks

Mengembangkan solusi data berskala besar menggunakan teknologi (Spark, Hadoop, Kafka, dll.)

Mengelola infrastruktur data di cloud (AWS, GCP, Azure) dengan Infrastructure as Code (IaC)

Mengimplementasikan solusi streaming data untuk kebutuhan real-time

Berkolaborasi dengan data analyst/scientist untuk menyediakan data yang siap pakai

Membangun dan memelihara tools/platform self-service data untuk tim bisnis

Membuat dokumentasi teknis dan SOP operasional data

Lamaran kamu akan mencakup pertanyaan-pertanyaan berikut:

• Berapa gaji bulanan yang kamu inginkan?
• Kualifikasi mana yang kamu miliki?
• How many years' experience do you have as a Data Engineer?
• Bahasa pemrograman apa saja di bawah ini yang bisa kamu gunakan?
• Berapa tahun pengalaman kerjamu menggunakan query SQL?
• Berapa lama waktu yang kamu butuhkan untuk memberi tahu perusahaanmu saat ini?

Apa yang bisa saya dapatkan sebagai Data Engineer