Python Developer

DiPStrategy - PT Digi Porta Semesta; Daerah Khusus Ibukota Jakarta; On-site; IDR 200.000.000 - 300.000.000; Full time

Job summary

A leading data-driven company in Jakarta seeks a skilled Python developer to enhance their data processing capabilities. You will work with advanced big data technologies, collaborating closely with engineers and analysts to implement high-quality solutions. The ideal candidate will have strong analytical skills and be adept in managing data governance while ensuring compliance with business standards.

Qualifications

• Strong experience in Python focusing on PySpark.
• Deep understanding of relational databases and data warehousing concepts.
• Familiar with big data ecosystem including Hadoop and Spark.

Responsibilities

• Develop and maintain Python-based applications with PySpark for large-scale data processing.
• Build and optimize data pipelines using Spark SQL and DataFrame API.
• Ensure data quality, consistency, and compliance with company standards.

Skills

Python

PySpark

Relational databases

Data governance

Big data ecosystem

Tools

Collibra

Job description

Tanggung Jawab & Job Desk

• Mengembangkan dan memelihara aplikasi berbasis Python dengan library PySpark untuk pemrosesan data skala besar.
• Membangun dan mengoptimalkan pipeline data dengan Spark SQL, DataFrame API, dan Spark Streaming.
• Mengelola metadata, lineage, dan governance data menggunakan Data Catalog tools (Collibra/Alation/DataHub dll.).
• Memastikan kualitas data, konsistensi, dan compliance dengan standar perusahaan.
• Berkolaborasi dengan tim data engineer & analyst untuk mengintegrasikan solusi data.
• Berpartisipasi dalam diskusi arsitektur untuk memastikan solusi yang dikembangkan sesuai dengan kebutuhan bisnis dan teknologi
  
  

Kualifikasi & Persyaratan

Technical Skills:

• Pengalaman kuat dalam Python dengan fokus pada PySpark.
• Pemahaman mendalam tentang relational databases (SQL, PostgreSQL, MySQL, etc.) dan konsep data warehousing.
• Pengalaman dalam menggunakan tools data katalog seperti Collibra, termasuk konfigurasi, integrasi, dan pengelolaan metadata.
• Familiar dengan big data ecosystem (Hadoop, Hive, Spark, Delta Lake, etc.).
  
  

Soft Skills & Lainnya

• Kemampuan analitis yang kuat dan perhatian terhadap detail.
• Bisa bekerja dalam tim maupun mandiri.
• Komunikasi yang baik untuk berkolaborasi dengan stakeholder non-teknis.