Data Engineer: Python, Airflow & Azure Databricks Lakehouse

PROSTAFF Schweiz GmbH; Basel; Vor Ort; CHF 110.000 - 160.000; Vollzeit

Zusammenfassung

PROSTAFF Schweiz GmbH sucht einen erfahrenen Data Engineer in Basel, um eine bestehende On-Premise-Datenplattform weiterzuentwickeln und in eine moderne Azure Databricks Lakehouse-Architektur zu transformieren.

Zu den Aufgaben gehören der Aufbau von Data Products, Ingestion- und Transformationspipelines, Gewährleistung von Datenqualität und Performance sowie die Entwicklung von Airflow-DAGs. Sie arbeiten eng mit Data Architect, DevOps Engineer und Product Owner zusammen.

Qualifikationen

• Mehrere Jahre Berufserfahrung als Data Engineer.
• Sehr gute Python-Kenntnisse, insbesondere pandas, polars und Poetry.
• Fundierte Erfahrung mit Apache Airflow.
• Sehr gute SQL- und PostgreSQL-Kenntnisse.
• Erfahrung mit Azure Databricks.
• Kenntnisse in Docker, Kubernetes oder OpenShift.
• Erfahrung mit Azure DevOps / CI/CD.
• Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen.
• Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3.
• Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit.

Aufgaben

• Entwicklung und Weiterentwicklung von Data Products
• Aufbau und Pflege von Ingestion- und Transformationspipelines
• Sicherstellung von Datenqualität und Performance
• Entwicklung und Verwaltung von Apache-Airflow-DAGs
• Mitarbeit bei Architekturentscheidungen rund um die Data Platform
• Unterstützung der Migration in Richtung Azure Databricks
• Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
• Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen

Kenntnisse

Python (pandas/polars/Poetry)

Airflow

SQL / PostgreSQL

Azure Databricks

Docker / Kubernetes / OpenShift

Azure DevOps / CI/CD

Data Mesh / Data Contracts

Lakehouse architecture

JupyterHub

MinIO S3

Tools

Acryl DataHub

MinIO S3

JupyterHub

Jobbeschreibung

PROSTAFF Schweiz GmbH sucht einen erfahrenen Data Engineer in Basel, um eine bestehende On-Premise-Datenplattform weiterzuentwickeln und in eine moderne Azure Databricks Lakehouse-Architektur zu transformieren.

Zu den Aufgaben gehören der Aufbau von Data Products, Ingestion- und Transformationspipelines, Gewährleistung von Datenqualität und Performance sowie die Entwicklung von Airflow-DAGs. Sie arbeiten eng mit Data Architect, DevOps Engineer und Product Owner zusammen.