Data Engineer – Python / Airflow / Azure Databricks (m/w/d)

PROSTAFF Schweiz GmbH; Basel; Vor Ort; CHF 110.000 - 160.000; Vollzeit

Zusammenfassung

PROSTAFF Schweiz GmbH sucht einen erfahrenen Data Engineer in Basel, um eine bestehende On-Premise-Datenplattform weiterzuentwickeln und in eine moderne Azure Databricks Lakehouse-Architektur zu transformieren.

Zu den Aufgaben gehören der Aufbau von Data Products, Ingestion- und Transformationspipelines, Gewährleistung von Datenqualität und Performance sowie die Entwicklung von Airflow-DAGs. Sie arbeiten eng mit Data Architect, DevOps Engineer und Product Owner zusammen.

Qualifikationen

• Mehrere Jahre Berufserfahrung als Data Engineer.
• Sehr gute Python-Kenntnisse, insbesondere pandas, polars und Poetry.
• Fundierte Erfahrung mit Apache Airflow.
• Sehr gute SQL- und PostgreSQL-Kenntnisse.
• Erfahrung mit Azure Databricks.
• Kenntnisse in Docker, Kubernetes oder OpenShift.
• Erfahrung mit Azure DevOps / CI/CD.
• Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen.
• Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3.
• Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit.

Aufgaben

• Entwicklung und Weiterentwicklung von Data Products
• Aufbau und Pflege von Ingestion- und Transformationspipelines
• Sicherstellung von Datenqualität und Performance
• Entwicklung und Verwaltung von Apache-Airflow-DAGs
• Mitarbeit bei Architekturentscheidungen rund um die Data Platform
• Unterstützung der Migration in Richtung Azure Databricks
• Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
• Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen

Kenntnisse

Python (pandas/polars/Poetry)

Airflow

SQL / PostgreSQL

Azure Databricks

Docker / Kubernetes / OpenShift

Azure DevOps / CI/CD

Data Mesh / Data Contracts

Lakehouse architecture

JupyterHub

MinIO S3

Tools

Acryl DataHub

MinIO S3

JupyterHub

Jobbeschreibung

Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.

• Entwicklung und Weiterentwicklung von Data Products

• Aufbau und Pflege von Ingestion- und Transformationspipelines

• Sicherstellung von Datenqualität und Performance

• Entwicklung und Verwaltung von Apache-Airflow-DAGs

• Mitarbeit bei Architekturentscheidungen rund um die Data Platform

• Unterstützung der Migration in Richtung Azure Databricks

• Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner

• Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen

• Mehrjährige Erfahrung als Data Engineer

• Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry

• Fundierte Erfahrung mit Apache Airflow

• Sehr gute SQL- und PostgreSQL-Kenntnisse

• Erfahrung mit Azure Databricks

• Kenntnisse in Docker, Kubernetes oder OpenShift

• Erfahrung mit Azure DevOps / CI/CD

• Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen

• Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3

• Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit