Data Engineer – Python / Airflow / Azure Databricks (m/w/d)

PROSTAFF Schweiz GmbH; Basel; Vor Ort; CHF 90.000 - 130.000; Vollzeit

Zusammenfassung

PROSTAFF Schweiz GmbH sucht einen erfahrenen Data Engineer für ein anspruchsvolles Data-Engineering-Projekt in der Schweiz. Sie arbeiten an der Weiterentwicklung einer On-Premise-Datenplattform und treiben die Transformation in eine moderne Azure Databricks-Lakehouse-Architektur voran.

Zu Ihrem Aufgabenbereich gehören die Entwicklung von Data Products, der Aufbau von Ingestion- und Transformationspipelines, Gewährleistung von Datenqualität, Airflow-DAGs und die Zusammenarbeit mit Data Architect,

Qualifikationen

• Mehrjährige Berufserfahrung als Data Engineer.
• Sehr gute Kenntnisse in Python (pandas, polars, Poetry).
• Fundierte SQL- und PostgreSQL-Kenntnisse.
• Erfahrung mit Azure Databricks und Data Lakehouse-Architekturen.
• Praxis in Airflow-DAG-Entwicklung und -Wartung.
• Kenntnisse in Docker, Kubernetes/OpenShift und CI/CD.
• Verständnis von Data Mesh, Data Contracts und Lakehouse.
• Selbständige, proaktive Arbeitsweise und hohe Kommunikationsfähigkeit.

Aufgaben

• Entwicklung und Weiterentwicklung von Data Products.
• Aufbau und Pflege von Ingestion- und Transformationspipelines.
• Sicherstellung von Datenqualität und Performance.
• Entwicklung und Verwaltung von Apache Airflow-DAGs.
• Unterstützung bei Architekturentscheidungen rund um die Data Platform.
• Unterstützung der Migration in Richtung Azure Databricks.
• Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner.
• Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen.

Kenntnisse

Python (pandas/polars/Poetry)

SQL & PostgreSQL

Data governance / data quality

Data Mesh concepts

Team collaboration / communication

Tools

Apache Airflow

Azure Databricks

Docker

Kubernetes/OpenShift

Azure DevOps / CI/CD

JupyterHub

Acrylic DataHub

MinIO S3

Jobbeschreibung

Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.

• Entwicklung und Weiterentwicklung von Data Products

• Aufbau und Pflege von Ingestion- und Transformationspipelines

• Sicherstellung von Datenqualität und Performance

• Entwicklung und Verwaltung von Apache-Airflow-DAGs

• Mitarbeit bei Architekturentscheidungen rund um die Data Platform

• Unterstützung der Migration in Richtung Azure Databricks

• Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner

• Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen

• Mehrjährige Erfahrung als Data Engineer

• Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry

• Fundierte Erfahrung mit Apache Airflow

• Sehr gute SQL- und PostgreSQL-Kenntnisse

• Erfahrung mit Azure Databricks

• Kenntnisse in Docker, Kubernetes oder OpenShift

• Erfahrung mit Azure DevOps / CI/CD

• Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen

• Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3

• Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit