Senior Data Engineer: Lakehouse, Azure Databricks & Airflow

PROSTAFF Schweiz GmbH; Basel; Vor Ort; CHF 90.000 - 130.000; Vollzeit

Zusammenfassung

PROSTAFF Schweiz GmbH sucht einen erfahrenen Data Engineer für ein anspruchsvolles Data-Engineering-Projekt in der Schweiz. Sie arbeiten an der Weiterentwicklung einer On-Premise-Datenplattform und treiben die Transformation in eine moderne Azure Databricks-Lakehouse-Architektur voran.

Zu Ihrem Aufgabenbereich gehören die Entwicklung von Data Products, der Aufbau von Ingestion- und Transformationspipelines, Gewährleistung von Datenqualität, Airflow-DAGs und die Zusammenarbeit mit Data Architect,

Qualifikationen

• Mehrjährige Berufserfahrung als Data Engineer.
• Sehr gute Kenntnisse in Python (pandas, polars, Poetry).
• Fundierte SQL- und PostgreSQL-Kenntnisse.
• Erfahrung mit Azure Databricks und Data Lakehouse-Architekturen.
• Praxis in Airflow-DAG-Entwicklung und -Wartung.
• Kenntnisse in Docker, Kubernetes/OpenShift und CI/CD.
• Verständnis von Data Mesh, Data Contracts und Lakehouse.
• Selbständige, proaktive Arbeitsweise und hohe Kommunikationsfähigkeit.

Aufgaben

• Entwicklung und Weiterentwicklung von Data Products.
• Aufbau und Pflege von Ingestion- und Transformationspipelines.
• Sicherstellung von Datenqualität und Performance.
• Entwicklung und Verwaltung von Apache Airflow-DAGs.
• Unterstützung bei Architekturentscheidungen rund um die Data Platform.
• Unterstützung der Migration in Richtung Azure Databricks.
• Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner.
• Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen.

Kenntnisse

Python (pandas/polars/Poetry)

SQL & PostgreSQL

Data governance / data quality

Data Mesh concepts

Team collaboration / communication

Tools

Apache Airflow

Azure Databricks

Docker

Kubernetes/OpenShift

Azure DevOps / CI/CD

JupyterHub

Acrylic DataHub

MinIO S3

Jobbeschreibung

PROSTAFF Schweiz GmbH sucht einen erfahrenen Data Engineer für ein anspruchsvolles Data-Engineering-Projekt in der Schweiz. Sie arbeiten an der Weiterentwicklung einer On-Premise-Datenplattform und treiben die Transformation in eine moderne Azure Databricks-Lakehouse-Architektur voran.

Zu Ihrem Aufgabenbereich gehören die Entwicklung von Data Products, der Aufbau von Ingestion- und Transformationspipelines, Gewährleistung von Datenqualität, Airflow-DAGs und die Zusammenarbeit mit Data Architect,