Senior Data Engineer – Azure Databricks (m/w/d)

Alendris; Augsburg; Hybrid; EUR 90,000 - 130,000; Full time

Benefits offered by this job

Homeoffice möglich

Weiterbildung Databricks/Azure

Direkter Kundenkontakt

Job summary

Alendris sucht einen erfahrenen Senior Data Engineer, der skalierbare Datenpipelines auf Azure Databricks von der Aufnahme bis zum zuverlässigen Datenprodukt betreut. Sie arbeiten eng mit Architekten und Fachteams unserer Kunden zusammen, sichern Qualität und betreiben Lösungen im produktiven Umfeld für Analytics und KI.

Sie arbeiten an Batch- und Streaming-Verarbeitung, implementieren Datenqualitätsprüfungen, Berechtigungen und Data Lineage in Unity Catalog und gestalten die Automatisierung von

Qualifications

• Mehrjährige praktische Erfahrung im Data Engineering mit produktiven Azure-Databricks-Workloads.
• Sehr gute Kenntnisse in Python, PySpark und SQL sowie sicherer Umgang mit Apache Spark und Delta Lake.
• Erfahrung mit Batch- und Streaming-Verarbeitung, Orchestrierung und Fehleranalyse von Datenpipelines.
• Praxis mit Datenqualitätsprüfungen sowie Berechtigungen und Data Lineage in Unity Catalog.
• Kenntnisse von Azure Data Lake Storage, Identitäten und sicherer Anbindung von Datenquellen.
• Erfahrung mit Git, automatisierten Tests und CI/CD sowie eigenständige Verantwortung für die Qualität und den Betrieb deiner Lösungen.
• Strukturierte Arbeitsweise, Freude an der Zusammenarbeit mit Kunden und sehr gute Deutsch- und Englischkenntnisse

Responsibilities

• Entwicklung von Batch- und Streaming-Pipelines mit PySpark, SQL, Delta Lake und Lakeflow Pipelines; Orchestrierung mit Lakeflow Jobs
• Aufbau von Datenmodellen und verlässlichen Bronze-, Silver- und Gold-Schichten für Analytics und KI
• Integration von Daten aus Datenbanken, APIs und Azure-Speicherdiensten einschließlich inkrementeller Verarbeitung
• Implementierung von Datenqualitätsprüfungen in den Pipelines sowie Umsetzung von Berechtigungen und Data Lineage mit Unity Catalog
• Automatisierung von Tests und reproduzierbaren Deployments über Git und CI/CD, beispielsweise mit Declarative Automation Bundles, sowie Monitoring produktiver Pipelines
• Fehleranalyse und Optimierung von Spark-Jobs hinsichtlich Laufzeit, Stabilität und Kosten
• Eigenständige technische Umsetzung, Abstimmung mit Kunden, Code Reviews und Wissensaustausch im Engineering-Team

Skills

Python

PySpark

SQL

Apache Spark

Delta Lake

Unity Catalog

Git

CI/CD

Data Quality

Orchestration

Azure Databricks

Tools

Lakeflow

Azure Databricks

Unity Catalog

Git

CI/CD

Job description

Du entwickelst und betreibst skalierbare Datenpipelines auf Azure Databricks – von der Datenaufnahme bis zum verlässlichen Datenprodukt.

Als Senior Data Engineer bei Alendris entwickelst und betreibst du Datenpipelines auf Azure Databricks. Du verantwortest die technische Umsetzung von der Datenaufnahme bis zum verlässlichen Datenprodukt für Analytics und KI. Dabei arbeitest du eng mit Architekten und den Fachteams unserer Kunden zusammen, sicherst die Qualität deiner Lösungen und entwickelst sie im produktiven Betrieb weiter.

Aufgaben

• Entwicklung von Batch- und Streaming-Pipelines mit PySpark, SQL, Delta Lake und Lakeflow Pipelines; Orchestrierung mit Lakeflow Jobs
• Aufbau von Datenmodellen und verlässlichen Bronze-, Silver- und Gold-Schichten für Analytics und KI
• Integration von Daten aus Datenbanken, APIs und Azure-Speicherdiensten einschließlich inkrementeller Verarbeitung
• Implementierung von Datenqualitätsprüfungen in den Pipelines sowie Umsetzung von Berechtigungen und Data Lineage mit Unity Catalog
• Automatisierung von Tests und reproduzierbaren Deployments über Git und CI/CD, beispielsweise mit Declarative Automation Bundles, sowie Monitoring produktiver Pipelines
• Fehleranalyse und Optimierung von Spark-Jobs hinsichtlich Laufzeit, Stabilität und Kosten
• Eigenständige technische Umsetzung, Abstimmung mit Kunden, Code Reviews und Wissensaustausch im Engineering-Team

Anforderungen

• Mehrjährige praktische Erfahrung im Data Engineering und nachweisbare Erfahrung mit produktiven Azure-Databricks-Workloads
• Sehr gute Kenntnisse in Python, PySpark und SQL sowie sicherer Umgang mit Apache Spark und Delta Lake
• Erfahrung mit Batch- und Streaming-Verarbeitung, Orchestrierung und Fehleranalyse von Datenpipelines
• Praxis mit Datenqualitätsprüfungen sowie Berechtigungen und Data Lineage in Unity Catalog
• Kenntnisse von Azure Data Lake Storage, Identitäten und sicherer Anbindung von Datenquellen
• Erfahrung mit Git, automatisierten Tests und CI/CD sowie eigenständige Verantwortung für die Qualität und den Betrieb deiner Lösungen
• Strukturierte Arbeitsweise, Freude an der Zusammenarbeit mit Kunden und sehr gute Deutsch- und Englischkenntnisse

Wünschenswert, kein Muss

• Erfahrung mit Declarative Automation Bundles (früher Databricks Asset Bundles) für versionierte Deployments in Entwicklungs-, Test- und Produktionsumgebungen
• Eine Databricks-Zertifizierung, beispielsweise Databricks Certified Data Engineer Professional; praktische Projekterfahrung ist uns wichtiger als ein Zertifikat

Wir bieten

• Anspruchsvolle Datenplattform-Projekte mit direktem Einfluss auf Analytics und KI-Anwendungen
• Flexibles Arbeiten – aus unserem Büro in Augsburg mit Möglichkeit auf Homeoffice
• Zeit und Budget für fachliche Weiterbildung zu Databricks und Azure
• Direkter Kundenkontakt und Raum für eigene technische Entscheidungen
• Ein Team mit kurzen Entscheidungswegen und offenem Wissensaustausch
• Attraktive Vergütung und persönliche Entwicklungsperspektiven