Senior Cloud Data & AI Engineer (m/w/d) - Databricks

ruhrdot.; Essen; Hybrid; EUR 55.000 - 75.000; Vollzeit

Benefits dieser Stelle

Finanzielle Förderung für Zertifizierungen

Zukunftssicherer Arbeitsplatz

Home-Office-Optionen

Zusammenfassung

ruhrdot. in Essen sucht einen Data Engineer, der moderne Daten- und AI-Plattformen mit Databricks konzipiert und implementiert. Sie entwickeln robuste Pipelines mit Python und SQL und beraten Kunden bei Architekturentscheidungen. Idealerweise verfügen Sie über Erfahrung in der Cloud, insbesondere Azure oder AWS, und sehr gute Kenntnisse in Databricks sowie im Umgang mit Git und CI/CD. Wir bieten eine attraktive Vergütung, Weiterbildungsmöglichkeiten und flexible Home-Office-Optionen.

Qualifikationen

• Mehrjährige Erfahrung im Bereich Data Engineering, Machine Learning Engineering oder AI Engineering.
• Sehr gute Kenntnisse in Databricks, Python, SQL, Spark und PySpark.
• Praxiserfahrung mit mindestens einer Cloud-Plattform, idealerweise Azure oder AWS.

Aufgaben

• Konzipieren und Implementieren moderner Data- & AI-Plattformen.
• Entwickeln robuster Batch- und Streaming-Pipelines.
• Beraten von Kunden bei Architekturentscheidungen rund um Datenplattformen.

Kenntnisse

Databricks

Python

SQL

Spark

PySpark

Cloud-Plattform (Azure oder AWS)

Data Governance

CI/CD

Data Quality

Ausbildung

Abgeschlossenes Studium in Wirtschaftsinformatik, Informatik oder Data Science

Tools

MLflow

Git

Infrastructure-as-Code

Jobbeschreibung

Dein Aufgabengebiet

• Du konzipierst und implementierst moderne Data‑ & AI‑Plattformen auf Basis von Databricks.
• Du entwickelst robuste und performante Batch‑ und Streaming‑Pipelines mit Python, SQL, Spark und PySpark.
• Du arbeitest an skalierbaren Lakehouse‑Architekturen für Analytics, ML und GenAI‑Anwendungsfälle.
• Du nutzt zentrale Databricks‑Komponenten wie Delta Lake, Unity Catalog, Workflows, MLflow, Model Serving und Vector Search in produktiven Umgebungen.
• Du unterstützt beim Aufbau und der Operationalisierung von ML‑, LLM‑ und GenAI‑Use‑Cases sowie bei Themen wie Serving, Retrieval, Evaluation, Monitoring und Governance für moderne AI‑Anwendungen.
• Du integrierst unterschiedliche Quellsysteme wie APIs, Datenbanken, ERP‑ oder CRM‑Systeme.
• Du setzt Anforderungen rund um Data Quality, Security, Governance und Observability technisch um.
• Du automatisierst Deployments und technische Standards mit Git, CI/CD und Infrastructure‑as‑Code.
• Du berätst Kunden und interne Stakeholder bei Architekturentscheidungen rund um Datenplattformen und AI‑Lösungen.
• Du trägst zu Wissensaustausch, technischer Orientierung und Unterstützung weniger erfahrener Kolleginnen und Kollegen bei.

Wesentliche Anforderungen

• Mehrjährige Erfahrung im Bereich Data Engineering, Machine Learning Engineering, AI Engineering oder einer vergleichbaren Rolle.
• Sehr gute Kenntnisse in Databricks sowie in Python, SQL, Spark und PySpark.
• Praxiserfahrung mit mindestens einer Cloud‑Plattform, idealerweise Azure oder AWS.
• Erfahrung im Aufbau und Betrieb moderner Datenplattformen in der Cloud.
• Erfahrung mit MLflow, Model Serving und Vector Search, idealerweise im Databricks‑Umfeld.
• Gute Kenntnisse in modernen AI‑/LLM‑Architekturen (z. B. RAG, Retrieval, Evaluation, Serving und produktive GenAI‑Anwendungen).
• Gutes Verständnis für Lakehouse‑Architekturen, Datenmodellierung und produktive Datenprozesse.
• Erfahrung in Data Governance, Data Quality, Security und Monitoring.
• Sicherer Umgang mit Git, CI/CD und idealerweise Infrastructure‑as‑Code.
• Abgeschlossenes Studium in Wirtschaftsinformatik, Informatik, Data Science oder einem vergleichbaren Studiengang.
• Strukturierte, eigenverantwortliche und lösungsorientierte Arbeitsweise.

Bonus‑Qualifikationen

• Kenntnisse in modernen Generative‑AI‑Anwendungen.
• Erfahrungen mit Azure‑ oder AWS‑Diensten wie Azure Data Factory, S3, IAM, oder Synapse.

Dein Aufstieg innerhalb des Teams

• Vom Experten zum Trusted Advisor: Projektarbeit bei agilen Startups und DAX‑Konzernen.
• Freiraum für innovative Konzepte – von der Ideengestaltung bis zur Produktion.
• Investition in deine Weiterbildung: volles finanzielle Förderung für Zertifizierungen (z. B. Databricks, Cloud‑Provider).
• Zukunftssicherer Arbeitsplatz mit attraktiver Vergütung und Home‑Office‑Optionen.

Über uns

ruhrdot. ist ein dynamisch wachsendes Beratungsunternehmen mit den Kernkompetenzen Prozesse, Daten & Programmierung. Wir spezialisieren uns auf die Implementierung und Anpassung von ERP‑Systemen, die Entwicklung von Add‑ons und Schnittstellen sowie auf Data‑Analytics und Business‑Intelligence.