Cloud Data & AI Engineer (m/w/d) - Databricks

ruhrdot.; Essen; Hybrid; EUR 60.000 - 80.000; Vollzeit

Benefits dieser Stelle

Zertifizierungen werden unterstützt

Flexibilität und Home-Office-Optionen

Best-in-Class Setup und Premium-Equipment

Zusammenfassung

ruhrdot. in Essen sucht einen Cloud Data & AI Engineer, der moderne Data- und AI-Lösungen entwickelt und optimiert. Die Rolle umfasst das Arbeiten mit Databricks, der Entwicklung von Datenpipelines und der Umsetzung von ML-Use-Cases. Voraussetzungen sind Kenntnisse in Python, SQL, und Cloud-Plattformen wie AWS oder Azure. Das Unternehmen bietet ein dynamisches Arbeitsumfeld, Weiterbildungsmöglichkeiten und flexible Arbeitsmodelle.

Qualifikationen

• Erste bis mehrjährige Erfahrung im Bereich Data Engineering, Machine Learning Engineering oder AI Engineering.
• Gute Kenntnisse in Databricks, Python, SQL, Spark und PySpark.
• Praxiserfahrung mit Azure oder AWS.
• Erfahrung in der Weiterentwicklung von Datenplattformen in der Cloud.

Aufgaben

• Entwickle moderne Data‑&‑AI‑Lösungen auf Databricks.
• Baue robuste Batch‑ und Streaming‑Pipelines.
• Unterstütze ML‑ und GenAI‑Use‑Cases.
• Arbeiten an Lakehouse‑Architekturen für Analytics.

Kenntnisse

Databricks

Python

SQL

Spark

PySpark

Cloud-Plattformen

Machine Learning Engineering

AI Engineering

Data Engineering

Ausbildung

Studium in Wirtschaftsinformatik, Informatik, Data Science oder vergleichbar

Tools

Git

CI/CD

Infrastructure as Code

MLflow

Vector Search

Jobbeschreibung

Cloud Data & AI Engineer mit Schwerpunkt Databricks

Wir suchen einen Cloud Data & AI Engineer, der moderne Data‑&‑AI‑Plattformen auf Azure oder AWS gemeinsam mit unserem Team und unseren Kunden umsetzt und weiterentwickelt. Dabei verbindet er Data Engineering, Cloud‑Technologien und AI‑nahe Themen zu Lösungen, die fachlich sinnvoll und technisch sauber aufgebaut sind.

Ihre Aufgaben

• Entwickle moderne Data‑&‑AI‑Lösungen auf Basis von Databricks.
• Baue robuste Batch‑ und Streaming‑Pipelines mit Python, SQL, Spark und PySpark.
• Arbeiten an Lakehouse‑Architekturen für Analytics‑, ML‑ und GenAI‑Anwendungsfälle.
• Nutze zentrale Databricks‑Komponenten wie Delta Lake, Unity Catalog, Workflows, MLflow, Model Serving und Vector Search.
• Unterstütze die Umsetzung und Weiterentwicklung von ML‑, LLM‑ und GenAI‑Use‑Cases.
• Arbeite Themen wie Serving, Retrieval, Evaluation, Monitoring und Governance für AI‑Anwendungen.
• Binde unterschiedliche Quellsysteme wie APIs, Datenbanken, ERP‑ oder CRM‑Systeme an.
• Unterstütze Anforderungen rund um Data Quality, Security, Governance und Observability.
• Arbeite mit Git, CI/CD und Infrastructure as Code an produktiven Deployments.
• Bringe dich in technische Konzepte, Best Practices und die Weiterentwicklung unserer Delivery‑Standards ein.

Ihr Profil (Must‑have)

• Erste bis mehrjährige praktische Erfahrung im Bereich Data Engineering, Machine Learning Engineering, AI Engineering oder einer vergleichbaren Rolle.
• Gute Kenntnisse in Databricks.
• Gute Kenntnisse in Python, SQL, Spark und PySpark.
• Praxiserfahrung mit mindestens einer Cloud‑Plattform, idealerweise Azure oder AWS.
• Erfahrung im Aufbau oder in der Weiterentwicklung moderner Datenplattformen in der Cloud.
• Erfahrung mit MLflow, Model Serving und Vector Search, idealerweise im Databricks‑Umfeld.
• Grundlegendes bis gutes Verständnis moderner AI‑/LLM‑Konzepte, z. B. RAG, Retrieval, Evaluation, Serving und produktive GenAI‑Anwendungen.
• Gutes Verständnis für Lakehouse‑Architekturen, Datenmodellierung und produktive Datenprozesse.
• Erste Erfahrung in den Bereichen Data Governance, Data Quality, Security und Monitoring.
• Sicherer Umgang mit Git und idealerweise erste Erfahrung mit CI/CD und Infrastructure as Code.
• Abgeschlossenes Studium in Wirtschaftsinformatik, Informatik, Data Science oder einem vergleichbaren Studiengang.
• Strukturierte, eigenverantwortliche und lösungsorientierte Arbeitsweise.
• Sehr gute Deutsch‑ und gute Englischkenntnisse.

Worüber wir uns zusätzlich freuen (kein Must‑Have)

• Erfahrung mit Terraform oder OpenTofu.
• Erfahrung mit Kafka, CDC oder eventgetriebenen Architekturen.
• Kenntnisse in Airflow, dbt oder vergleichbaren Tools.
• Erfahrung in der Anbindung unterschiedlicher Quellsysteme.
• Freude an der Zusammenarbeit mit Kunden und interdisziplinären Teams.
• Zertifizierungen im Umfeld von Databricks, Azure oder AWS.

Was dich bei uns erwartet (Benefits)

• Engineering‑Exzellenz: Moderne Cloud‑Data‑&‑AI‑Plattformen aufgebaut mit Fokus auf sauberes Engineering, Qualität und Pragmatismus.
• Steile Lernkurve zur Core‑Expertise: Förderung vom Spezialisten zum Trusted Advisor; Zertifizierungen (Databricks, Azure, AWS) werden vollständig unterstützt.
• Vielfältiges Arbeitsumfeld: Vom agilen Startup bis zum DAX‑Konzern – Beratung auf Augenhöhe und Umsetzung innovativer Konzepte.
• Best‑in‑Class Setup: State‑of‑the‑Art Cloud‑Technologien und Premium‑Equipment.
• Echte Teamkultur: Internationaler Austausch, flache Hierarchien und gemeinsame Erfolge.
• Work‑Life‑Balance: Flexibilität, Home‑Office‑Optionen und individuelle Modelle zur Vereinbarkeit von Beruf und Privatleben.