Data Engineer (Senior) / (m/w/d) | 95 % remote

mylantech GmbH; Deutschland; Hybrid; EUR 90.000 - 130.000; Vollzeit

Benefits dieser Stelle

Remote-Work möglich

Weiterbildung

Zusammenfassung

mylantech GmbH sucht einen erfahrenen Data Engineer mit Fokus auf Azure und Databricks, der moderne Data- und AI-Plattformen entwirft und betreibt. Sie arbeiten an skalierbaren Lakehouse-Architekturen und unterstützen AI-gestützte Workloads von der Datenintegration bis zur Anwendung.

Sie beraten Kunden eigenständig, übernehmen fachliche Führung in Projekten und arbeiten eng mit Data Engineers, Data Scientists und Cloud-Teams zusammen.

Qualifikationen

• Mehrjährige Erfahrung im Design und Betrieb moderner Cloud-Datenplattformen.
• Sehr gute Kenntnisse in Azure, Python, SQL und Databricks.
• Fundierte Erfahrung mit Lakehouse-Architekturen und Data-Engineering-Workflows.
• Praktische Erfahrung in der Konzeption oder Umsetzung produktiver AI- und Machine-Learning-Systeme.

Aufgaben

• Architektur und Design moderner Data- und AI-Plattformen auf Basis von Azure, Databricks und Lakehouse-Architekturen.
• Entwicklung skalierbarer End-to-End-Datenlösungen von der Datenintegration bis zur analytischen Nutzung.
• Konzeption und Aufbau produktiver AI-Systeme, z.B. Generative AI, RAG, Document Intelligence.
• Auswahl und Bewertung geeigneter AI-Modelle und Plattformen unter Kosten- und Datenschutzaspekten.
• Integration von kommerziellen und Open-Source-Modellen über Databricks/Azure OpenAI.
• Entwicklung von Evaluations- und Monitoring-Konzepten für AI-Anwendungen.

Kenntnisse

Azure

Databricks

Python

SQL

Lakehouse

AI Systems

Data Governance

MLOps

Leadership

Ausbildung

Universitätsabschluss in Informatik

BSc Informatik

Tools

Azure

Databricks

Jobbeschreibung

Als Data Engineer mit Fokus auf Azure und Databricks gestaltest du moderne daten- und AI-getriebene Plattformen. Du entwickelst skalierbare Lakehouse- und AI-Architekturen, die klassische Analytics- und BI-Anwendungen ebenso unterstützen wie Machine-Learning-, Generative-AI- und agentenbasierte Workloads.

Du konzipierst AI-Systeme von der Auswahl geeigneter Modelle und Anbieter über Datenanbindung, Evaluation und Governance bis hin zum sicheren und skalierbaren Betrieb. Dabei kennst du die typischen Herausforderungen produktiver AI-Lösungen und entwickelst Architekturen, die hinsichtlich Qualität, Sicherheit, Datenschutz, Performance und Kosten überzeugen.

Neben der technischen Architektur übernimmst du eine zentrale Rolle in der Beratung unserer Kunden – von der ersten Daten- und AI-Strategie über das Solution Design bis zur Umsetzung.

Du arbeitest eng mit Data Engineers, Data Scientists, AI Engineers, Cloud-Teams und Fachbereichen zusammen und übernimmst fachliche Führung innerhalb unserer Projekte. Perspektivisch besteht die Möglichkeit, auch disziplinarische Führungsverantwortung zu übernehmen.

Deine Aufgaben

• Architektur und Design moderner Data- und AI-Plattformen auf Basis von Azure, Databricks und Lakehouse-Architekturen
• Entwicklung skalierbarer End-to-End-Datenlösungen von der Datenintegration bis zur analytischen und AI-gestützten Nutzung
• Konzeption und Aufbau produktiver AI-Systeme, beispielsweise für Generative AI, RAG, Document Intelligence, intelligente Suche und AI Agents
• Auswahl und Bewertung geeigneter AI-Modelle, Plattformen und Anbieter unter Berücksichtigung von Qualität, Datenschutz, Kosten, Skalierbarkeit und Vendor Lock-in
• Integration unterschiedlicher kommerzieller und Open-Source-Modelle, beispielsweise über Azure AI Foundry, Azure OpenAI, Databricks oder vergleichbare Plattformen
• Entwicklung von Evaluations- und Monitoring-Konzepten für AI-Anwendungen, unter anderem hinsichtlich Antwortqualität, Halluzinationen, Latenz, Kosten und Zuverlässigkeit
• Gestaltung sicherer AI-Architekturen inklusive Zugriffskontrollen, Datenschutz, Guardrails, Prompt-Injection-Schutz und verantwortungsvoller AI-Nutzung
• Aufbau von LLMOps-, MLOps- und Model-Lifecycle-Prozessen für Entwicklung, Testing, Deployment, Monitoring und kontinuierliche Verbesserung
• Design und Implementierung von ETL-/ELT-Pipelines mit Python, SQL und PySpark
• Nutzung des Databricks-Ökosystems, insbesondere Delta Lake, Unity Catalog, MLflow und Databricks Workflows
• Aufbau und Integration klassischer Machine-Learning-Workflows und MLOps-Strukturen
• Technische Leitung und Koordination mehrerer Data-, Analytics- und AI-Projekte
• Fachliche Führung und Mentoring von Data Engineers, AI Engineers und Analytics-Teams
• Beratung unserer Kunden bei der Konzeption moderner Data- und AI-Plattformen sowie bei der Identifikation sinnvoller AI-Anwendungsfälle
• Übersetzung fachlicher Anforderungen in realistische, produktionsfähige Lösungsarchitekturen
• Unterstützung bei Pre-Sales- und Sales-Aktivitäten, insbesondere durch:
• Solution Designs und Architekturkonzepte
• technische Workshops und Discovery Sessions
• Entwicklung von Prototypen und Proofs of Concept
• Unterstützung bei Angebots- und Lösungspräsentationen
• Sicherstellung von Performance, Skalierbarkeit, Zuverlässigkeit und Kostenoptimierung in der Cloud
• Entwicklung von Best Practices für Data Governance, AI Governance, Security und Data Quality

Dein Profil

• Mehrjährige Erfahrung im Design und Betrieb moderner Cloud-Datenplattformen
• Sehr gute Kenntnisse in Azure, Python, SQL und Databricks
• Fundierte Erfahrung mit Lakehouse-Architekturen und Data-Engineering-Workflows
• Praktische Erfahrung in der Konzeption oder Umsetzung produktiver AI- und Machine-Learning-Systeme
• Erfahrung mit Generative AI, Large Language Models, RAG-Architekturen oder AI Agents
• Verständnis der unterschiedlichen Stärken und Grenzen kommerzieller und offener AI-Modelle sowie Erfahrung mit verschiedenen Modellen oder Anbietern
• Fähigkeit, geeignete Modelle und Technologien abhängig vom jeweiligen Anwendungsfall auszuwählen und fundiert zu bewerten
• Kenntnisse typischer Herausforderungen produktiver AI-Systeme, beispielsweise:
• Halluzinationen und schwankende Antwortqualität
• fehlende oder unzureichende Evaluation
• Datenschutz und Informationssicherheit
• Prompt Injection und unkontrollierte Tool-Nutzung
• Latenz, Skalierbarkeit und Kosten
• Abhängigkeit von einzelnen Modellen oder Anbietern
• Erfahrung mit MLflow, Machine-Learning-Pipelines, MLOps oder LLMOps
• Erfahrung mit Delta Lake, Databricks Workflows und Data Orchestration
• Erfahrung oder Interesse an Pre-Sales- und kundenorientierten Solution-Design-Aktivitäten
• Erfahrung oder erste Berührungspunkte mit fachlicher Führung oder technischer Projektleitung
• Interesse daran, perspektivisch auch disziplinarische Führungsverantwortung zu übernehmen
• Erfahrung mit CI/CD, Git, Infrastrukturautomatisierung und Performance-Optimierung
• Fähigkeit, mehrere Projekte als Solution Architect zu koordinieren und unterschiedliche technische sowie fachliche Stakeholder zusammenzubringen
• Erfahrung im Versicherungs-, Banking- oder Asset-Management-Umfeld ist von Vorteil

Warum diese Rolle spannend ist

• Gestaltung moderner Data- und AI-Plattformen im Enterprise-Umfeld
• Architekturverantwortung kombiniert mit Hands-on-Entwicklung
• Entwicklung produktiver AI-Lösungen statt ausschließlich experimenteller Proofs of Concept
• Arbeit mit modernen Technologien aus dem Azure-, Databricks- und AI-Ökosystem
• Möglichkeit, unterschiedliche Modelle, Plattformen und Lösungsansätze technologieoffen zu bewerten
• Kombination aus Architektur, AI, Data Engineering, Beratung und technischer Umsetzung
• Direkter Einfluss auf unsere Data- und AI-Strategie sowie auf die Weiterentwicklung unserer Lösungen
• Möglichkeit zur Weiterentwicklung in eine Lead- oder Führungsrolle

Rahmenbedingungen

Für diese Position sind fließende Deutschkenntnisse auf professionellem Niveau zwingend erforderlich. Zudem muss sich dein Erstwohnsitz in Deutschland befinden – idealerweise im Raum München.

Die Tätigkeit ist zu etwa 95 % remote möglich. Gelegentlich finden Workshops, Projekttermine und Kundengespräche vor Ort statt.