LLM / AI Platform Architect (m/w/d)

SOMI Solutions GmbH; Kassel; Vor Ort; EUR 110.000 - 150.000; Vollzeit

Zusammenfassung

SOMI Solutions GmbH sucht einen erfahrenen AI-/LLM-Architekten zum Aufbau einer zentralen On-Premise-Plattform für LLM-Inference und GPU-basierte Workloads. Sie leiten die technische Konzeption, arbeiten eng mit Infra-, Plattform- und Betriebsteams zusammen und sichern den eigenständigen Betrieb und Weiterentwicklung der Lösung.

In dieser Rolle planen Sie Betriebs- und Governance-Modelle, bewerten Open-Weight-Modelle und unterstützen deutschsprachige Anwendungen.

Qualifikationen

• Mehrjährige Architektenerfahrung im LLM-/GenAI-Umfeld.
• Nachweisbare Erfahrung mit dem produktiven Betrieb von LLM-/KI-Lösungen.
• Sehr gute Kenntnisse in der Architektur GPU-basierter KI-Infrastrukturen.
• Erfahrung mit On-Premise-Umgebungen, idealerweise regulierten bzw. öffentlichen Umfeldern.
• Fundierte Kenntnisse zu Betriebs- und Governance-Modellen für KI-Plattformen.
• Erfahrung bei der Bewertung und Auswahl leistungsfähiger Open-Weight-Modelle.
• Erfahrung im Umfeld dokumentenbezogener KI-Verarbeitung.
• Verständnis für GPU-Ressourcenmanagement, Segmentierung und Scheduling.
• Kenntnisse relevanter Container-, Kubernetes- und AI-Plattform-Technologien.
• Verständnis für IT-Betriebsprozesse sowie Datenschutz- und Security-Anforderungen.
• Sehr gute Kommunikations- und Beratungskompetenz.
• Fähigkeit, komplexe technische Sachverhalte verständlich zu vermitteln.
• Sicheres Arbeiten in interdisziplinären Teams.

Aufgaben

• Konzeption einer zentralen Plattform für LLM-Inference und weitere GPU-basierte KI-Workloads.
• Entwicklung einer geeigneten Zielarchitektur für den produktiven On-Premise-Betrieb.
• Planung und Bewertung von LLM-Serving- und Inference-Komponenten.
• Definition von Betriebs-, Governance- und Bereitstellungsmodellen für die KI-Plattform.
• Beratung bei der Auswahl geeigneter Open-Weight-Modelle, insbesondere für deutschsprachige Anwendungsfälle.
• Bewertung von Anforderungen an GPU-Kapazitäten, deren Aufteilung und Nutzung.
• Konzeption geeigneter Verfahren zur GPU-Segmentierung und Ressourcensteuerung.
• Berücksichtigung von NVIDIA MIG sowie alternativen GPU-Sharing- und Scheduling-Ansätzen.
• Begleitung der Integration der Plattform in bestehende Infrastruktur- und Betriebslandschaften.
• Vorbereitung der technischen Anbindung bestehender dokumentenbasierter KI-Anwendungen.
• Berücksichtigung von Datenschutz, Informationssicherheit, Datensouveränität und regulatorischen Anforderungen.
• Abstimmung mit beteiligten Architektur-, Plattform- und Betriebsteams.
• Erstellung technischer Konzepte, Entscheidungsgrundlagen und Betriebsdokumentationen.
• Durchführung von Wissenstransfer und Befähigung der internen Teams.

Kenntnisse

LLM-Architektur

LLM-Betrieb

GPU-Infrastruktur

On-Premise

Governance

Open-Weight-Modelle

Dokumenten-KI

GPU-Resource-Management

Container/Kubernetes

IT-Betrieb/Datenschutz

Kommunikation

Technische Vermittlung

Teamarbeit

Tools

Tesseract

trOCR

ABBYY FlexiCapture

Jobbeschreibung

Für den Aufbau einer zentralen Plattform zur Nutzung von Large Language Models und weiteren KI-Anwendungen suchen wir einen erfahrenen AI-/LLM-Architekten. Du verantwortest die technische Konzeption der Plattform und begleitest deren Umsetzung bis in den produktiven Betrieb.

Der Fokus liegt auf einer sicheren und skalierbaren On-Premise-Architektur, die sowohl Inference-Anwendungen als auch weitere GPU-basierte Workloads unterstützt. Dabei arbeitest du eng mit Infrastruktur-, Plattform- und Betriebsteams zusammen und sorgst durch gezielten Wissenstransfer dafür, dass die Lösung anschließend eigenständig betrieben und weiterentwickelt werden kann.

• Konzeption einer zentralen Plattform für LLM-Inference und weitere GPU-basierte KI-Workloads
• Entwicklung einer geeigneten Zielarchitektur für den produktiven On-Premise-Betrieb
• Planung und Bewertung von LLM-Serving- und Inference-Komponenten
• Definition von Betriebs-, Governance- und Bereitstellungsmodellen für die KI-Plattform
• Beratung bei der Auswahl geeigneter Open-Weight-Modelle, insbesondere für deutschsprachige Anwendungsfälle
• Bewertung von Anforderungen an GPU-Kapazitäten, deren Aufteilung und Nutzung
• Konzeption geeigneter Verfahren zur GPU-Segmentierung und Ressourcensteuerung
• Berücksichtigung von NVIDIA MIG sowie alternativen GPU-Sharing- und Scheduling-Ansätzen
• Begleitung der Integration der Plattform in bestehende Infrastruktur- und Betriebslandschaften
• Vorbereitung der technischen Anbindung bestehender dokumentenbasierter KI-Anwendungen
• Berücksichtigung von Datenschutz, Informationssicherheit, Datensouveränität und regulatorischen Anforderungen
• Abstimmung mit beteiligten Architektur-, Plattform- und Betriebsteams
• Erstellung technischer Konzepte, Entscheidungsgrundlagen und Betriebsdokumentationen
• Durchführung von Wissenstransfer und Befähigung der internen Teams

• Mehrjährige Erfahrung als Architekt im Umfeld von LLM-, GenAI- oder Model-Inference-Plattformen
• Nachweisbare Erfahrung mit dem produktiven Betrieb von LLM-/KI-Lösungen
• Sehr gute Kenntnisse in der Architektur GPU-basierter KI-Infrastrukturen
• Erfahrung mit On-Premise-Umgebungen und idealerweise Projekten im regulierten bzw. öffentlichen Umfeld
• Fundierte Kenntnisse zu Betriebs- und Governance-Modellen für KI-Plattformen
• Erfahrung bei der Bewertung und Auswahl leistungsfähiger Open-Weight-Modelle
• Erfahrung im Umfeld dokumentenbezogener KI-Verarbeitung
• Praktische Kenntnisse mit Tesseract, trOCR und ABBYY FlexiCapture
• Verständnis für GPU-Ressourcenmanagement, Segmentierung und Scheduling
• Kenntnisse relevanter Container-, Kubernetes- und AI-Plattform-Technologien
• Verständnis für IT-Betriebsprozesse sowie Datenschutz- und Security-Anforderungen
• Sehr gute Kommunikations- und Beratungskompetenz
• Fähigkeit, komplexe technische Sachverhalte verständlich zu vermitteln
• Sicheres Arbeiten in interdisziplinären Teams