Lead Private AI Architect (w/m/x) - GenAI, LLM & Enterprise AI Platforms

NTT DATA Europe & Latam

Frankfurt

Hybrid

EUR 130,000 - 190,000

Full time

5 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Flexible Arbeitszeiten
Home-Office möglich
30 Tage Urlaub
Sabbatical möglich
Remote Work innerhalb EU
Betriebliche Altersvorsorge
JobRad
Jobticket
Udemy Zugang

Job summary

NTT DATA Europe & Latam in Frankfurt sucht einen erfahrenen Private AI Architect (w/m/x). Du entwirfst Enterprise Private AI- und GenAI-Plattformen, entwickelst High-/Low-Level-Designs und Referenzarchitekturen für On-Premises, Private-Cloud, Hybrid-Umgebungen und berätst Kunden bei AI-Strategie und Governance.

Du bringst 15+ Jahre IT-Erfahrung mit, tiefe Kenntnisse in LLMs, RAG, Vektordatenbanken, LangChain und Open-Source-Modellen.

Qualifications

  • 15+ Jahre IT-Erfahrung, davon 5+ Jahre AI/ML-Architektur
  • Tiefgehende Expertise in LLMs, RAG, Vektor-Datenbanken, Prompt Engineering
  • Erfahrung mit Open-Source-Modellen (Llama, Mistral etc.)
  • Kubernetes, Docker/OpenShift, MLOps/LLMOps sowie Monitoring und Governance
  • Souveränes Stakeholder-Management und Beratungskompetenz auf Deutsch (C1)

Responsibilities

  • Enterprise Private AI- und GenAI-Plattformen entwerfen
  • LLM-, RAG- und Agentic-Architekturen planen und implementieren
  • AI-Plattformen mit Kubernetes, Containerisierung, MLOps in Produktion bringen
  • Kunden als Trusted Advisor bei AI-Strategie und Plattformmodernisierung unterstützen
  • RFPs, Angebote und Aufwandsschätzungen verantworten

Skills

AI/ML-Architektur
LLMs & GenAI
Kubernetes & Docker/OpenShift
Security & Sovereign AI
Deutsch (C1)
Stakeholder-Kommunikation
Open-Source-Modelle
AI-Plattform-Design

Tools

Kubernetes
Docker/OpenShift
MLOps/LLMOps
MLflow
Kubeflow

Job description

Wir sind Teil von NTT DATA, einem führenden Anbieter von Unternehmens- und Technologiedienstleistungen, KI und digitaler Infrastruktur mit einem Umsatz von über 30 Mrd. $. Als Global Top Employer betreut NTT DATA 75 % der Fortune Global 100-Unternehmen und entwickelt mit Expert:innen in über 70 Ländern gemeinsam innovative Lösungen, die dazu inspirieren, Neues zu wagen und Erfolge sichtbar zu machen. In der DACH-Region sind wir an 15 Standorten in Deutschland, Österreich und der Schweiz vertreten.

Make this the place where you grow

Enterprise AI braucht mehr als leistungsfähige Modelle – sie braucht eine sichere, skalierbare und souveräne Architektur. Als Private AI Architect (w/m/x) gestaltest du genau diese Grundlage: von der strategischen Architektur über Private-AI- und GenAI-Plattformen bis zur produktiven Umsetzung. Dabei verbindest du technologische Tiefe mit Beratungskompetenz und entwickelst gemeinsam mit unseren Kunden AI-Lösungen, bei denen Innovation, Datenschutz und Governance zusammenspielen.

Deine Benefits
  • Flexible Arbeitszeiten mit Gleitzeitregelung und Reisezeit ist Arbeitszeit
  • Home-Office Möglichkeit sowie Vereinbarung mit Vergütungszuschuss inkl. Arbeitsplatzausstattung möglich
  • 30 Tage Urlaub, zusätzlich sind der 24.12. und 31.12. arbeitsfreie Tage
  • Sabbatical bis zu einem Jahr möglich
  • Remote Work sowie mobiles Arbeiten im EU-Ausland möglich
  • Attraktive Benefit- und Entgeltoptimierungsprogramme: betriebliche Altersvorsorge, JobRad, Jobticket, exklusive Rabatte über Corporate Benefits und vieles mehr
  • Umfangreiche Gesundheits- und Vorsorgeangebote: verlängerte Entgeltfortzahlung im Krankheitsfall, Betriebsärztliche Betreuung, Unfallversicherung auch für Freizeitunfälle weltweit, Familienservice
  • Interne und externe Weiterbildungsmöglichkeiten in der NTT DATA Academy mit fachlichen Trainings, Zertifizierungsangeboten, Soft-Skill-Schulungen, Udemy Zugang
  • Diverse Communities und Initiativen (zu Diversity, Equity & Inclusion, ESG und mehr) mit Wissensaustausch auf Augenhöhe
  • Teamorientierte Unternehmenskultur mit viel Gestaltungsspielraum
Deine Mission
  • Du konzipierst Enterprise Private AI- und GenAI-Plattformen und entwickelst High-Level- und Low-Level-Designs, Blueprints sowie Referenzarchitekturen für On-Premises-, Private-Cloud-, Hybrid- und Sovereign-AI-Umgebungen.
  • Du entwirfst leistungsfähige LLM-, RAG- und Agentic-AI-Architekturen auf Basis von Open-Source- und Self-hosted-Technologien und gestaltest skalierbare Inference-Architekturen für Enterprise-AI-Workloads.
  • Du bringst AI-Plattformen mit Kubernetes, Containerisierung und MLOps/LLMOps in die Produktion und gestaltest den gesamten Lifecycle von Deployment und Evaluation bis zu Monitoring und Governance.
  • Du begleitest unsere Kunden als Trusted Advisor bei AI-Strategie, Plattformmodernisierung, Infrastructure Readiness und AI Operating Models und treibst POCs, MVPs und Enterprise-AI-Initiativen voran.
  • Du verbindest AI, Infrastruktur, Cloud, Security und Data Engineering und übernimmst Verantwortung für RFPs, Angebote und Aufwandsschätzungen sowie wiederverwendbare Private-AI-Frameworks und Accelerators.
Dein Skillset
  • Du verfügst über 15+ Jahre IT-Erfahrung, davon mindestens 5 Jahre in AI/ML-Architektur, und hast Enterprise-AI-/GenAI-Lösungen in Private-Cloud-, On-Premises- oder Hybrid-Umgebungen erfolgreich umgesetzt.
  • Du besitzt tiefgehende Expertise in LLMs, RAG, Vector Databases, Prompt Engineering und Agentic AI und kennst Frameworks wie LangChain, LlamaIndex, Haystack oder Semantic Kernel sowie Open-Source-Modelle wie Llama, Mistral, DeepSeek oder Qwen.
  • Du beherrschst Kubernetes, Docker/OpenShift sowie MLOps/LLMOps und kennst Technologien wie MLflow, Kubeflow, KServe, Ray, vLLM oder Ollama sowie die Anforderungen an Evaluation, Tracing, Monitoring, Drift Detection und produktiven AI-Betrieb.
  • Du verstehst GPU- und AI-Infrastrukturen einschließlich NVIDIA Stack, CUDA, MIG, Model Serving, Quantisierung, Batching, Autoscaling, Distributed Inference/Training sowie Capacity Planning und kannst Performance, Latenz und Verfügbarkeit gezielt optimieren.
  • Du verbindest Architekturkompetenz mit einem ausgeprägten Verständnis für Security, Privacy und Sovereign AI – von Zero Trust, IAM/RBAC und Verschlüsselung bis zu Data Residency und Regulatory Compliance – und überzeugst durch starke Stakeholder- und Beratungskompetenz sowie Deutschkenntnisse auf mindestens C1-Niveau.

Mit uns hast du unzählige Möglichkeiten, groß zu denken, mutig zu handeln und Verantwortung zu übernehmen. Gestalte deine Zukunft in einer Kultur, die Zugehörigkeit lebt und dir Raum für Lernen und Networking gibt.

Vielfalt ist ein unverzichtbarer Teil unseres Erfolges und unserer Unternehmenskultur. Frei von Vorurteilen im Hinblick auf Geschlecht, sexuelle Orientierung, Alter, ethnische und soziale Herkunft, Religion oder Behinderung freuen wir uns dich kennenzulernen. Menschen mit Schwerbehinderung werden bei gleicher Eignung bevorzugt.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Forward Deployed Engineer (w/m/x) - AI & Enterprise Solutions 1 1
Forward Deployed Engineer (w/m/x) - AI & Enterprise Solutions 1 1

NTT DATA Europe & Latam • Stuttgart

On-site
EUR 130,000 - 170,000
Flexible Arbeitszeiten
Home-Office möglich
30 Tage Urlaub + zusätzliche freie Fei
+9
Forward Deployed Engineer (w/m/x) - AI & Enterprise Solutions 1 1
Forward Deployed Engineer (w/m/x) - AI & Enterprise Solutions 1 1

NTT DATA Europe & Latam • Erfurt

Hybrid
EUR 110,000 - 150,000
Flexible Arbeitszeiten
Home-Office
30 Tage Urlaub
+4
Senior AI & GenAI Architect (w/m/x)
Senior AI & GenAI Architect (w/m/x)

NTT DATA Europe & Latam • Ettlingen

Hybrid
EUR 110,000 - 150,000
Flexible Arbeitszeiten
Home-Office
30 Tage Urlaub
+5
Senior AI & GenAI Architect (w/m/x)
Senior AI & GenAI Architect (w/m/x)

NTT DATA Europe & Latam • Wolfsburg

Hybrid
EUR 120,000 - 180,000
Flexible Arbeitszeiten
Home Office möglich
30 Tage Urlaub
+7
Senior AI & GenAI Architect (w/m/x)
Senior AI & GenAI Architect (w/m/x)

NTT DATA Europe & Latam • Erfurt

Remote
EUR 110,000 - 170,000
Flexible Arbeitszeiten
Home-Office möglich
Urlaub 30 Tage + 24./31.12. frei
+10
Senior AI & GenAI Architect (w/m/x)
Senior AI & GenAI Architect (w/m/x)

NTT DATA Europe & Latam • Frankfurt

Remote
EUR 120,000 - 170,000
Flexible Arbeitszeiten
Home-Office möglich
30 Tage Urlaub + zusätzliche freie Fei
+7
Senior AI Engineer (w/m/x)
Senior AI Engineer (w/m/x)

NTT America, Inc. • Ettlingen

Hybrid
EUR 90,000 - 120,000
Flexible Arbeitszeiten
Home-Office möglich
30 Tage Urlaub + Zusatzfeiertage
+5
Senior AI Engineer (w/m/x)
Senior AI Engineer (w/m/x)

NTT America, Inc. • Freiburg im Breisgau

Hybrid
EUR 85,000 - 125,000
Flexible Arbeitszeiten
Home-Office inkl. Zuschüsse
30 Tage Urlaub + Zusatztage
+4
Senior AI Engineer (w/m/x)
Senior AI Engineer (w/m/x)

NTT DATA • Erfurt

Remote
EUR 90,000 - 140,000
Flexible Arbeitszeiten
Home-Office Möglichkeit
30 Tage Urlaub + 24/12 + 31/12 frei
+5
Senior AI Client Delivery Manager (w/m/x)
Senior AI Client Delivery Manager (w/m/x)

NTT DATA Europe & Latam • Stuttgart

Hybrid
EUR 90,000 - 130,000
Flexible Arbeitszeiten
30 Tage Urlaub
Remote Work im EU-Ausland
+2