Lead Private AI Architect (w/m/x) - GenAI, LLM & Enterprise AI Platforms

NTT America, Inc.; Osterreich; Remote; PEN 582,000 - 893,000; Full time

Benefits offered by this job

Flexible Arbeitszeiten

Home-Office & Zuschuss zur Ausstattung

30 Tage Urlaub plus Feiertage

Sabbatical möglich

Weiterbildungsangebote über NTT DATA

Gesundheits- & Vorsorgeleistungen

Diversity & Inclusion Communities

Job summary

NTT DATA sucht eine erfahrene AI/ML-Architekturfachkraft, die Enterprise Private AI- und GenAI-Plattformen entwirft und implementiert. Sie arbeiten an Open-Source- und Self-hosted-Lösungen, verbinden AI mit Infrastruktur, Cloud-Sicherheit und Governance und begleiten Kunden von der Strategie bis zum Betrieb.

Sie verfügen über 15+ Jahre IT-Erfahrung, davon 5+ Jahre in AI/ML-Architektur, und bringen Expertise in LLMs, Vektordatenbanken und Kubernetes mit.

Qualifications

• Langjährige IT-Erfahrung, davon 5+ Jahre in AI/ML-Architektur
• Erfahrung mit Private-Cloud-, On-Premises- oder Hybrid-Umgebungen
• Tiefe Kenntnisse in LLMs, RAG, Vektor-Datenbanken und Open-Source-Modellen

Responsibilities

• Konzipieren von Enterprise Private AI- und GenAI-Plattformen
• Entwerfen von High/Low-Level-Designs und Referenzarchitekturen
• Inbetriebnahme von AI-Plattformen mit Kubernetes und MLOps
• Beratung unserer Kunden als Trusted Advisor
• Verantwortung für Offerings, Aufwandsschätzung und Governance

Skills

AI/ML-Architektur

Stakeholder-Management

Beratungskompetenz

Deutsch (C1)

Tools

Kubernetes

Docker/OpenShift

MLOps/LLMOps

LangChain/LlamaIndex

MLflow/Kubeflow

Job description

Wir sind Teil von NTT DATA, einem führenden Anbieter von Unternehmens- und Technologiedienstleistungen, KI und digitaler Infrastruktur mit einem Umsatz von über 30 Mrd. $. Als Global Top Employer betreut NTT DATA 75 % der Fortune Global 100-Unternehmen und entwickelt mit Expert:innen in über 70 Ländern gemeinsam innovative Lösungen, die dazu inspirieren, Neues zu wagen und Erfolge sichtbar zu machen. In der DACH-Region sind wir an 15 Standorten in Deutschland, Österreich und der Schweiz vertreten.

Make this the place where you grow

Enterprise AI braucht mehr als leistungsfähige Modelle – sie braucht eine sichere, skalierbare und souveräne Architektur. Als Private AI Architect (w/m/x) gestaltest du genau diese Grundlage: von der strategischen Architektur über Private-AI- und GenAI-Plattformen bis zur produktiven Umsetzung. Dabei verbindest du technologische Tiefe mit Beratungskompetenz und entwickelst gemeinsam mit unseren Kunden AI-Lösungen, bei denen Innovation, Datenschutz und Governance zusammenspielen.

Deine Benefits

• Flexible Arbeitszeiten mit Gleitzeitregelung und Reisezeit ist Arbeitszeit
• Home-Office Möglichkeit sowie Vereinbarung mit Vergütungszuschuss inkl. Arbeitsplatzausstattung möglich
• 30 Tage Urlaub, zusätzlich sind der 24.12. und 31.12. arbeitsfreie Tage
• Sabbatical bis zu einem Jahr möglich
• Remote Work sowie mobiles Arbeiten im EU-Ausland möglich
• Attraktive Benefit- und Entgeltoptimierungsprogramme: betriebliche Altersvorsorge, JobRad, Jobticket, exklusive Rabatte über Corporate Benefits und vieles mehr
• Umfangreiche Gesundheits- und Vorsorgeangebote: verlängerte Entgeltfortzahlung im Krankheitsfall, Betriebsärztliche Betreuung, Unfallversicherung auch für Freizeitunfälle weltweit, Familienservice
• Interne und externe Weiterbildungsmöglichkeiten in der NTT DATA Academy mit fachlichen Trainings, Zertifizierungsangeboten, Soft-Skill-Schulungen, Udemy Zugang
• Diverse Communities und Initiativen (zu Diversity, Equity & Inclusion, ESG und mehr) mit Wissensaustausch auf Augenhöhe
• Teamorientierte Unternehmenskultur mit viel Gestaltungsspielraum

Deine Mission

• Du konzipierst Enterprise Private AI- und GenAI-Plattformen und entwickelst High-Level- und Low-Level-Designs, Blueprints sowie Referenzarchitekturen für On-Premises-, Private-Cloud-, Hybrid- und Sovereign-AI-Umgebungen.
• Du entwirfst leistungsfähige LLM-, RAG- und Agentic-AI-Architekturen auf Basis von Open-Source- und Self-hosted-Technologien und gestaltest skalierbare Inference-Architekturen für Enterprise-AI-Workloads.
• Du bringst AI-Plattformen mit Kubernetes, Containerisierung und MLOps/LLMOps in die Produktion und gestaltest den gesamten Lifecycle von Deployment und Evaluation bis zu Monitoring und Governance.
• Du begleitest unsere Kunden als Trusted Advisor bei AI-Strategie, Plattformmodernisierung, Infrastructure Readiness und AI Operating Models und treibst POCs, MVPs und Enterprise-AI-Initiativen voran.
• Du verbindest AI, Infrastruktur, Cloud, Security und Data Engineering und übernimmst Verantwortung für RFPs, Angebote und Aufwandsschätzungen sowie wiederverwendbare Private-AI-Frameworks und Accelerators.

Dein Skillset

• Du verfügst über 15+ Jahre IT-Erfahrung, davon mindestens 5 Jahre in AI/ML-Architektur, und hast Enterprise-AI-/GenAI-Lösungen in Private-Cloud-, On-Premises- oder Hybrid-Umgebungen erfolgreich umgesetzt.
• Du besitzt tiefgehende Expertise in LLMs, RAG, Vector Databases, Prompt Engineering und Agentic AI und kennst Frameworks wie LangChain, LlamaIndex, Haystack oder Semantic Kernel sowie Open-Source-Modelle wie Llama, Mistral, DeepSeek oder Qwen.
• Du beherrschst Kubernetes, Docker/OpenShift sowie MLOps/LLMOps und kennst Technologien wie MLflow, Kubeflow, KServe, Ray, vLLM oder Ollama sowie die Anforderungen an Evaluation, Tracing, Monitoring, Drift Detection und produktiven AI-Betrieb.
• Du verstehst GPU- und AI-Infrastrukturen einschließlich NVIDIA Stack, CUDA, MIG, Model Serving, Quantisierung, Batching, Autoscaling, Distributed Inference/Training sowie Capacity Planning und kannst Performance, Latenz und Verfügbarkeit gezielt optimieren.
• Du verbindest Architekturkompetenz mit einem ausgeprägten Verständnis für Security, Privacy und Sovereign AI – von Zero Trust, IAM/RBAC und Verschlüsselung bis zu Data Residency und Regulatory Compliance – und überzeugst durch starke Stakeholder- und Beratungskompetenz sowie Deutschkenntnisse auf mindestens C1-Niveau.

Mit uns hast du unzählige Möglichkeiten, groß zu denken, mutig zu handeln und Verantwortung zu übernehmen. Gestalte deine Zukunft in einer Kultur, die Zugehörigkeit lebt und dir Raum für Lernen und Networking gibt.

Vielfalt ist ein unverzichtbarer Teil unseres Erfolges und unserer Unternehmenskultur. Frei von Vorurteilen im Hinblick auf Geschlecht, sexuelle Orientierung, Alter, ethnische und soziale Herkunft, Religion oder Behinderung freuen wir uns dich kennenzulernen. Menschen mit Schwerbehinderung werden bei gleicher Eignung bevorzugt.