AI Engineer - Task Planning and Orchestration, Embodied Agents (Mensch)

Neura Robotics; Gemeindeverwaltungsverband Metzingen, Riederich; On-site; EUR 70,000 - 110,000; Full time

Job summary

NEURA Robotics sucht eine/n Expert/in zur Entwicklung intelligenter Robotik-Agenten. Sie arbeiten an der Humanoid-Plattform, bauen Agenten basierend auf LLMs/VLMs, planen längere Aufgabenfolgen und integrieren Sensorik, Kameras und Propriozeption.

Sie verwenden VLMs zur Bildgrounding, verantworten die States der Welt und sichern die korrekte Ausführung in Simulation sowie auf echter Hardware. Englischkenntnisse sind erforderlich, Deutsch ist willkommen.

Qualifications

• Master oder Promotion in Informatik/Robotik oder vergleichbare Tiefe, nachgewiesen durch ausgelieferte Arbeit.
• Nachweisliche Erfahrung im Aufbau von Agent-Systemen auf Basis von LLMs und VLMs, die Aufgaben zerlegen, planen, Tools nutzen und State über lange Horizonte halten.
• Mehrere Jahre Hands-on-Erfahrung mit physischen Robotern, nicht nur Simulation, auf echter Plattform betreiben.
• Praktische Erfahrung mit VLMs als Arbeitswerkzeug: Grounding von Sprache in Bildern, räumliches und physikalisches Reasoning, strukturierte Outputs.
• Vertrautheit mit hierarchischer Autonomie: Reasoning-Modell plant, Policies ausführen, Subgoals, Progress Verification.
• Erfahrung mit Robotics Middleware und Onboard Deployment: ROS 2, Inferenz auf Embedded GPUs, Latency Budget.
• Solides Software Engineering: sauberer Code, Testing, CI/CD; Cloud/Containerization als Plus.
• Sehr gutes Englisch; Deutsch ist ein Plus.

Responsibilities

• Embodied Agent Harness entwickeln: Loop von Sensorinput über Reasoning bis Aktion, Interface zu Kameras und Propriozeption.
• Task Decomposition & Long-Horizon Planning: Übersetzung menschlicher Intention in geordnete, ausführbare Schritte mit Pre-Conditions und Success Criteria.
• Visual Reasoning & World State: Nutzung von VLMs zur Interpretation der Szene und Grounding der Sprache.
• Closed-Loop Execution & Recovery: Abweichungen vom Plan erkennen und neu planen oder an Menschen eskalieren.
• Evaluation auf dem Roboter: Messen von Task Success in Simulation und Hardware, Failure Taxonomies erstellen.
• Cross-funktionale Zusammenarbeit: Zusammenarbeit mit Foundation Models, Perception, Manipulation und Hardware.

Skills

LLM-Agent-Systeme

VLMs

Hierarchische Autonomie

Langfristige Planung

Software-Engineering

ROS 2

Embedded-GPUs

CI/CD

Englische Kommunikation

Deutschkenntnisse (plus)

Education

Master oder Promotion in Informatik/Robotik

Tools

ROS 2

Embedded GPUs

CI/CD

Job description

Bei NEURA Robotics führen kognitive Roboter nicht einfach Befehle aus. Sie nehmen ihre Umgebung wahr, ziehen Schlüsse daraus, planen über lange Zeithorizonte und handeln autonom in der physischen Welt. Unsere Robotic Foundation Models übernehmen die physische Ausführung. Darüber sitzt der Agent: die Instanz, die erarbeitet, was eine Aufgabe tatsächlich erfordert, sie in Schritte zerlegt, die der Roboter ausführen kann, und erkennt, wann die Realität nicht mehr zum Plan passt. Für den Aufbau dieser Agents auf unserer Humanoid-Plattform suchen wir dich.

Deine Mission & Herausforderungen

• Embodied Agent Harness: Du entwickelst den Agent, der auf unserer Humanoid-Plattform läuft — den Loop von Sensorinput über Reasoning bis zur Aktion, seine Interfaces zu Kameras, Tiefendaten und Propriozeption des Roboters sowie das State Management, das eine Aufgabe über Minuten statt Sekunden hinweg kohärent hält.

• Task Decomposition & Long-Horizon Planning: Du übersetzt übergeordnete menschliche Intention in geordnete, ausführbare Schritte — jeweils mit den nötigen Preconditions, räumlichen Referenzen und Success Criteria — und sequenzierst sie so, dass der Roboter eine Aufgabe bewältigt, die er in dieser exakten Form noch nie gesehen hat.

• Visual Reasoning & World State: Du nutzt VLMs, um zu interpretieren, was der Roboter sieht, verankerst Sprache in der Szene (Grounding) und pflegst eine Arbeitsrepräsentation von Objekten, Affordances und Task History, über die der Planner schlussfolgern kann.

• Closed-Loop Execution & Recovery: Du verifizierst jeden Schritt gegen die Beobachtung, statt Erfolg anzunehmen, erkennst Abweichungen vom Plan und planst neu, wiederholst oder eskalierst an einen Menschen, wenn das Risiko zu hoch ist.

• Evaluation auf dem Roboter: Du misst Task Success in der Simulation und auf echter Hardware, baust Failure Taxonomies aus realen Runs auf und entscheidest darauf basierend, ob ein Fix in den Planner, das Interface oder den ausgegebenen Schritt gehört.

• Cross-funktionale Zusammenarbeit: Du arbeitest eng mit unseren Teams für Foundation Models, Perception, Manipulation und Hardware zusammen, um den Reasoning Layer über den Modellen vom Konzept zu verlässlichem Verhalten auf einem ausgelieferten Roboter zu bringen.

Was du mitbringst

• Einen sehr guten Master oder eine Promotion in Informatik, Robotik oder einem verwandten Feld — oder vergleichbare Tiefe, nachgewiesen durch ausgelieferte Arbeit.

• Nachweisliche Erfahrung im Aufbau von Agent-Systemen auf Basis von LLMs und VLMs, die Aufgaben zerlegen, planen, Tools nutzen und State über lange Horizonte halten — nicht nur Single-Turn-Prompting.

• Mehrere Jahre Hands-on-Erfahrung mit physischen Robotern, nicht nur in der Simulation: eigenen Code auf eine echte Plattform bringen, ihn dort betreiben und ein System debuggen, das sich anders verhielt, sobald es einen Körper hatte.

• Praktische Erfahrung mit VLMs als Arbeitswerkzeug: Grounding von Sprache in Bildern, räumliches und physikalisches Reasoning, strukturierte Outputs, auf die du handeln kannst, und ein realistisches Gefühl dafür, wo sie scheitern.

• Vertrautheit mit hierarchischer Autonomie, bei der ein Reasoning-Modell plant und gelernte oder klassische Policies ausführen: Subgoal-Interfaces, Progress Verification, Replanning.

• Erfahrung mit Robotics Middleware und Onboard Deployment: ROS 2, Inferenz auf Embedded GPUs und Arbeiten innerhalb eines realen Latency Budgets.

• Solides Software Engineering: sauberer Code, Testing und Services, auf denen andere Teams aufbauen können. Cloud, Containerization und CI/CD sind ein Plus.

• Sehr gutes Englisch. Deutsch ist ein Plus.