Machine Learning Engineer (m/w/d) - Foundation Models

WeSort.AI GmbH; Würzburg; On-site; EUR 90,000 - 120,000; Full time

Job summary

WeSort.AI GmbH in Würzburg sucht eine Expertin/ einen Experten für die Entwicklung und das Training von domänenspezifischen Vision-Modellen. Du gestaltest die komplette ML-Pipeline und sicherst leistungsfähige Eval-Suiten ab.

Mit Fokus auf Edge-Deployment, verteiltem Training und Forschung bringst du Tiefe in unsere Sortieranlagen. Deutsch und Englischkenntnisse erforderlich.

Qualifications

• Mehrjährige Erfahrung in Entwicklung und Training von CV-Modellen.
• Versiert in Vision-Transformer und Self-Supervised-Learning.
• Sicherer Umgang mit verteiltem Training (DDP/FSDP) und bf16/fp16.
• Erfahrung in Evaluation Suites und Stabilität der Modelle.
• Kenntnisse in ML-Tooling: Config-Management, Experiment Tracking, Daten-Versionierung.
• Vertraut mit Cloud-GPU-Infrastruktur (AWS/Azure/GCP) und Edge Deployment.

Responsibilities

• Du entwickelst und trainierst domänenspezifische Vision-Modelle.
• Du gestaltest unsere ML-Trainings-Pipeline von Datenaufbereitung bis Modell-Versionierung.
• Du baust und pflegst unsere Eval Suite zur Messung von Verbesserungen.
• Du finetunst und distillierst Modelle für Downstream-Tasks und Edge-Hardware.
• Du analysierst Trainingsläufe, identifizierst Probleme und entwickelst nachhaltige Lösungen.
• Du arbeitest eng mit dem Cloud-Backend-Team zusammen für Deployment (ONNX/TensorRT/OpenVINO).
• Du verfolgst Forschungsentwicklungen und setzt Paper in Produktlösungen um.
• Du denkst über das Modell hinaus und berücksichtigst Betriebswirkung im Gesamtsystem.

Skills

Computer Vision

Vision Transformer

Self-Supervised Learning

PyTorch Distributed

Mixed Precision bf16/fp16

Performance Optimisation

Evaluation Suite

Experiment Tracking

Data Pipelines

Edge Deployment

Cloud GPUs

Deutsch/Englisch

Education

Forschungserfahrung

Promotion (Plus)

Tools

ONNX

TensorRT

OpenVINO

Job description

Das ist deine neue Leidenschaft

• Du entwickelst und trainierst unsere domänenspezifischen Vision-Modelle auf Basis aktueller State-of-the-Art-Architekturen und nutzt unsere Abfallbild-Datenbasis für Pretraining und Continued Pretraining
• Du gestaltest unsere komplette ML-Trainings-Pipeline: von der Datenaufbereitung über verteiltes Training (PyTorch FSDP/DDP, Mixed Precision) bis zur Modell-Versionierung
• Du baust und pflegst unsere Eval Suite – die zentrale Infrastruktur, die misst, ob unsere Modelle wirklich besser werden: Linear Probing, k-NN-Probing, Few-Shot-Detection, Cross-Domain-Generalization, Anomalie-Detection
• Du finetunst und destillierst unsere Modelle für konkrete Downstream-Tasks und Edge-Hardware (Sortieranlagen, GPU-Inferenz)
• Du analysierst Trainings-Runs systematisch, identifizierst Probleme wie Feature Collapse oder Domain Shift und entwickelst nachhaltige Lösungen statt kurzfristiger Workarounds
• Du arbeitest eng mit dem Cloud-Backend-Team zusammen, um Modelle effizient ins Deployment zu bringen (ONNX, TensorRT, OpenVINO)
• Du verfolgst aktiv die Forschungsentwicklung im Bereich Computer Vision und übersetzt relevante Paper in produktive Lösungen
• Du denkst über das Modell hinaus und hast im Blick, wie deine Arbeit im realen Betrieb wirkt – für Sortieranlagen, Kunden und das Gesamtsystem

Damit begeisterst du uns

• Du bringst mehrjährige Erfahrung in der Entwicklung und im Training von Computer-Vision-Modellen mit, idealerweise mit modernen Vision-Transformer-Architekturen und Self-Supervised-Learning-Methoden
• Du beherrschst PyTorch sicher – inklusive verteiltem Training (DDP, FSDP), gemischter Präzision (bf16/fp16) und Performance-Optimierung (torch.compile, Profiling)
• Du verstehst nicht nur, wie man ein Modell trainiert, sondern auch wie man evaluiert. Du weißt, dass eine schwache Eval Suite jedes Pretraining wertlos macht
• Du hast Erfahrung mit modernen ML-Tooling-Stacks für Konfigurations-Management, Experiment-Tracking, Daten-Versionierung und Backbone-Bibliotheken
• Du nutzt moderne KI-Tools (z.B. Claude, Copilot), um Routine-Coding zu beschleunigen und dich auf die wirklich harten Forschungs- und Architekturfragen zu konzentrieren
• Du hast ein gutes Verständnis für Datenpipelines bei großen Datenmengen (Millionen Bilder): effiziente Datenformate, GPU-Augmentations, I/O-Bottlenecks
• Erfahrung mit gängigen Detection-/Segmentation- sowie Anomalie-Detection-Frameworks ist von Vorteil
• Du kennst dich mit Inferenz-Optimierung und Modell-Distillation aus und hast idealerweise schon Modelle auf Edge-Hardware deployed
• Ausgeprägte Problemlösefähigkeit, analytisches Denken und wissenschaftliche Sorgfalt – du arbeitest hypothesengetrieben und nicht nach dem Try-and-Error-Prinzip
• Sicherer Umgang mit Cloud-GPU-Infrastruktur (AWS, Azure, GCP oder On-Premise H100/A100-Cluster)
• Fließende Deutsch- sowie gute Englischkenntnisse werden vorausgesetzt
• Idealerweise hast du eigene Forschungserfahrung (Paper, Open-Source-Beiträge, Konferenz-Talks) oder bist promoviert – kein Muss, aber ein Plus

Darauf kannst du dich freuen

• Arbeit auf der „grünen Wiese" – Aufbau einer eigenen Foundation-Model-Strategie ohne Altlasten oder technische Schulden
• Zugang zu einer einzigartigen, wachsenden Datenbasis aus realen Sortieranlagen – ein strategischer Vorteil, den keine Universität und kaum ein Wettbewerber hat
• Einsatz aktueller Frameworks und eines top-modernen Tech-Stacks (PyTorch 2.x, FSDP, Hydra, W&B, DVC, timm)
• Substanzielle Compute-Ressourcen für Pretraining-Runs – wir wissen, dass ernsthaftes Foundation-Model-Training kein Hobby-Projekt ist
• Enge Zusammenarbeit mit Forschungspartnern (u.a. THWS Würzburg im Rahmen von Green-INNO) und die Möglichkeit, eigene Forschungsergebnisse zu publizieren
• Arbeiten in einem dynamischen und interdisziplinären Start-Up-Team mit viel Verantwortung und Gestaltungsspielraum von Anfang an
• Kurze Entscheidungswege und eine Kommunikation ohne Umwege
• Technologie mit Sinn: Du arbeitest an den größten Hebeln unserer Zeit – KI, Recycling und Circular Economy