Kundenprojekt: Computer Vision
Konzept-Mockup · fiktive Klient-Daten
Zweiunddreissig Annotatoren brauchen kein Schweizer-Taschenmesser. Sie brauchen eine Klinge, die schneidet.
NIMBUS ist die Annotations-Pipeline für Pixelara AI in Wien. Labelling-as-a-Service für Industrial-Computer-Vision in Werkshallen. 32 Annotatoren in Wien, Bratislava und Belgrad. Eigene Pipeline statt Labelbox, fünf fokussierte Sichten statt zweihundert Features, die niemand benutzt. mAP 0,84 im Industrial-QC-Modell nach acht Wochen.
Das Problem
Pixelara AI war 18 Monate auf Labelbox. Die Lizenz-Kosten wuchsen mit jedem neuen Annotator weiter, ohne dass das Team Features bekam, die es wirklich brauchte. Class-Statistik fehlte, Annotator-Performance war ein Blackbox, Model-Eval-Loop war fünf Tab-Wechsel weit weg. CTO Mira Lindgren wollte Klinge, nicht Taschenmesser.
Unser Ansatz
Fünf Sichten, ein Datenmodell. Dashboard für den Überblick. Canvas für die tägliche Annotation. Class-Distribution für Imbalance-Warnings. Annotator-Performance für Kalibrierung. Model-Eval für den Loop. Hotkey-Layer auf jeder Bounding-Box, Quality-Score auf Konsens-Annotations, Active-Learning auf Failed-Cases.
Das Ergebnis
Industrial-QC-Modell mAP 0,84 nach acht Wochen Training-Loop. Sicherheits-Helm-Klasse von 2,2 Prozent auf 4,5 Prozent ausbalanciert via Active-Sampling. Annotation-Velocity plus 34 Prozent, weil die Annotatoren sehen, wo das Modell schwächelt. 64.000 EUR Labelbox-Lizenz pro Jahr eingespart.
Die Ausgangslage
Wien, 2024 gegründet, kein Labelbox-Budget.
Pixelara AI ist ein 2024 in Wien gegründetes Computer-Vision-Startup. CTO und Co-Founder Mira Lindgren war zuvor in der Computer-Vision-Forschung an der TU Wien tätig. Geschäftsmodell: Labelling-as-a-Service für Industrial-Computer-Vision-Anwendungen, speziell Quality-Control in Werkshallen. Erste Pilot-Kunden: ein österreichischer Karosserie-Hersteller und ein deutscher Antriebs-Zulieferer.
Lindgren hat in den ersten 18 Monaten 32 Annotatoren in Wien, Bratislava und Belgrad aufgebaut. Sie arbeitete zunächst mit Labelbox. Aber die Kosten wuchsen mit jedem Annotator weiter, ohne dass das Team Features bekam, die es wirklich brauchte. Class-Statistik fehlte, Annotator-Performance war ein Blackbox, Model-Eval-Loop war fünf Tab-Wechsel weit weg.
Lindgren hat den Brief geschrieben. Eine Pipeline, die zu unserem Geschäftsmodell passt, schrieb sie. Fünf Sichten, keine zweihundert. Dashboard, Canvas, Class-Distribution, Annotator-Performance, Model-Eval. Das ist alles. Drei Monate später startete NIMBUS in Wien mit 32 Annotatoren.
Annotation-Canvas · Werkshallen-Szene · 8 Bounding-Boxes · Class-Panel rechts · Frame-Strip unten
Die Lösung
Fünf Sichten. Ein Datenmodell. Vom Dashboard bis zur Confusion-Matrix.
Dashboard
Fünf aktive Projekte: Industrial QC, Surveillance Edge, Retail Shelf, Autonomes Fahren, Medical Imaging. KPIs für jedes: Bilder, annotiert, Quality, Velocity.
Canvas
Werkshallen-Szene mit 8 BBoxes. Class-Panel rechts mit Hotkeys, Frame-Strip unten mit naechsten 12 Bildern. Reviewer-Anzeige oben rechts.
Class-Distribution
14 Klassen, Bar-Chart Ist vs Ziel. Sicherheits-Helm bei 2,2 Prozent, Ziel 4,5. Imbalance-Warning sichtbar. 30-Tage-Velocity darunter.
Annotator-Performance
32 Annotatoren als Tabelle. Anna Vogel Top-Performer 3.482 Bilder in 30 Tagen, Quality 0,96. Kalibrierungs-Einladungen bei Quality unter 0,86.
Model-Eval
v3.2 trainiert, mAP 0,84, Precision 0,88, Recall 0,79. Confusion-Matrix, Failed-Cases als Galerie. Diff-Bar gegen v3.1.
Projekt-Dashboard. Mira sieht in 10 Sekunden, wo Aufmerksamkeit fehlt.
Fünf aktive Projekte: Industrial QC, Surveillance Edge, Retail Shelf, Autonomes Fahren, Medical Imaging. KPIs für jedes: Bilder gesamt, annotiert, Quality-Score, Velocity. Quality-Heatmap zeigt, in welchen Stunden des Tages welche Annotatoren in welchem Projekt arbeiten. Activity-Stream rechts mit den letzten 14 Events. Mira braucht 10 Sekunden, dann weiss sie wo der Tag startet.
Class-Distribution mit Warnungen. Imbalance erkennen, bevor das Modell darunter leidet.
Vierzehn Klassen im Industrial-QC-Set. Bar-Chart mit Ist und Ziel. Sicherheits-Helm bei 2,2 Prozent, Ziel 4,5 Prozent. Imbalance-Warning sichtbar. Darunter die 30-Tage-Velocity. Bilder pro Tag, gruppiert nach Annotator. Trend zeigt, ob die Imbalance kleiner oder grösser wird. Active-Sampling holt mehr Helm-Bilder in die naechste Annotation-Queue.
Class-Distribution Drilldown
Wer fehlt im Datensatz, scheitert im Modell.
Die Übersicht zeigt, dass eine Klasse hinkt. Der Drilldown sagt warum es wehtut: links Ist gegen Ziel pro Klasse mit Ampel-Flag, rechts Imbalance-Wirkung auf Precision und Recall als Scatter mit Promotion-Gate. Sicherheits-Helm sitzt im roten Quadranten, weil 2,2 Prozent Datensatz-Anteil gegen Ziel 4,5 zu wenig Trainings-Signal liefert. Active-Sampling-Queue rechts schlägt die 14 nächsten Bilder vor, die genau diese Lücke schliessen.
14 Klassen · Gini-Imbalance 0,38 · Recall Min-Klasse 0,58 · 3 Imbalance-Alerts · Modell-Promotion-Gate für 11 / 14 offen
Ist vs Ziel pro Klasse
Drei Klassen unter Schwelle
Sicherheits-Helm 2,2 vs 4,5 Prozent (CRIT). Warn-Weste 3,6 vs 5,5 (WARN). Werkstück-Defekt 1,8 vs 3,2 (WARN). Lindgren sieht in 10 Sekunden welche Klassen das Modell ausbremsen.
Precision-Recall-Scatter
Quadranten mit Promotion-Gate
Punkte oben rechts sind production-ready. Sicherheits-Helm unten links, Precision 0,58 Recall 0,58. Gate 0,75 als gestrichelte Linie. Visuell sofort klar wo das Modell promovierbar ist und wo nicht.
Active-Sampling-Queue
14 Bilder, die genau passen
Modell sucht in den unannotierten Streams Bilder mit hoher Unsicherheit für die schwache Klasse. Reflektion auf Helm-Visier, Gegenlicht, halb verdeckt durch Haar. Ein Klick und die 14 Frames landen in Anna Vogels Queue.
Annotator-Performance. Performance ehrlich gemessen, Kalibrierung statt Strafe.
32 Annotatoren als Tabelle. Pro Zeile: Avatar, Name, Stadt, Bilder 30 Tage, heute, Quality-Score, Status. Anna Vogel ist Top-Performer mit 3.482 Bildern in 30 Tagen, 412 heute, Quality 0,96. Vier Annotatoren in der Calibration-Round-Einladung, weil ihr Quality-Score unter 0,86 liegt. Klick auf Einladung sendet die Kalibrierungs-Aufgabe. Keine Strafe, kein Ranking-Druck.
Model-Eval mit Confusion-Matrix. Loop schliesst sich, Failed-Cases werden neue Annotations.
Trained-Model v3.2, mAP 0,84, Precision 0,88, Recall 0,79, F1 0,83. Vergleich gegen v3.1 zeigt die Verbesserung pro Klasse als Diff-Bar. Confusion-Matrix unten. Failed-Cases als Galerie, Klick öffnet das Bild mit Vorhersage gegen Wahrheit. Lindgren sieht, dass Sicherheits-Helm bei niedriger Beleuchtung verwechselt wird. Active-Sampling holt mehr solcher Bilder in die naechste Annotation-Runde.
Annotatoren im Team
Bilder im Datensatz
mAP des Industrial-QC-Modells
EUR Lizenz-Ersparnis pro Jahr
Technologie und Umsetzung
“Wir wollten eine Pipeline, die zu unserem Geschäftsmodell passt. Fünf Sichten, kein Taschenmesser. Genau das haben wir bekommen.”
Mira Lindgren
CTO und Co-Founder · Pixelara AI Wien
Dein AI-Team verdient eine Pipeline, die zum Geschäftsmodell passt.
Wir zeigen dir in einer Demo, wie eine Annotations-Pipeline für Computer-Vision, NLP-Annotation oder Multi-Modal-Datensets aussehen könnte. Kein Verkaufsgespräch. Nur konkrete Antworten.
Möchten Sie ein ähnliches Ergebnis?
Horatiu Serban · Founder & CEO
Kurzes Gespräch. Wir schauen gemeinsam, wo bei dir messbar mehr Anfragen und Sichtbarkeit drin sind.