Discovery informiert AI-Produktqualität

Product Discovery ist nicht nur dazu da, das richtige Problem zu finden — bei AI-Produkten ist sie auch die Grundlage für technische Qualitätssicherung. Ohne aktuelles Kundenwissen kann man weder gute Evals schreiben noch ein golden Dataset aufbauen noch menschliche Annotators richtig briefen.

Teresa Torres hat diese Verbindung am Ende ihres Gesprächs mit Petra Wille explizit gemacht: “Alle diese Schritte im Eval-Prozess sind nur so gut wie mein Verständnis des Kunden.”

Wo Discovery konkret einfließt

Prompt-Design: Wer weiß, welche Inputs Nutzer wirklich eingeben, schreibt bessere Prompts. Ohne Discovery deckt man nur die offensichtlichen Fälle ab — nicht die merkwürdigen, aber realen.

Orchestrierung: Wie man ein LLM-System aufteilt (in welche Teil-Prompts, welche Dimensionen), hängt davon ab, was das System leisten soll. Das ist eine Discovery-Frage, keine technische.

Error Analysis: Wenn man nicht weiß, was Nutzer erwarten, kann man nicht beurteilen, ob ein Output ein Fehler ist. Menschliche Annotators brauchen Domain-Wissen — das kommt aus Customer Research.

Eval-Design: Welche Fehlermodi relevant sind, welche Qualitätskriterien gelten sollen, wie man “gut” definiert — alles hängt am Verständnis des Nutzers.

Golden Dataset: Das Dataset repräsentiert nur bekannte Szenarien. Ob es das richtige Set an Szenarien ist, hängt davon ab, wie gut man verstanden hat, was Nutzer wirklich tun. Das ist ein direktes Discovery-Produkt.

Die unbequeme Konsequenz

AI-Produkte schnell in Production zu bringen ist möglich — für Prototypen und Experimente. Für echte Production-Produkte bedeutet der Eval-Overhead, dass man:

Discovery nicht überspringen kann
Menschen braucht, die Outputs beurteilen (kein reiner Tech-Job)
kontinuierlich Kundenwissen aktualisieren muss, weil sich Qualitätskriterien ändern

Petra Willes Kommentar im Gespräch: “People keep saying we can spin up these products in hours. Bollocks.” — Prototypen ja, Production-Produkte nein.

Verbindungen

AI Evals — Evals sind nur so gut wie das zugrundeliegende Kundenwissen
Synthetische Testdaten für LLMs — Dimensions-Qualität hängt an Discovery
Criteria Drift — aktuelles Kundenwissen schützt vor driftenden Kriterien
Teresa Torres — hat diesen Zusammenhang aus eigener Erfahrung artikuliert
Petra Wille — hat ihn aus der Discovery-Perspektive bestätigt
Product Discovery — das übergeordnete Konzept

Quellen

AI Evals & Discovery - All Things Product with Teresa & Petra — Teresa Torres + Petra Wille (2025-09)