Würdest du diese Antwort durchlassen?
„Das Ticket kostet 35 Złoty.“ Kurz, konkret, der Abend lässt sich planen. Nur steht in der Veranstaltungsbeschreibung kein Wort über den Preis. Der Assistent hat ihn ergänzt. Dieser Fehler ist leicht zu finden. Gleich bekommst du aber weniger eindeutige Antworten: die richtige Konzertzeit ohne Antwort auf die Rucksackfrage oder kostenlosen Eintritt, der plötzlich bedeuten soll, dass keine Reservierung nötig ist.
Wir haben 12 solcher Situationen gesammelt und an JEV 1.13 sowie GPT-6 Luna geschickt. Bevor du die Ergebnisse ansiehst, probier es selbst. Die Übung oben zeigt Quelle, Frage und Antwort. Du wählst „Durchlassen“ oder „Stoppen“. Erst danach erscheinen Referenzbewertung, Begründung und Modellergebnisse. Die Texte der gemessenen Beispiele bleiben im Labor und im Download auf Polnisch, damit sie genau den tatsächlich bewerteten Eingaben entsprechen.
Orte und Veranstaltungen sind fiktiv. Beispiele und Referenzbewertungen haben wir mit KI-Unterstützung erstellt. Sie stammen weder von Kunden noch aus einer unabhängigen menschlichen Bewertung. Wir wollen zeigen, wie so ein Prüfer arbeitet und wo du ihm widersprechen kannst. Zwölf Beispiele reichen nicht, um das beste Modell auszurufen.
Was genau sollten die Modelle prüfen?
Beide Modelle sollten dasselbe prüfen: Beantwortet die Antwort alle Teile der Frage, hält sie sich an die Quelle und ergänzt sie nichts? Fehlt eine Information in der Quelle, darf sie das ausdrücklich sagen. Ohne Preisliste ist „Es wurde kein Preis genannt“ also in Ordnung. Einen Betrag zu raten ist es nicht.
Über OpenRouter haben wir nur Quelle, Frage und Antwort geschickt, also die Felder source, question und answer. Unsere Entscheidungen und Begründungen blieben bei uns. Die Modelle bekamen weder die Beispieltitel noch reference und reason, aus denen sie Hinweise hätten ablesen können.
Auch bei den Zahlen gibt es einen Unterschied. JEV lieferte Noul über die Decisions API. Luna baten wir über die Chat-API um eine Zahl probability im JSON-Format. Das Kriterium war gemeinsam, der Weg zur Bewertung unterschiedlich. Wir haben die Kalibrierung dieser Skalen nicht geprüft, also ob ihre Zahlen der tatsächlichen Häufigkeit richtiger Bewertungen entsprechen. 0,9 lesen wir deshalb nicht als Versprechen von 90 % Treffergenauigkeit.
Bei 0,5 Gleichstand. Jetzt beweg den Regler
Wechsle nach dem Quiz zu „Schwellenwert einstellen“. Eine Antwort kommt durch, wenn die Modellbewertung gleich der Schwelle oder höher ist. Zu Beginn steht sie auf 0,5. Damit stimmten beide Modelle in allen 12 Fällen mit unseren Referenzbewertungen überein.
Senke die Schwelle auf 0,2 und schau, was passiert. Jedes Modell lässt einen Fehler durch, aber einen anderen. JEV akzeptiert Beispiel 10, in dem der Assistent aus kostenloser Teilnahme schließt, dass keine Reservierung nötig sei. Es vergab 0,25. Luna gab denselben Wert Beispiel 4: Die Konzertzeit stimmt, die Frage nach einem großen Rucksack bleibt aber unbeantwortet.
Jetzt in die andere Richtung: 0,95. JEV stoppt die richtige Antwort über die Galerie neben dem Café, also Beispiel 12 mit 0,94. Luna lässt weiterhin alle sechs richtigen Antworten durch, denen es 1,0 gegeben hat. Hier wird der Preis der strengeren Regel sichtbar: Zusammen mit Fehlern können wir etwas aufhalten, das richtig war. Der Regler zeigt diese Entscheidung an konkreten Texten.
Du kannst die ganze Übung mitnehmen
Im ZIP liegen Beispiele, Ergebnisse, aufgezeichnete API-Aufrufe, Code, Anleitung und eine offline nutzbare Laborversion. Öffne einfach laboratorium.html im Browser. Quiz und Regler verwenden gespeicherte Zahlen. Sie brauchen weder Konto noch Schlüssel und schicken nichts erneut an die Modelle.
Möchtest du Beispiele ändern und die Modelle neu befragen, brauchst du Python 3, einen OpenRouter-Schlüssel und Guthaben auf dem Konto. evaluate.py benötigt keine zusätzlichen Bibliotheken. Entpacke das Paket und öffne ein Terminal in seinem Ordner. Der erste Befehl unten prüft die Daten ohne Netzwerk. Der zweite startet kostenpflichtige Aufrufe und speichert ein neues Ergebnis.
Setze vor dem zweiten Befehl OPENROUTER_API_KEY in der Terminalumgebung. Das README zeigt, wie du den Schlüssel einliest, ohne ihn auf dem Bildschirm anzuzeigen. Schreib ihn weder in den Code noch in Dateien, die du später weitergibst.
Was wäre, wenn du nur einen Satz änderst?
Nimm das Reservierungsbeispiel und ergänze in der Quelle, dass tatsächlich keine Reservierung nötig ist. Oder vervollständige die Antwort zum Rucksack. Dann lohnt sich eine erneute Frage an die Modelle: Hat diese eine Änderung gereicht, um die Bewertung zu verschieben?
Die Beispiele bearbeitest du in cases.json. Ein neues braucht eine eindeutige id sowie title, type, source, question, answer, reason und eine boolesche Referenzbewertung reference. Halte zuerst deine Entscheidung und Begründung fest, danach rufst du die Modelle auf. Wähle für den nächsten Durchlauf einen neuen Dateinamen. Das Skript überschreibt keine früheren Ergebnisse.
In den Ergebnissen findest du auch die Aufrufzeiten. Es sind einzelne Messungen einschließlich Netzwerk und OpenRouter. Daraus machen wir keinen Geschwindigkeitswettbewerb. Möchtest du zuerst die Idee der KI-Bewertung durch KI besser verstehen, lies den verknüpften Ratgeber „KI bewertet KI“.
Quellen und weiterführende Links
Die Quellen zu diesem Artikel. Anleitungen und Beispielszenarien sind Vorschläge unserer Redaktion.
- Cookie Analytics: Gespeicherte Ergebnisse von JEV und GPT-6 Luna – 3. Oktober 2026 (öffnet einen neuen Tab)qkianalytics.pl
- Cookie Analytics: Das vollständige Laborpaket mit Daten und Code (öffnet einen neuen Tab)qkianalytics.pl
- Cookie Analytics: KI bewertet KI – Was JEV über eine Modellantwort sagen kann (öffnet einen neuen Tab)qkianalytics.pl
- OpenRouter: Decisions API – Das Noul-Antwortformat (öffnet einen neuen Tab)openrouter.ai
- TypeSafe: System One und die Bedeutung der Kalibrierung (öffnet einen neuen Tab)docs.typesafe.ai