KI bewertet KI: Was JEV über eine Modellantwort sagen kann

Eines antwortet, das andere prüft

Von LLM-as-a-Judge hast du vermutlich schon gehört. Wir auch. Falls nicht: Ein Modell bewertet dabei die Antworten eines anderen. Es bekommt eine Frage, eine Antwort und Regeln für die Prüfung. Ein bisschen wie Hausaufgaben kontrollieren, nur kann sich hier auch der Lehrer irren.

Stell dir einen Shopassistenten vor. Der Kunde fragt, wo sein Paket ist, und der Assistent erklärt wunderschön die Rückgabebedingungen. Alles klingt sinnvoll, aber das Paket bleibt verschwunden. Der Prüfer soll genau so ein Problem erkennen: Eine Antwort kann gut geschrieben sein und völlig an der Frage vorbeigehen.

Hier kommt JEV ins Spiel, beim Hersteller Jev geschrieben. Es ist ein Entscheidungsmodell von TypeSafe. Statt eine Rezension der Antwort zu schreiben, liefert es ein festes Format: eine Kategorie, eine Bewertung auf einer beschriebenen Skala oder die Wahrscheinlichkeit, dass eine Bedingung erfüllt ist. Eine Begründung ergänzt es nicht. Wollen wir eine Antwort automatisch durchlassen oder zur Prüfung schicken, ist so ein Ergebnis nützlich. Was wir am Text verbessern sollen, erklärt JEV allein uns nicht.

Comet hat zwei Prüfer verglichen. Jetzt wird es interessant

Unser Ausgangspunkt war ein Comet-Beitrag vom 29. September 2026. Die Autoren verglichen Jev mit GPT-4o-mini anhand von 1000 Gesprächsrunden aus 578 Threads ihres produktiv eingesetzten Assistenten Ollie. Die Frage war einfach: Geht die Antwort auf die Bitte des Nutzers ein? In 897 Fällen, also 89,7 %, stimmten die Modelle überein.

Diese Zahl liest sich leicht als „fast 90 % richtige Bewertungen“. Das hat die Untersuchung aber nicht festgestellt. Die Autoren sagen ausdrücklich, dass sie nicht wissen, welcher Prüfer recht hatte. Wir wissen, wie oft beide dasselbe sagten. Sie könnten auch gemeinsam eine Antwort über Rückgaben durchgelassen haben, obwohl jemand nach dem Paket fragte.

Comet nennt außerdem Kosten und Zeit: Die Bewertung des ganzen Bestands kostete 0,0285 USD mit Jev und 0,0993 USD mit GPT-4o-mini. Die mediane Latenz betrug jeweils 253 und 958 ms; p90, also die Grenze, unter der 90 % der Messungen lagen, 352 und 1202 ms. Das sind Ergebnisse ihrer Aufgabe und Umgebung. Für die eigene Anwendung braucht es eine eigene Messung.

Bevor wir das Modell fragen, klären wir, was „gut“ heißt

„Bewerte, ob die Antwort gut ist“ lässt viel Raum für Vermutungen. Beginnen wir mit getrennten Fragen: Geht sie auf die Bitte ein? Stehen die genannten Fakten im beigefügten Material? Sagt sie dem Nutzer, was er als Nächstes tun soll, wenn die Aufgabe das verlangt? Erst dann wird sichtbar, wo das Problem liegt. Ein Assistent kann schließlich beim Thema bleiben und nebenbei ein Lieferdatum erfinden.

Und noch etwas: Manchmal ist „Ich weiß es nicht“ eine gute Antwort. Fehlt dem Assistenten die Bestellnummer, ist die Bitte darum sinnvoller als ein geratener Paketstatus. Halte diese Regel vor der Bewertung fest. Sonst streiten wir mit dem Modell über eine Vorgabe, die wir selbst nie vereinbart haben.

Wenn du JEV an dein eigenes Projekt anschließen möchtest

Über OpenRouter senden wir eine POST-Anfrage an https://openrouter.ai/api/alpha/decisions. Wir wählen das Modell typesafe/jev-1.13, legen das zu bewertende Material in state und die Fragen in questions ab. Das ist ein eigenes Format. Ein gewöhnlicher Chataufruf mit einem messages-Array reicht hier nicht. Den OpenRouter-Schlüssel behalten wir auf dem Server.

Für eine Ja-Nein-Bedingung wählen wir den Typ noul. Das Ergebnis steht in answers unter unserem Fragennamen im Feld noul. Wir bekommen eine Zahl von 0 bis 1, ohne eigenes confidence-Feld. Danach bestimmen wir, ab welchem Ergebnis wir eine Antwort durchlassen und welche Fälle ein Mensch prüft. 0,9 allein garantiert keine Richtigkeit. Den Schwellenwert müssen wir an eigenen Beispielen mit festgelegten Bewertungen prüfen. Notieren wir auch Modellversion, Kosten und Aufrufdauer, damit wir später darauf zurückkommen können.

Gut, prüfen wir selbst ein paar Antworten

Auch JEV hat Grenzen. TypeSafe beschreibt unter anderem die wörtliche Auslegung von Anweisungen, Schwierigkeiten beim Zählen und Vergleichen von Daten sowie die Anfälligkeit für Text, der die Bewertung beeinflussen soll. Brauchen wir eine Wortzahl, zählen wir mit Code. Dem Modell lassen wir die Bedeutungsprüfung, mit kurzer Quelle und klarer Regel.

Deshalb haben wir ein kleines Labor vorbereitet: „Finde den Fehler in der Antwort. Du, JEV und GPT-6 Luna“. Es enthält 12 Beispiele. Zuerst entscheidest du selbst, ob die Antwort durchgehen darf. Danach deckst du unsere Referenzentscheidung und die gespeicherten Ergebnisse beider Modelle auf. Mit einem Regler veränderst du die Schwelle und siehst, welche Fehler durchkommen und welche richtigen Antworten aufgehalten werden.

Beispiele und Referenzbewertungen entstanden mit KI-Unterstützung und betreffen fiktive Situationen. Das ist eine Übung zum Kennenlernen des Verfahrens, kein unabhängig von Menschen bewerteter Test und keine Modellrangliste. Öffne sie unter „Selber machen“. Besonders interessant ist die Antwort, die aus kostenlosem Eintritt eine fehlende Reservierungspflicht macht.