AI ocenia AI. Co JEV potrafi powiedzieć o odpowiedzi modelu

Jeden odpowiada, drugi sprawdza

Pewnie słyszeliście o koncepcie LLM-as-a-Judge. My też. Dla niewtajemniczonych: chodzi o to, żeby jeden model oceniał odpowiedzi drugiego. Dajemy mu pytanie, odpowiedź i zasady, według których ma ją sprawdzić. Trochę jak sprawdzanie pracy domowej, tylko nauczyciel też potrafi się pomylić.

Wyobraźcie sobie asystenta sklepu. Klient pyta, gdzie jest paczka, a asystent pięknie tłumaczy zasady zwrotów. Wszystko brzmi sensownie, ale paczki jak nie było, tak nie ma. Sędzia ma zauważyć właśnie taki problem: odpowiedź może być dobrze napisana i kompletnie rozmijać się z pytaniem.

W tym miejscu pojawia się JEV, u producenta zapisywany jako Jev. To model decyzyjny TypeSafe. Zamiast pisać recenzję odpowiedzi, zwraca wynik w ustalonym formacie: kategorię, ocenę na opisanej skali albo prawdopodobieństwo spełnienia warunku. Uzasadnienia nie dopisuje. Jeśli chcemy automatycznie przepuścić odpowiedź lub skierować ją do sprawdzenia, taki wynik się przyda. Jeśli chcemy wiedzieć, co poprawić w tekście, sam JEV nam tego nie wyjaśni.

Comet porównał dwóch sędziów. I tu robi się ciekawie

Punktem wyjścia był dla nas tekst Cometa z 29 września 2026. Autorzy porównali Jev z GPT-4o-mini na 1000 turach rozmów z 578 wątków ich produkcyjnego asystenta Ollie. Pytanie było proste: czy odpowiedź odnosi się do tego, o co prosił użytkownik? Modele zgodziły się w 897 przypadkach, czyli w 89,7%.

Łatwo przeczytać tę liczbę jako „prawie 90% poprawnych ocen”. Tyle że badanie tego nie ustaliło. Autorzy zaznaczają, że nie wiedzą, który sędzia miał rację. Wiemy, jak często obaj powiedzieli to samo. Mogli też zgodnie przepuścić odpowiedź o zwrotach, gdy ktoś pytał o paczkę.

Comet podał również koszt i czas: ocena całego zbioru kosztowała 0,0285 USD dla Jev i 0,0993 USD dla GPT-4o-mini. Mediana opóźnienia wyniosła odpowiednio 253 i 958 ms, a p90 — czyli granica, w której zmieściło się 90% pomiarów — 352 i 1202 ms. To wyniki ich zadania i środowiska. Własna aplikacja wymaga własnego pomiaru.

Zanim zapytamy model, ustalmy, co znaczy „dobrze”

„Oceń, czy odpowiedź jest dobra” zostawia sporo miejsca na domysły. Zacznijmy od osobnych pytań: czy odpowiada na prośbę? Czy podane fakty są w dołączonym materiale? Czy mówi użytkownikowi, co ma zrobić dalej, jeśli tego wymaga zadanie? Dopiero wtedy widać, gdzie leży problem. Asystent może przecież odpowiadać na temat, a przy okazji wymyślić datę dostawy.

I jeszcze jedno: czasem „nie wiem” jest dobrą odpowiedzią. Jeśli asystent nie ma numeru zamówienia, prośba o ten numer ma więcej sensu niż zgadywanie statusu paczki. Warto zapisać taką zasadę przed ocenianiem. Inaczej będziemy się spierać z modelem o regułę, której sami nie ustaliliśmy.

Jeśli chcecie podłączyć JEV do własnego projektu

Przez OpenRouter wysyłamy żądanie POST na https://openrouter.ai/api/alpha/decisions. Wybieramy model typesafe/jev-1.13, materiał do oceny wkładamy do state, a pytania do questions. To osobny format: zwykłe wywołanie czatu z tablicą messages tu nie wystarczy. Klucz OpenRouter trzymamy po stronie serwera.

Dla warunku tak/nie wybieramy typ noul. Wynik znajdziemy w answers, pod nazwą naszego pytania i polem noul. Dostaniemy liczbę od 0 do 1, bez osobnego pola confidence. Potem ustalamy, od jakiego wyniku przepuszczamy odpowiedź, a które przypadki oddajemy człowiekowi. Samo 0,9 nie daje gwarancji poprawności — próg trzeba sprawdzić na własnych przykładach z ustalonymi ocenami. Zapisujmy też wersję modelu, koszt i czas wywołania, żeby było do czego wrócić.

Dobra, to sprawdźmy kilka odpowiedzi sami

JEV też ma swoje ograniczenia. TypeSafe opisuje między innymi literalne czytanie poleceń, problemy z liczeniem i porównywaniem dat oraz podatność na tekst próbujący wpłynąć na ocenę. Jeśli potrzebujemy liczby słów, policzmy je kodem. Modelowi zostawmy ocenę znaczenia, z krótkim źródłem i jasną regułą.

Przygotowaliśmy więc małe laboratorium: „Złap błąd w odpowiedzi. Ty, JEV i GPT-6 Luna”. Jest 12 przykładów. Najpierw sami decydujecie, czy odpowiedź można przepuścić, a potem odkrywacie nasze wzorcowe rozstrzygnięcie i zapisane wyniki obu modeli. Suwak pozwala zmienić próg i zobaczyć, które błędy przejdą, a które poprawne odpowiedzi zostaną zatrzymane.

Przykłady i oceny wzorcowe powstały z pomocą AI, dotyczą fikcyjnych sytuacji. To ćwiczenie do poznania mechanizmu, nie niezależnie oceniony przez ludzi test ani ranking modeli. Otwórzcie je w „Zrób to sam” — szczególnie warto przyjrzeć się odpowiedzi, która z bezpłatnego wstępu robi brak konieczności rezerwacji.