Ranking swoją drogą. A wasza oferta?
Jeden model wygrywa ranking, drugi poleca znajomy. A wy potrzebujecie po prostu uporządkować ofertę bez zmiany kwoty. Zacznijmy właśnie od niej: wybierzcie dokument, którego zakres prac i liczby dobrze znacie, i dajcie go obu modelom. Łatwiej zauważyć dopisany termin dostawy, gdy wiecie, że nikt go nie ustalił.
Do pierwszej próby zbierzcie kilka zwykłych zadań, kilka trudniejszych i dwa z brakującą informacją. Mogą to być również notatki ze spotkań albo eksporty z arkusza. Na razie chcemy się rozeznać. Przy wyborze do ważnego wdrożenia potrzebny będzie później szerszy zestaw zadań rzeczywistych użytkowników.
Za co właściwie przyznajemy punkt?
W podsumowaniu spotkania pilnujemy terminów, osób odpowiedzialnych za zadania i miejsc, gdzie decyzji jeszcze nie ma. W ofercie — kwot i zakresu prac. Zapiszcie te warunki, zanim przeczytacie odpowiedzi. Ładny akapit potrafi odwrócić uwagę od obietnicy, której nie było w materiale.
Osobno ustalmy błędy, które od razu przekreślają wynik. Złą datę dostawy trudno traktować tak samo jak przydługi wstęp. Anthropic w materiale o ewaluacji agentów też wskazuje na konkretne zadania i jednoznaczne kryteria sukcesu. Poniżej zostawiamy prostą kartę do takiego porównania.
Te same materiały, podobne warunki
Oba modele dostają ten sam materiał i instrukcję oraz podobny dostęp do narzędzi. Zapiszcie dokładne nazwy modeli i datę. Jeśli się da, przed oceną zamieńcie ich nazwy na litery. Wtedy łatwiej przyznać punkt odpowiedzi, która faktycznie pomaga, bez kibicowania ulubionej marce.
Trudniejsze zadania powtórzcie. Jeśli model raz zachowuje ustalenia, a za drugim razem dopisuje termin, ta różnica też jest wynikiem. Przy każdej odpowiedzi zapiszcie, ile czasu zajęło doprowadzenie jej do użytecznej wersji. Doczytywanie źródeł wliczamy — przecież ono również zabiera czas.
Ile pracy zostało po odpowiedzi?
Zestawcie zaakceptowane wyniki z czasem poprawek. Obok liczb zostawcie przykłady: dziewięć dobrych podsumowań i jeden zmyślony termin to inna sytuacja niż dziesięć podsumowań do skrócenia. Średnia może wyglądać podobnie, a dalsza praca będzie zupełnie inna.
Wliczcie też ponowne próby. Szybka pierwsza odpowiedź nie pomaga szczególnie, kiedy później trzeba ją długo przepisywać. Niewykluczone, że wybierzecie dwa modele: jeden do roboczych notatek, drugi do trudniejszych dokumentów.
Przy decyzji dopiszcie: „dla tych zadań, materiałów i instrukcji”. Po aktualizacji wrócicie do tego samego zestawu. Będzie można zobaczyć, co się zmieniło, zamiast przypominać sobie, dlaczego kiedyś wybraliście właśnie ten model.
Źródła i dalsza lektura
Materiały, na których opiera się ten tekst. Instrukcje i przykładowe scenariusze są propozycjami redakcji.