So findest du ein KI-Modell für deine Dokumente

Die Rangliste ist das eine. Und dein Angebot?

Ein Modell führt die Rangliste an, ein anderes empfiehlt ein Freund. Du möchtest aber einfach ein Angebot aufräumen, ohne dass sich der Betrag ändert. Fangen wir damit an: Wähle ein Dokument, dessen Leistungsumfang und Zahlen du gut kennst, und gib es beiden Modellen. Einen erfundenen Liefertermin bemerkst du leichter, wenn du weißt, dass keiner vereinbart wurde.

Sammle für den ersten Versuch einige gewöhnliche Aufgaben, einige schwierigere und zwei mit fehlenden Informationen. Das können auch Besprechungsnotizen oder Tabellenexporte sein. Zunächst wollen wir uns orientieren. Für eine wichtige Einführung brauchst du später einen breiteren Aufgabensatz aus der Arbeit tatsächlicher Nutzer.

Wofür vergeben wir eigentlich einen Punkt?

Bei einer Besprechungszusammenfassung achten wir auf Termine, Zuständigkeiten und noch offene Entscheidungen. Bei einem Angebot auf Beträge und Leistungsumfang. Schreib diese Bedingungen auf, bevor du die Antworten liest. Ein schöner Absatz kann von einem Versprechen ablenken, das im Ausgangsmaterial gar nicht vorkam.

Leg außerdem fest, welche Fehler das Ergebnis sofort unbrauchbar machen. Ein falsches Lieferdatum lässt sich kaum mit einer zu langen Einleitung gleichsetzen. Auch Anthropic verweist in seinem Beitrag zur Agentenevaluation auf konkrete Aufgaben und eindeutige Erfolgskriterien. Unten findest du eine einfache Vorlage für diesen Vergleich.

Aufgabe: Arbeite die Vereinbarungen aus einer Besprechung heraus.
Bedingungen für ein akzeptiertes Ergebnis:
- Alle Termine stimmen mit der Notiz überein.
- Jede Person erhält nur die ihr zugeordneten Aufgaben.
- Eine fehlende Entscheidung wird als fehlende Entscheidung benannt.
- Es erscheinen keine Informationen außerhalb des Materials.
Bewertung: akzeptiert / kleine Korrektur nötig / fehlerhaft.
Notiere die Zeit für die manuelle Korrektur und den konkreten Fehler.

Dieselben Unterlagen, ähnliche Bedingungen

Beide Modelle bekommen dasselbe Material, dieselbe Anweisung und einen vergleichbaren Werkzeugzugang. Notiere die genauen Modellnamen und das Datum. Ersetze die Namen vor der Bewertung möglichst durch Buchstaben. Dann fällt es leichter, der tatsächlich hilfreichen Antwort einen Punkt zu geben, ohne für die Lieblingsmarke mitzufiebern.

Wiederhole schwierigere Aufgaben. Bewahrt ein Modell einmal die Vereinbarungen und erfindet beim zweiten Mal einen Termin, ist auch dieser Unterschied ein Ergebnis. Notiere bei jeder Antwort, wie lange du bis zu einer brauchbaren Fassung gebraucht hast. Quellen nachzulesen zählt mit, schließlich kostet das ebenfalls Zeit.

Wie viel Arbeit bleibt nach der Antwort?

Stelle akzeptierte Ergebnisse und Korrekturzeit nebeneinander. Lass Beispiele bei den Zahlen stehen: Neun gute Zusammenfassungen und ein erfundener Termin sind etwas anderes als zehn Zusammenfassungen, die du kürzen musst. Der Durchschnitt kann ähnlich aussehen, die weitere Arbeit aber ganz anders.

Zähle auch neue Versuche mit. Eine schnelle erste Antwort hilft wenig, wenn du sie anschließend lange umschreiben musst. Vielleicht entscheidest du dich am Ende für zwei Modelle: eines für Arbeitsnotizen und eines für schwierigere Dokumente.

Schreib zur Entscheidung dazu: „für diese Aufgaben, Unterlagen und Anweisungen“. Nach einem Update kannst du zum gleichen Satz zurückkehren. So siehst du, was sich geändert hat, statt dich erinnern zu müssen, warum du damals genau dieses Modell gewählt hast.