LLM as a Judge heißt: Ein Sprachmodell bewertet die Antworten eines anderen Sprachmodells, statt dass ein Mensch jede Antwort liest. Der Prüfer bekommt die Aufgabe, die Antwort und einen Maßstab, und liefert ein Urteil zurück, etwa „richtig“ oder „falsch“, eine Note von 1 bis 5 oder „Antwort A ist besser“. Das gibt es in drei Formen: Bewertung nach einer Rubrik, paarweiser Vergleich und Bewertung gegen eine Referenzantwort. Die Methode ist schnell und skaliert, hat aber belegte Schwächen: Der Prüfer bevorzugt oft die erste Antwort, die längere Antwort und unter Umständen seine eigene. Für Entwürfe, Massentests und Vorprüfungen reicht ein KI-Prüfer. Wo ein Fehler Geld kostet, rechtliche Folgen hat oder nach außen geht, entscheidet ein Mensch.
Ich arbeite täglich mit KI-Mitarbeitern auf Basis von Claude Code, und bei mir gilt eine Hausregel: Wer etwas erstellt, prüft es nicht selbst. Alles, was das Haus verlässt, prüft vorher eine getrennte Rolle, meistens selbst ein Sprachmodell in einem eigenen Kontext. Alles rund um Agenten sammle ich auf der Seite KI-Agenten: verstehen, bauen, führen.
Was LLM as a Judge ist und was die Forschung zeigt
Grundlegend ist eine Studie von Zheng und anderen aus dem Jahr 2023: „Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena“. Das Problem dahinter: Offene Antworten wie ein Text oder ein Rat lassen sich nicht per einfachem Abgleich prüfen, und Menschen sind dafür langsam und teuer. Die Forscher ließen deshalb starke Sprachmodelle die Antworten anderer Modelle bewerten. Das stärkste Prüfmodell der Studie, GPT-4, stimmte in über 80 Prozent der Fälle mit menschlichen Bewertern überein, so oft wie Menschen untereinander. Als Vorteile nennt die Studie, dass die Methode skaliert und der Prüfer seine Note begründet. Die Begründung ist der Teil, den du nachprüfen kannst.
Anthropic, der Hersteller von Claude, ordnet die Methode in seiner Doku zu Evaluationen so ein: Bewertung per Code ist am schnellsten, aber starr. Bewertung durch Menschen ist am flexibelsten, aber langsam und teuer. Bewertung durch ein Sprachmodell ist schnell und für komplexe Urteile geeignet, mit einer Bedingung: erst die Verlässlichkeit testen, dann hochskalieren.
Drei Methoden: Rubrik, paarweiser Vergleich, Referenzantwort
Die Rubrik ist der einfachste Einstieg. Du schreibst auf, woran eine gute Antwort zu erkennen ist, und der Prüfer prüft jeden Punkt. Anthropic gibt dafür drei Tipps: eine ausführliche, klare Rubrik, ein eindeutiges Ausgabeformat (zum Beispiel nur „richtig“ oder „falsch“) und ein Prüfmodell, das vor dem Urteil nachdenken darf. Ein Beispiel für eine Rubrik zu einer Kundenmail:
Bewerte die Antwort nach diesen Kriterien:
1. Nennt sie nur Preise und Fristen, die in der beigefügten Preisliste stehen?
2. Beantwortet sie die Frage des Kunden im ersten Absatz?
3. Enthält sie keine Zusage, die nicht in den Unterlagen steht?
Gib je Kriterium "erfüllt" oder "nicht erfüllt" mit einem Satz Begründung aus,
danach das Gesamturteil "freigeben" oder "zurück an den Ersteller".
Der paarweise Vergleich passt, wenn du zwei Prompts oder zwei Modelle testest.
Die Referenzantwort hilft, wo der Prüfer selbst unsicher ist. Bei Zheng und anderen urteilte das Prüfmodell bei einfachen Rechenaufgaben falsch, obwohl es sie allein lösen konnte: Die vorgelegten Antworten hatten es in die Irre geführt. Mit einer vorher getrennt erzeugten Musterlösung im Prüfauftrag sank die Fehlerquote in ihrem Test von 70 auf 15 Prozent. Wie du solche Kriterien schon vor der Arbeit festlegst, beschreibe ich in meinem Beitrag über Spec-Driven Development mit KI-Agenten.
Bekannte Schwächen: Position, Länge, Selbstbevorzugung
Ein KI-Prüfer hat Vorlieben, die mit der Qualität nichts zu tun haben. Die Zahlen stammen aus Studien von 2023 und 2024 mit damaligen Modellen, neuere können besser abschneiden.
- Positions-Bias. Der Prüfer bevorzugt eine Antwort, weil sie zuerst steht. Bei Zheng und anderen gab selbst GPT-4 nur in 65 Prozent der Fälle dasselbe Urteil, wenn die Reihenfolge zweier ähnlicher Antworten vertauscht wurde. Bei Wang und anderen (2023) gewann allein durch die Reihenfolge das kleinere Modell Vicuna-13B mit ChatGPT als Prüfer in 66 von 80 Fragen gegen ChatGPT selbst.
- Längen-Bias. Der Prüfer hält die längere Antwort für besser, auch wenn sie nicht klarer oder richtiger ist. Zheng und andere blähten Antworten mit einer umformulierten Wiederholung derselben Liste auf. Claude-v1 und GPT-3.5 fielen in 91,3 Prozent der Fälle darauf herein, GPT-4 in 8,7 Prozent.
- Selbstbevorzugung. Der Prüfer bewertet Texte des eigenen Modells besser. Zheng und andere sahen Hinweise darauf, konnten es mit ihren Daten aber nicht sicher nachweisen. Panickssery, Bowman und Feng zeigten 2024, dass Modelle ihre eigenen Texte besser als per Zufall erkennen und dass diese Fähigkeit mit der Stärke der Selbstbevorzugung zusammenhängt.
Gegen jede Schwäche gibt es eine einfache Maßnahme:
- Reihenfolge tauschen. Lass den Vergleich zweimal laufen, einmal A vor B, einmal B vor A. Nur wenn beide Durchläufe dieselbe Antwort vorne sehen, zählt es als Sieg, sonst als Unentschieden. So machen es Zheng und andere.
- Länge aus der Rubrik nehmen. Schreib ausdrücklich hinein, dass Länge kein Kriterium ist, und prüf Inhalte einzeln statt „Gesamteindruck“.
- Ein anderes Modell prüfen lassen. Anthropic schreibt in seinen Codebeispielen, es sei in der Regel beste Praxis, mit einem anderen Modell zu bewerten als dem, das die Antwort erzeugt hat.
Dazu kommt eine vierte Falle, die Anthropic in den Best Practices für Claude Code beschreibt: Ein Prüfer, den du nach Problemen fragst, findet immer etwas. Wer jeden Fund umsetzt, baut am Ende Absicherungen für Fälle, die nie eintreten. Begrenze den Prüfauftrag deshalb, etwa auf „nur Fehler melden, die die Richtigkeit betreffen“.
Wann ein KI-Prüfer reicht und wann ein Mensch prüfen muss
Ein KI-Prüfer reicht, wenn ein Fehler billig ist und viele Fälle anfallen: Prompt-Varianten testen, Antworten eines Chatbots vorsortieren, einen Entwurf vor dem Gegenlesen auf Lücken abklopfen. Anthropic empfiehlt für Evaluationen lieber viele automatisch bewertete Fälle als wenige von Hand bewertete.
Ein Mensch muss prüfen, wenn
- ein Fehler Geld kostet, Fristen berührt oder rechtliche Folgen hat,
- das Ergebnis das Haus verlässt, also an Kunden, ins Netz oder in einen Vertrag geht,
- der Prüfer sich widerspricht, etwa wenn das Urteil nach dem Tausch der Reihenfolge kippt. Wang und andere schlagen genau dafür vor, schwierige Fälle gezielt an einen Menschen zu geben,
- du den Prüfer neu aufsetzt. Bevor du ihm vertraust, lass ihn einige Fälle bewerten, deren richtige Antwort du kennst, und vergleiche.
Woher die Fehler kommen, die ein Prüfer finden soll, erkläre ich in KI-Halluzinationen erkennen und reduzieren.
Das Vier-Augen-Prinzip: Ersteller ist nie Prüfer
Das Vier-Augen-Prinzip kennst du aus der Buchhaltung: Wer eine Zahlung anlegt, gibt sie nicht selbst frei. Für KI heißt das: Die Instanz, die einen Text oder Code erstellt hat, prüft ihn nicht. Neben der Selbstbevorzugung gibt es dafür zwei Gründe:
- Selbstkorrektur ohne Rückmeldung von außen funktioniert schlecht. Huang und andere zeigten auf der Konferenz ICLR 2024, dass Sprachmodelle ihre eigenen Denkfehler ohne äußeres Feedback nicht zuverlässig korrigieren und manchmal schlechter werden.
- Ein frischer Kontext hilft. Anthropic schreibt zu Claude Code: Einen Auftrag an einen Subagenten weiterzugeben macht die Antwort nicht besser, ein frischer Prüfer aber schon, weil er deine Überlegungen nicht gesehen hat.
Praktisch heißt das bei mir: Geprüft wird in einem zweiten Durchlauf mit eigenem Auftrag, meistens durch einen Subagenten mit frischem Kontext. Mein Rat: Verlang zu jedem Fund Fundstelle und Beleg, dann prüfst du das Urteil schnell nach. Für Korrekturschleifen nutze ich regelmäßig auch Codex von OpenAI. Wie du einen Prüfer als eigenen Subagenten in Claude Code anlegst, zeige ich in Claude Code Subagents: Best Practices. Für Code gibt es von Anthropic einen fertigen Dienst, den ich in Claude Code Review: Kosten, Ablauf, Grenzen beschreibe. Wie das in die Arbeit mit Coding-Agenten passt, steht in meinem Beitrag über Agentic Coding: mehr als Vibe Coding.
Ein echter Fund aus meinem Betrieb
Ein Beispiel aus der redaktionellen Prüfung dieser Website: In einem älteren Beitrag zu Kubernetes Persistent Volumes zeigte ein YAML-Beispiel eine Snapshot-Klasse für Hetzner. Die Gegenprüfung mit der Hetzner-Dokumentation und dem Issue-Tracker des CSI-Treibers zeigte, dass Hetzner für Volumes keine Snapshots anbietet. Das Beispiel wurde korrigiert. Entscheidend war die Primärquelle, nicht das Urteil des Modells.
Zwei Dinge finde ich lehrreich. Erstens stand das Beispiel seit dem Update vom 7. September 2026 online, obwohl auch dieser Beitrag damals durch eine getrennte Prüfung gegangen war. Ein Prüfer findet nicht alles. Zweitens hat nicht das Urteil eines Modells den Fall entschieden, sondern die Primärquelle, die der Prüfer zitiert hat. Das ist für mich der Kern von LLM as a Judge in der Praxis: ein Prüfer mit Rubrik und Belegpflicht und ein Mensch, der das Ergebnis liest und entscheidet. Mehr über Sebastian: Sebastian, mein KI-Mitarbeiter für SEO und GEO.
Häufige Fragen
Was bedeutet LLM as a Judge auf Deutsch?
Wörtlich „Sprachmodell als Richter“: ein Sprachmodell, das die Ausgaben eines anderen Modells oder Agenten nach festen Kriterien bewertet. Es ist eine Form der KI-Evaluation, englisch LLM Evaluation.
Wie gut stimmt ein KI-Prüfer mit Menschen überein?
In der Studie von Zheng und anderen erreichte GPT-4 über 80 Prozent Übereinstimmung mit menschlichen Bewertern, so viel wie Menschen untereinander. Das gilt für die dort getesteten offenen Fragen. Für deine Aufgabe prüfst du es selbst an Fällen mit bekannter Antwort.
Darf das Modell seine eigenen Antworten bewerten?
Technisch ja, empfehlenswert ist es nicht. Studien zeigen eine Neigung zur Selbstbevorzugung, und Anthropic empfiehlt in seinen Beispielen ein anderes Modell als Prüfer. Mindestens gehört die Prüfung in einen frischen Kontext mit eigenem Auftrag.
Ersetzt LLM as a Judge menschliches Gegenlesen?
Nein. Er ersetzt das Lesen von Massen und liefert eine begründete Vorauswahl. Was das Haus verlässt oder teuer wird, wenn es falsch ist, liest ein Mensch.
Wie du weitermachst
Nimm eine Aufgabe, die du regelmäßig an die KI gibst, und schreib drei bis fünf Kriterien für eine gute Antwort auf. Gib sie einem zweiten Chat als Rubrik mit der Antwort aus dem ersten und vergleich sein Urteil mit deinem, bevor du ihm vertraust. Wie mehrere Agenten mit getrennten Rollen zusammenarbeiten, steht in Mehrere KI-Agenten orchestrieren: Anleitung. Wie andere ihre Prüfrollen aufbauen, besprechen wir in meiner deutschsprachigen Community Claude Practitioners.
