Ein LLM, auf Deutsch großes Sprachmodell, ist ein Programm, das aus riesigen Textmengen gelernt hat, welches Wortstück in einem Text wahrscheinlich als Nächstes kommt. Wenn du ihm eine Frage stellst, sagt es Stück für Stück das nächste Wortstück voraus, hängt es an und wiederholt das, bis die Antwort fertig ist. Weil es dabei Wahrscheinlichkeiten folgt und nicht in einer Datenbank nachschlägt, klingen seine Antworten fast immer überzeugend, sind aber nicht immer richtig.
Ich arbeite jeden Tag mit Claude. Meine vierzehn KI-Mitarbeiter laufen auf Claude Team, manche auch auf offenen Modellen oder über die API. Damit ich ihnen sinnvolle Aufgaben gebe, muss ich wissen, was im Inneren passiert. Das erkläre ich hier ohne Formeln. Alle Grundlagen zu KI sammle ich auf der Seite KI-Grundlagen.
Was ein LLM ist
LLM steht für Large Language Model. Hinter ChatGPT steckt ein solches Modell von OpenAI, hinter Claude eins von Anthropic, hinter Gemini eins von Google. Die App, in der du chattest, ist also nicht das Modell selbst, sondern die Oberfläche drumherum. Wie sich ein KI-Modell von App und Anbieter unterscheidet, erkläre ich in einem eigenen Beitrag.
Das Modell selbst ist im Kern eine riesige Sammlung von Zahlen, den sogenannten Parametern. Große Modelle haben viele Milliarden davon. Gelernt werden diese Zahlen beim Training aus Beispielen; wie das funktioniert, erkläre ich im Beitrag über Machine Learning. Die Parameter legen fest, wie das Modell aus einem Text die Fortsetzung berechnet. Der Bauplan, nach dem das passiert, heißt Transformer: Jedes Textstück kann dabei auf die anderen Textstücke im Gespräch achten.
Diese Textstücke heißen Tokens. Ein Token ist ein Wort, ein Wortteil oder ein Satzzeichen.
Schritt 1: Vortraining mit riesigen Textmengen
Am Anfang kann das Modell noch nichts. Im Vortraining liest es riesige Mengen Text. Anthropic beschreibt das so: Das Modell wird darauf trainiert, das nächste Wort vorherzusagen, wenn es den Text davor kennt. Liegt es daneben, werden seine Parameter ein kleines Stück angepasst. Das passiert unvorstellbar oft.
Woher die Texte kommen, beschreiben die Hersteller nur grob. Bei Claude nennt Anthropic öffentlich verfügbare Informationen aus dem Internet, öffentliche und nicht öffentliche Datensätze, Nutzerdaten (laut Anthropic etwa aus Feedback oder mit ausdrücklicher Erlaubnis) und Daten, die andere Modelle erzeugt haben.
Wichtig: Das Modell legt die Texte nicht wie ein Archiv ab, in dem es später nachschlagen kann. Es lernt vor allem Muster, also wie Sprache, Fakten und Zusammenhänge typischerweise aussehen. Deshalb kann es neue Sätze bilden, aber meist nicht verlässlich sagen, wo es etwas gelesen hat.
Das Vortraining endet an einem Stichtag. Bis zu diesem Wissensstand weiß das Modell am besten Bescheid. Bei den aktuellen Claude-Modellen nennt Anthropic Juni 2026.
Schritt 2: Nachtraining zum Assistenten
Ein Modell nur mit Vortraining setzt Texte fort, beantwortet aber nicht zuverlässig Fragen. Anthropic schreibt, dass solche Modelle von sich aus schlecht darin sind, Anweisungen zu folgen. Deshalb folgt ein Nachtraining:
- Fine-Tuning: Das Modell wird mit ausgewählten Beispielen weitertrainiert, etwa mit guten Antworten auf Fragen.
- Rückmeldungen von Menschen: Menschen bewerten mehrere Antworten und legen fest, welche besser ist. Das Modell lernt, die besseren zu bevorzugen. Das Verfahren heißt RLHF.
Erst danach ist aus dem Textfortsetzer ein Assistent geworden, der Fragen beantwortet, Regeln einhält und höflich bleibt.
Schritt 3: Die Antwort entsteht Token für Token
Wenn du eine Frage schickst, lernt das Modell nicht mehr dazu. Es benutzt nur, was es gelernt hat. Das heißt Inferenz. Dabei passiert immer wieder dasselbe:
- Das Modell sieht alles, was in seinem Kontextfenster steht, also dem Platz für alles, was es gerade vor sich hat: deine Frage, das bisherige Gespräch, angehängte Dateien und die Anweisungen des Anbieters.
- Es berechnet für die möglichen nächsten Tokens, wie gut sie passen.
- Es wählt eins aus und hängt es an.
- Mit diesem neuen Token beginnt es von vorn, bis die Antwort fertig ist.
Ein Beispiel: Steht da „Sehr geehrte Frau Müller, vielen Dank für Ihre“, ist „Anfrage“ eine sehr wahrscheinliche Fortsetzung, „Banane“ nicht.
Wie streng das Modell beim Auswählen ist, regelt die Temperatur. Bei niedriger Temperatur nimmt es fast immer die wahrscheinlichste Fortsetzung, bei hoher wird die Antwort abwechslungsreicher. Deshalb bekommst du auf dieselbe Frage nicht immer denselben Wortlaut.
„Nur das nächste Wort vorhersagen“ ist allerdings eine Vereinfachung. Anthropic hat in einer Untersuchung gezeigt, dass ein Claude-Modell beim Dichten mögliche Reimwörter schon vorab plant, bevor es die Zeile schreibt. Das Modell schreibt also Token für Token, kann dabei aber vorausplanen. Was ins Kontextfenster passt und was passiert, wenn es voll ist, steht in Kontext und Kontextfenster bei KI.
Denkmodus: Reasoning-Modelle
Neuere Modelle können vor der eigentlichen Antwort erst nachdenken. Bei Claude heißt das Thinking. Laut Anthropic formuliert Claude dann in eigenen Worten, was gefragt ist, probiert Lösungswege aus, prüft Zwischenergebnisse und verwirft, was nicht trägt. Technisch sind das ebenfalls Tokens, nur eben solche, die vor der Antwort stehen. Das hilft bei Rechnungen, Code und Analysen und dauert länger.
Warum ein LLM Fehler macht
Aus diesem Aufbau folgen die typischen Schwächen:
- Es rät lieber, als zu schweigen. Anthropic schreibt, dass schon das Training Halluzinationen begünstigt, also Antworten, die überzeugend klingen, aber erfunden sind, weil ein Modell immer einen Tipp für das nächste Wort abgeben soll. Forscher von OpenAI und Georgia Tech kommen zu einem ähnlichen Schluss: Training und Tests belohnen Raten mehr als das Eingeständnis von Unsicherheit.
- Es kennt nur seinen Wissensstand. Was nach dem Stichtag passiert ist, weiß es nicht, außer es sucht im Web oder du gibst es ihm mit.
- Es schlägt nicht nach. Ohne Werkzeuge antwortet das Modell aus dem Gelernten. Ein seltener Name oder eine genaue Zahl wird dann leicht falsch.
- Lange Gespräche werden unschärfer. Laut Anthropic lassen Genauigkeit und Erinnerung nach, je mehr Tokens im Kontext stehen.
Eine Halluzination ist deshalb kein Defekt im Einzelfall, sondern eine Folge davon, wie das Modell arbeitet. Woran du Halluzinationen erkennst und was dagegen hilft, erkläre ich in meinem Beitrag über KI-Halluzinationen.
Ein Beispiel aus dem Büro
Ein Beispiel: Du bittest eine KI, ein Angebot für einen Stammkunden zu formulieren. Den Text schreibt sie in Sekunden, freundlich und gut gegliedert. Fehlt im Chat aber dein Stundensatz, setzt sie womöglich einen plausiblen Betrag ein, weil an dieser Stelle in Angeboten nun einmal eine Zahl steht. Das Modell lügt nicht. Es setzt fort, was an dieser Stelle typischerweise steht. Gibst du ihm deine Preisliste mit, hat es die richtige Zahl im Kontext und kann sie übernehmen.
Worauf du achten solltest
- Gib dein Material mit. Was im Kontext steht, muss das Modell nicht raten.
- Erlaube „weiß ich nicht“. Anthropic empfiehlt ausdrücklich, Claude zu erlauben, Unsicherheit zuzugeben. Das kann laut Anthropic falsche Angaben deutlich verringern.
- Verlange Belege. Lass dir für wichtige Aussagen die Stelle im Dokument zitieren.
- Prüfe Zahlen, Namen und Daten. Genau dort liegt das Modell am ehesten daneben.
- Fang neue Aufgaben in einem neuen Chat an. Dann steht weniger Altes im Kontext.
Was nach dem Modell kommt: Werkzeuge und Agenten
Ein LLM allein schreibt Text. Bekommt es Werkzeuge wie Websuche, Dateien oder ein Postfach und darf mehrere Schritte nacheinander gehen, wird daraus ein Agent. Was danach kommt, wenn das Modell Werkzeuge bekommt, erkläre ich in Was ist ein KI-Agent? Einfach erklärt. Warum der Unterschied in der Schleife um das Modell liegt und nicht im Modell selbst, steht in Agentische KI: was das ist und was nicht.
Häufige Fragen
Versteht ein LLM, was es schreibt?
Das weiß niemand genau. Anthropic schreibt selbst, dass die Entwickler die meisten Abläufe im Inneren ihrer Modelle nicht verstehen, weil die Modelle ihre Strategien im Training selbst lernen. Belegt ist: Ein LLM rechnet mit Wahrscheinlichkeiten. Und bei Claude hat Anthropic gezeigt, dass das Modell dabei vorausplanen kann.
Lernt ein LLM aus meinen Chats?
Während des Gesprächs nicht. Seine Parameter ändern sich beim Chatten nicht, es merkt sich nur, was im Kontextfenster steht. Ob ein Anbieter deine Chats später für das Training neuer Modelle verwendet, hängt von seinen Regeln und deinen Einstellungen ab.
Warum gibt mir die KI auf dieselbe Frage verschiedene Antworten?
Weil das Modell bei jedem Token aus mehreren passenden Fortsetzungen auswählt, gesteuert über die Temperatur. Laut Anthropic sind die Antworten selbst bei Temperatur 0 nicht völlig gleich.
Wie viele Parameter hat ein LLM?
Das hängt vom Modell ab. Offene Modelle für den eigenen Rechner haben 2026 meist 20 bis 35 Milliarden Parameter, große offene Modelle Hunderte Milliarden bis Billionen. Für Claude nennt Anthropic in seiner Modellübersicht keine Parameterzahl.
Kann ich ein LLM auf meinem eigenen Rechner betreiben?
Ja, mit offenen Modellen, deren Parameter du herunterladen darfst. Für einen normalen Rechner taugen eher kleinere Modelle. Welche es gibt, steht in Open-Source-KI-Modelle 2026 im Vergleich, was damit wirklich geht, in Lokale KI: was 2026 wirklich geht.
Wie du weitermachst
Wenn dir in diesem Beitrag Wörter fremd waren, schlag sie im Glossar der KI-Begriffe nach. Wie viel ein Modell auf einmal im Blick hat, erklärt der Beitrag zu Kontext und Kontextfenster bei KI. Welche Modelle Anthropic gerade anbietet und worin sie sich unterscheiden, steht in Claude Modelle: Opus, Sonnet, Haiku, Fable. Wie andere mit Sprachmodellen im Alltag arbeiten, besprechen wir in meiner deutschsprachigen Community Claude Practitioners.
