Lokale KI und Datenschutz werden oft gleichgesetzt, sind aber zwei verschiedene Fragen. Ob ein Modell lokal läuft, sagt nichts darüber, ob dein gesamtes Setup datenschutzkonform ist: Ein Auftragsverarbeitungsvertrag entfällt zwar, wenn kein externer Anbieter mehr im Spiel ist, ein gegebenenfalls erforderliches Verzeichnis von Verarbeitungstätigkeiten und die Anforderungen des EU AI Act bleiben aber unabhängig davon bestehen, wo das Modell rechnet.
Vorweg, damit das klar ist: Ich bin Entwickler, kein Anwalt. Das ist keine Rechtsberatung, sondern die Betreiber-Perspektive, mit der ich das Thema in meinem eigenen Setup handhabe, ein lokales Modell neben einer KI-Belegschaft auf Claude-Basis. Alles, was ich zu KI im Alltag schreibe, sammle ich auf der Seite KI.
Die Frage, die dabei fast immer untergeht: Was genau heißt „lokal", wenn ein Modell, ein Runner, ein Agent und eine Handvoll Werkzeuge zusammenspielen? Genau da fange ich an.
Was lokale KI und Datenschutz wirklich bedeutet
Ein lokales Setup besteht aus mehreren Schichten, und nur eine davon ist automatisch datenschutzfreundlich. Das Modell selbst, also die heruntergeladenen Gewichte, sendet nichts irgendwohin, es ist eine Datei auf deiner Festplatte. Der Runner, bei mir SGLang, führt das Modell aus und beantwortet Anfragen, ebenfalls ohne eigene Cloud-Anbindung. Der Agent oder das Werkzeug, das darüber liegt, zum Beispiel ein Terminal-Assistent oder eine App, ist der Teil, der Ausnahmen einführen kann: Update-Prüfungen, Telemetrie, oder ein einzelner Arbeitsschritt, der doch einen externen Dienst aufruft, etwa eine Websuche.
„Lokale KI für Unternehmen" bedeutet deshalb nicht automatisch: Kein Byte verlässt das Haus. Es bedeutet: Das Sprachmodell selbst verarbeitet die Anfrage ohne fremden Server. Was drumherum passiert, entscheidet die Konfiguration, nicht die Marketingaussage „läuft lokal".
Welche Daten trotzdem abfließen können
Auch bei einem sauber lokal laufenden Modell gibt es Stellen, an denen Daten unbeabsichtigt das eigene Netz verlassen. Die Runner-Software selbst prüft manchmal auf Updates und meldet dabei zumindest, dass sie läuft, eine Anfrage, die je nach Werkzeug abschaltbar ist oder nicht. Wenn ein Agent zusätzliche Werkzeuge nutzt, etwa eine Websuche oder einen externen Übersetzungsdienst, verlässt an dieser Stelle wieder Text das eigene Netz, nur eben nicht der an das Sprachmodell selbst. Und der menschliche Faktor bleibt: Wer ein Ergebnis aus dem lokalen Modell danach in einen Cloud-Chat kopiert, um es zu prüfen oder weiterzuverarbeiten, hat den Datenschutzvorteil des lokalen Setups in diesem Moment wieder aufgegeben.
Der ehrliche Rat: Vertraue nicht der Aussage „läuft lokal", sondern prüfe dein konkretes Setup einmal selbst, dazu unten mehr.
Wann lokale KI Pflicht ist und wann Cloud reicht
Für die meisten Selbstständigen und kleinen Unternehmen reicht ein Cloud-Anbieter mit einem passenden Auftragsverarbeitungsvertrag völlig aus. Lokale KI wird eher zur Pflicht, wenn eine der folgenden Bedingungen zutrifft:
| Frage |
Cloud reicht meist |
Lokale KI eher nötig |
| Gibt es einen Auftragsverarbeitungsvertrag, der zu deinen Daten passt? |
Ja |
Kein verfügbarer Anbieter erfüllt deine Anforderungen |
| Um welche Daten geht es? |
allgemeine Geschäftsdaten, anonymisierbare Inhalte |
besondere Kategorien wie Gesundheitsdaten, Berufsgeheimnisse |
| Verlangt ein Kunde oder eine Vorgabe ausdrücklich, dass Daten das eigene Netz nicht verlassen? |
Nein |
Ja, vertraglich oder gesetzlich fixiert |
| Kannst du den Betrieb und die Wartung eines eigenen Servers leisten? |
Muss nicht sein |
Vorhanden oder eingeplant |
Die Fälle, in denen lokale KI wirklich zur Pflicht wird, sind in meiner Erfahrung selten und meist vertraglich oder branchenspezifisch begründet, nicht pauschal DSGVO-getrieben. Für alles andere ist ein Cloud-Anbieter mit sauberem Auftragsverarbeitungsvertrag der schnellere und meist auch der günstigere Weg. Die Abwägung ohne Datenschutzbrille, also nach Aufgabe, Häufigkeit und Aufwand, steht in Lokale KI: was 2026 wirklich geht, die Kostenseite eines eigenen Servers in Eigener KI-Server: Hardware und Kosten.
Auftragsverarbeitung entfällt, die übrigen Pflichten nicht
Beim Wechsel auf ein komplett lokales Setup entfällt der Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO für dieses eine Modell, weil dort kein externer Anbieter mehr Daten verarbeitet. Das gilt nur für den beschriebenen Fall ohne jeden externen Auftragsverarbeiter. Läuft die Hardware in einem gemieteten Rechenzentrum, greift ein Fernzugriff eines Dienstleisters darauf zu, oder gehen Teile der Verarbeitung weiter in die Cloud, brauchst du den Vertrag weiterhin. Bei Claude, das ich für meine KI-Belegschaft nutze, übernimmt diese Rolle das Data Processing Addendum von Anthropic, die für die Business-Pläne gilt. Was durch lokalen Betrieb nicht entfällt: Ob du ein Verzeichnis von Verarbeitungstätigkeiten führen musst, hängt nicht vom Ort der Berechnung ab, sondern von deiner Verarbeitung. Artikel 30 Absatz 5 DSGVO nimmt Organisationen mit weniger als 250 Beschäftigten davon aus, aber nur, solange die Verarbeitung nur gelegentlich erfolgt, kein Risiko für die Betroffenen birgt und keine besonderen Datenkategorien betrifft (Verordnungstext bei EUR-Lex). Für einen regelmäßigen KI-Einsatz wie den hier beschriebenen greift diese Ausnahme in der Regel nicht, dann brauchst du das Verzeichnis. Ob das in deinem Fall so ist, klärst du mit einer individuellen Prüfung, nicht mit einem Blogbeitrag. Und der EU AI Act stellt eigene Anforderungen an den Betrieb von KI-Systemen, die ebenfalls unabhängig vom Standort des Modells gelten. „Lokal" verschiebt also eine Pflicht, streicht aber nicht automatisch alle anderen.
Nachweis statt Behauptung: der Netzwerkmitschnitt
Wer zu lokaler KI und Datenschutz sucht, landet fast nur bei Anbieter-Blogs, die den Satz „läuft lokal, ist sicher" behaupten und dabei keinen einzigen Nachweis zeigen. Prüfen lässt sich das selbst: Während eine Anfrage durch das Modell läuft, schneidest du den Netzwerkverkehr mit einem Werkzeug wie tcpdump mit und siehst, wohin die Maschine tatsächlich spricht. Bei mir läuft der Zugriff auf den DGX Spark über mein eigenes Tailnet, der Rechner ist also nicht offen aus dem Internet erreichbar. Einen abgelegten Rohmitschnitt, mit dem ich die Abwesenheit jeder ausgehenden Verbindung belegen könnte, habe ich nicht, deshalb behaupte ich sie hier auch nicht.
Diese Prüfung kann jeder an seinem eigenen Setup fahren, und aus meiner Sicht sollte er das auch, bevor er sich auf „läuft ja lokal" verlässt. Ein Anbieter-Versprechen ersetzt diese Prüfung nicht.
Praxis bei mir: Frieda mit Belegen
Meine KI-Mitarbeiterin Frieda übernimmt bei mir den Posteingang, Termine und Belege. In einer ganz normalen Woche sortiert sie die Belege, die per Mail hereinkommen, meist Rechnungen von Dienstleistern und Quittungen für Kleinausgaben, und bereitet sie für die Buchhaltung vor. Für diese Aufgabe läuft Frieda über Claude, weil dafür ein Auftragsverarbeitungsvertrag mit Anthropic besteht und die Belege selbst allgemeine Geschäftsdaten sind, keine Gesundheits- oder fremden Bankdaten.
Ein mögliches Beispiel dafür, wie das greift: Unter den Belegen liegt einer, der neben der Rechnung noch eine handschriftliche Notiz mit einer Kontonummer und einem Gesundheitshinweis enthält, offensichtlich versehentlich mitgescannt. Nach ihrer Personalakte gilt für Frieda: bei ungewöhnlichen Inhalten stoppen und melden, nicht selbst weiterverarbeiten. Sie stellt den Beleg also zurück und meldet ihn, statt ihn wie die anderen durchzuwinken. Ehrlich dazugesagt: Damit Frieda die Notiz überhaupt als heikel erkennt, muss sie den Beleg gelesen haben. Die Regel verhindert die weitere Verarbeitung und die Ablage, nicht das erstmalige Einlesen. Wer auch das ausschließen will, muss vorher trennen und solche Dokumente gar nicht erst in den Ordner legen, auf den die KI zugreift. Die Datenschutzkonferenz weist darauf hin, dass schon die Eingabe personenbezogener Daten in ein KI-System eine Rechtsgrundlage braucht und durch klare Routinen vermieden werden sollte (DSK-Orientierungshilfe KI und Datenschutz). Ob und wie dieses eine Dokument überhaupt weiter verarbeitet wird, entscheide danach ich, nicht die KI. Genau diese Trennung, Routine läuft über die KI, Zweifelsfälle landen bei mir, ist der Kern meiner Datenschutz-Praxis, nicht eine einzelne Technologie-Entscheidung für Cloud oder lokal.
Die acht KI-Mitarbeiter-Pakete, Frieda eingeschlossen, gibt es fertig in meiner Community, mit Zugang über Skool.
Häufige Fragen
Ist lokale KI automatisch DSGVO-konform?
Nein. Lokaler Betrieb erspart dir den Auftragsverarbeitungsvertrag mit einem externen Anbieter, ändert aber nichts an den übrigen Pflichten, etwa einem gegebenenfalls erforderlichen Verzeichnis von Verarbeitungstätigkeiten und den Anforderungen des EU AI Act. Das ist keine Rechtsberatung, nur meine Erfahrung als Betreiber.
Brauche ich für lokale KI einen Auftragsverarbeitungsvertrag?
Nur, wenn tatsächlich noch ein externer Dienstleister beteiligt ist, etwa für Hosting oder Wartung. Läuft das Modell komplett auf eigener Hardware ohne fremden Zugriff, entfällt diese Pflicht, an den übrigen Pflichten aus der DSGVO ändert das nichts.
Ist ein chinesisches Modell automatisch ein Datenschutzrisiko?
Das kommt auf die Nutzung an, nicht auf das Herkunftsland des Modells. Ein offen lizenziertes Modell, das du herunterlädst und komplett auf eigener Hardware betreibst, sendet keine Daten irgendwohin, unabhängig davon, wo es entwickelt wurde. Ein Risiko entsteht erst, wenn du stattdessen eine Cloud-API desselben Anbieters nutzt und Daten dorthin schickst.
Was sagt der EU AI Act für Nutzer lokaler KI?
Der EU AI Act stellt Anforderungen an den Betrieb von KI-Systemen, die unabhängig davon gelten, ob das Modell lokal oder in der Cloud läuft. Details hängen von der Einstufung deines konkreten Einsatzes ab, das ist keine Rechtsberatung.
Kann ich Claude auch offline nutzen, wie ein lokales Modell?
Nein, Claude läuft ausschließlich als Cloud-Dienst, eine Offline-Nutzung gibt es nicht. Wer Aufgaben ohne jede Internetverbindung erledigen will, braucht dafür ein lokal laufendes Modell wie in diesem Beitrag beschrieben, nicht Claude.
Wie du weitermachst
Für die Claude-Seite desselben Themas, also was bei einem Cloud-Anbieter für Datenschutz und DSGVO gilt, lohnt sich Claude Datenschutz und DSGVO: was gilt. Wie ich Kundendaten grundsätzlich in meiner KI-Belegschaft handhabe, unabhängig von lokal oder Cloud, steht in KI und Datenschutz: was die KI sehen darf. Und die Einordnung, was lokale KI 2026 allgemein kann, in Lokale KI: was 2026 wirklich geht.
