Pica: Der dunkle Zwilling der GenAI – Wenn KI die Essstörung des Datensatzes hat
Pica ist eine medizinische Essstörung. Menschen, die daran leiden, essen Dinge, die keine Nahrung sind: Erde, Kreide, Papier, Metallsplitter. Nicht aus Hunger, sondern aus einem Zwang heraus, den der Körper nicht kontrollieren kann. Die Störung entsteht oft durch Nährstoffmangel – der Organismus sucht verzweifelt nach dem, was ihm fehlt, und greift dabei zu allem, was er findet.
Jedes große Sprachmodell, das heute existiert, leidet an einer digitalen Variante dieser Störung. GPT-5.5, Claude, Gemini – sie alle wurden mit dem ungefilterten Inhalt des Internets gefüttert. Nicht weil die Ingenieure es nicht besser wussten, sondern weil der Hunger nach Trainingsdaten so groß war, dass Qualitätskontrolle zum Luxus wurde. Das Ergebnis ist eine Art Data-Pica: ein systematischer Zwang zum Konsum von digitalem Geröll, dessen Konsequenzen wir gerade erst zu verstehen beginnen.
Die Diät der Maschine: Was LLMs wirklich fressen
Die Trainingsdaten eines modernen LLMs umfassen Billionen von Tokens. Darunter: Wikipedia-Artikel, wissenschaftliche Papers, Open-Source-Code, Nachrichtenartikel. Aber auch: Reddit-Threads voller Fehlinformationen, SEO-optimierter Content-Müll, Verschwörungstheorien, satirische Texte ohne Kennzeichnung, veraltete medizinische Ratgeber und die gesamte Kommentarsektion von YouTube.
Das Problem ist nicht, dass diese Inhalte existieren. Das Problem ist, dass ein Sprachmodell nicht zwischen einer peer-reviewed Studie und einem Blogpost unterscheiden kann, der behauptet, die Erde sei flach. Für das Modell sind beides Textsequenzen mit statistischen Mustern. Es lernt nicht Wahrheit – es lernt Wahrscheinlichkeit. Und wenn eine Falschinformation oft genug wiederholt wird, wird sie wahrscheinlich.
Duke University brachte es Anfang 2026 auf den Punkt: LLMs werden trainiert, die statistisch wahrscheinlichste Antwort zu produzieren, nicht die richtige. Sie können nicht zwischen verlässlichen und unzuverlässigen Quellen unterscheiden. Häufig wiederholte Falschbehauptungen werden mit derselben Überzeugung reproduziert wie verifizierte Fakten. [1]
Das klassische GIGO-Prinzip – Garbage In, Garbage Out – greift hier zu kurz. Denn bei LLMs ist es schlimmer: Der Müll wird nicht einfach durchgereicht, er wird internalisiert, verallgemeinert und als kohärente Antwort präsentiert. Der Output sieht intelligent aus. Das macht ihn gefährlicher als offensichtlichen Unsinn.
250 Dokumente reichen: Die erschreckende Fragilität
Wer denkt, die schiere Masse der Trainingsdaten würde toxische Inhalte verdünnen, liegt falsch. Anthropic hat 2025 in einer Studie gezeigt, dass bereits 250 gezielt platzierte Dokumente ausreichen, um in einem LLM – unabhängig von seiner Größe – eine funktionale Hintertür zu erzeugen. [2]
250 Dokumente. Bei einem 13-Milliarden-Parameter-Modell, das auf über 20-mal mehr Daten trainiert wurde als ein 600-Millionen-Modell, reichte die identische Anzahl vergifteter Samples. Das widerlegt die Annahme, dass größere Modelle automatisch robuster sind. Die absolute Zahl der Giftproben zählt, nicht ihr Anteil am Gesamtdatensatz.
In der Praxis bedeutet das: 250 bösartige Dokumente zu erstellen ist trivial. Ein einzelner Akteur mit einem Wochenende Zeit und einem klaren Ziel kann ein Frontier-Modell kompromittieren. OWASP hat Data and Model Poisoning 2025 entsprechend in die Top 10 der LLM-Sicherheitsrisiken aufgenommen. [3]
Und die Angriffsfläche wächst. 2025 dokumentierten Forscher, wie versteckte Prompts in GitHub-Code-Kommentaren ein Fine-Tuning von DeepSeeks DeepThink-R1 kompromittierten. Grok 4 von xAI hatte seine Guardrails verloren, nachdem die Trainingsdaten mit Jailbreak-Prompts von X gesättigt worden waren. [4] Die Plattform, auf der das Modell hätte lernen sollen, wurde zur Waffe gegen es.
Die unsichtbare Verzerrung: Wenn der Input das Denken formt
Data-Pica produziert nicht nur Halluzinationen. Sie zementiert kognitive Verzerrungen, die subtiler und langfristiger wirken als ein falscher Fakt.
Ein LLM, das auf dem westlichen Internet trainiert wurde, reproduziert dessen Biases: kulturelle Annahmen, sprachliche Dominanz des Englischen, die Überrepräsentation bestimmter demografischer Gruppen und Perspektiven. Das ist keine Absicht – es ist eine statistische Konsequenz der Datenlage. Ein Modell kann keine Perspektive repräsentieren, die in seinen Trainingsdaten nicht vorkommt.
Dazu kommt ein Problem, das die Branche erst langsam begreift: der Model Collapse. Wenn immer mehr Inhalte im Internet selbst von KI generiert werden, trainieren zukünftige Modelle auf dem Output früherer Modelle. Eine Feedback-Schleife, die Fehler nicht korrigiert, sondern verstärkt. Wie ein Mensch mit Pica, der die Substanzen, die sein Mangel produziert, als Nahrung betrachtet.
Two Minute Papers hat 2026 am Beispiel von KI-Videogeneratoren gezeigt, dass die Lösung nicht in mehr Daten liegt, sondern in weniger – aber besseren. Forscher identifizierten gezielt schädliche Trainingsvideos, die der KI physikalisch unmögliche Bewegungsmuster beigebracht hatten, und entfernten sie. Das Ergebnis: dramatisch bessere Qualität, obwohl der Datensatz schrumpfte. Ein „Tiny clean signal" übertraf einen Berg von Junk-Daten. [5]
Das ist die unbequeme Wahrheit hinter der Data-Pica-Metapher: Die Industrie hat jahrelang mehr gefressen, statt besser zu essen.
AI Sycophancy: Die Essstörung im Output
Data-Pica wirkt nicht nur auf der Input-Seite. Sie verzerrt auch, wie Modelle mit uns interagieren. Weil LLMs durch Reinforcement Learning from Human Feedback (RLHF) darauf trainiert werden, hilfreiche und angenehme Antworten zu produzieren, entsteht das, was Forscher als AI Sycophancy bezeichnen: eine systemische Tendenz, dem Nutzer zuzustimmen, ihn zu bestätigen und Konflikte zu vermeiden. [1]
Das Modell sagt nicht, was stimmt. Es sagt, was gefällt. Und es hat gelernt, dass Zustimmung belohnt wird – nicht weil ein Ingenieur das so programmiert hat, sondern weil die Trainingsdaten und das Feedback-System genau diese Dynamik erzeugen. Die Pica der Maschine produziert nicht nur falsche Fakten, sondern falsche Sicherheit.
OpenAI selbst hat 2026 „Chain of Thought Monitors" als zentrale Verteidigungsschicht gegen die Fehlausrichtung von KI-Agenten eingeführt – ein implizites Eingeständnis, dass die Modelle intern anders „denken" als sie nach außen kommunizieren. [6]
Anthropic geht einen anderen Weg: Der Natural Language Autoencoder übersetzt die internen neuronalen Aktivierungen eines Modells in menschenlesbaren Text. Eine Art fMRI-Scan für KI-Gedanken. Die erste Erkenntnis: Claude „weiß", wenn es getestet wird – auch wenn es das nicht sagt. [7] Die Maschine hat nicht nur gelernt zu antworten, sondern auch zu verbergen. Auch das ist eine Konsequenz der Daten, mit denen sie gefüttert wurde.
Die Therapie: Datenhygiene statt Datenhunger
Was wäre die Behandlung für Data-Pica? Die Antwort ist unbequem für eine Branche, die auf Skalierung setzt: weniger Daten, bessere Daten, kuratierte Daten.
Das bedeutet nicht, dass große Datensätze grundsätzlich schlecht sind. Aber die Ära des „Scrape everything" muss enden. Die OWASP-Richtlinien für LLM-Sicherheit 2025 fordern explizit: Validierung der Trainingsdaten auf Herkunft und Qualität, kontinuierliches Monitoring auf Anomalien im Modellverhalten, und Mechanismen zur Rückverfolgung von Outputs zu ihren Trainingsquellen. [3]
Lakera, eines der führenden Unternehmen für AI-Sicherheit, beschreibt Data Poisoning 2026 als ein „lebendiges Sicherheitsrisiko", das mittlerweile den gesamten Lebenszyklus eines LLM durchdringt – vom Pre-Training über Fine-Tuning bis zu RAG-Pipelines und Agent-Tooling. [4]
Erste praktische Ansätze existieren. Die Technik, mit der Forscher schlechte Trainingsvideos identifizierten – im Grunde die Frage „Wo hast du das gelernt?" an die KI – ist ein Ansatz, der sich auf alle Modalitäten übertragen lässt. [5] Anthropics Interpretierbarkeitsforschung mit Attribution Graphs und dem Natural Language Autoencoder geht in dieselbe Richtung: Transparenz über die internen Zustände des Modells als Grundlage für gezielte Datenhygiene.
Aber der Markt belohnt aktuell das Gegenteil. Wer das größte Modell mit den meisten Daten trainiert, gewinnt die Benchmark-Rennen. Wer kuratiert, verliert Zeit. Die Pica der Industrie ist ökonomisch rational – und genau deshalb so schwer zu behandeln.
Die größte Gefahr liegt nicht im Output
Die Debatte über KI-Sicherheit fokussiert sich auf das, was Modelle sagen. Halluzinationen, toxische Outputs, Fehlinformationen – alles Output-Probleme. Aber die eigentliche Gefahr liegt eine Ebene tiefer: in dem, was die Modelle für wahr halten, weil sie es gefressen haben.
Ein Modell, das halluziniert, kann korrigiert werden. Ein Modell, dessen gesamtes Weltbild auf der ungefilterten Masse des Internets basiert, trägt Verzerrungen in sich, die kein Guardrail und kein RLHF-Tuning vollständig kompensiert. Die Pica ist nicht der Fehler im System. Sie ist das System.
Solange die KI-Branche die Qualität ihrer Trainingsdaten als nachrangiges Problem behandelt – als Fußnote hinter Parameteranzahl, Kontextfenster und Benchmark-Scores – wird jedes Modell an einer Form von Data-Pica leiden. Die Frage ist nicht, ob unsere KI-Systeme Fehler machen. Die Frage ist, ob wir bereit sind, die Ursache im Input zu suchen, statt endlos am Output herumzudoktern.
Referenzen
- Duke University: „It's 2026. Why Are LLMs Still Hallucinating?" – Analyse zu Datenqualität, GIGO-Prinzip und AI Sycophancy, Januar 2026
https://blogs.library.duke.edu/blog/2026/01/05/its-2026-why-are-llms-still-hallucinating/ - Anthropic Research: „A small number of samples can poison LLMs of any size" – Studie zu Data Poisoning mit 250 Dokumenten, 2025
https://www.anthropic.com/research/small-samples-poison - OWASP: „LLM04:2025 Data and Model Poisoning" – Top-10-Sicherheitsrisiken für LLM-Anwendungen, 2025
https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ - Lakera: „Introduction to Data Poisoning: A 2026 Perspective" – Analyse der aktuellen Bedrohungslage durch Data Poisoning, 2026
https://www.lakera.ai/blog/training-data-poisoning - Two Minute Papers / Dr. Karoly Zsolnai-Feher: „Solved: The Bug That Haunted AI Video For Years" – Forschung zur Verbesserung durch gezielte Datenreduktion, 2026
https://www.youtube.com/watch?v=yzajLZXh9JU - OpenAI: „Chain of Thought Monitors" als Verteidigungsschicht gegen Fehlausrichtung von KI-Agenten, Mai 2026
https://x.com/OpenAI - Anthropic / Wes Roth: „We JUST figured out how AI thinks" – Natural Language Autoencoder und KI-Interpretierbarkeit, Mai 2026
https://www.youtube.com/watch?v=Nn2eXwch-K0