Warum habe ich mich entschieden, diesen Artikel zu schreiben?
Neulich habe ich eine generative KI gebeten, "die Schwächen generativer KI zusammenzufassen."
Ich ließ sie die strukturellen Stärken und Schwächen generativer KI auf Basis der neuesten Paper und Studien recherchieren.
Auf den ersten Blick sah die Ausgabe gut aus: 13 Schwächen wurden sorgfältig formuliert und mit Papern belegt, wie Halluzinationen, schwaches kausales Denken und fragiles mathematisches Denken.
Dennoch konnte ich beim Lesen ein seltsames Unbehagen nicht abschütteln.
"Ist das nicht einfach nur eine willkürliche Liste?"
Die tatsächliche Liste sah so aus:
1. Halluzinationen 2. Schwaches kausales Denken 3. Fragiles mathematisches Denken 4. Kollaps von Reasoning-Modellen 5. Illusion des Verstehens 6. Schwache Abstraktion 7. Verzerrung in Trainingsdaten 8. Wissensstichtag (Knowledge Cutoff) 9. Speichelleckerei (Sycophancy) ...... (und so weiter, insgesamt 13)
Die 13 Schwächen waren einfach nebeneinander aufgelistet. Einige Punkte überschnitten sich, andere Perspektiven fehlten. Aber die KI kümmerte sich nicht darum; sie listete sie einfach in der Reihenfolge auf, in der sie sie fand. Es fühlte sich, nun ja, schlampig an.
Dann traf es mich.
Diese Ausgabe selbst verkörpert perfekt die Schwächen generativer KI.
Generative KI ist gut darin, Informationen zu sammeln und aufzulisten. Andererseits ist sie schlecht darin, "gesammelte Informationen auf eine MECE-Art (Mutually Exclusive, Collectively Exhaustive) zu strukturieren und in ein übergeordnetes System zu organisieren." Mir wurde klar, dass dies eine strukturelle Schwäche ist, die aus dem grundlegenden Mechanismus generativer KI resultiert.
Warum habe ich mich entschieden, diesen Artikel zu schreiben?
Warum habe ich mir die Mühe gemacht, darüber nachzudenken: "Ich muss die grundlegenden Schwächen generativer KI formulieren"?
Weil ich mehr Gelegenheiten hatte, mich an Projekten zu beteiligen, die den Einsatz generativer KI in Unternehmen und Bildungseinrichtungen leiten oder unterstützen.
In diesem Zusammenhang wurde mir klar, dass für den Aufbau eines KI-Systems, das tatsächlich vor Ort eingesetzt werden kann, die strikte Definition der Aufgabenverteilung – "wie weit kann generative KI gehen, und wo müssen Menschen übernehmen?" – der absolute Kern des Business Designs ist.
Wenn Ihr Verständnis auf dem Niveau bleibt "Ich weiß nicht warum, aber es hat funktioniert, als ich den Prompt so angepasst habe", können Sie beim Aufbau von KI-Systemen keine Reproduzierbarkeit garantieren, was ziemlich problematisch ist.
Daher dachte ich, es wäre nützlich, eine Denkschrift zu diesem Thema zu hinterlassen, damit wir verstehen:
- Wie generative KI aufgebaut ist
- Was ihre grundlegenden Stärken und Schwächen sind, basierend auf diesem Aufbau ...Dadurch können wir vermeiden, von jedem KI-Update hin- und hergerissen zu werden oder Prompts wie ein Glücksspiel zu bedienen.
Die Eigenschaften generativer KI strukturell verstehen
Der Mechanismus generativer KI, auf den Kern reduziert, ist die Wiederholung von "das Wort mit der höchsten Wahrscheinlichkeit auswählen, das als nächstes kommt, basierend auf dem bisherigen Kontext."
Wenn Sie "Die Hauptstadt von Japan ist" eingeben, wird "Tokio" mit der höchsten Wahrscheinlichkeit gewählt. Wenn es "Zum Frühstück, Brot und" ist, dann wird "Kaffee" oder "Butter" gewählt. Dieses "Spiel des nächsten Wortes erraten" ist der Ausgangspunkt für alles.
Die Aufschlüsselung dieses "Spiels des nächsten Wortes erraten" offenbart die folgenden Hauptmerkmale.
Merkmal ①: Es arbeitet auf Basis von Korrelation
Um "das nächste Wort zu erraten", lernt generative KI aus riesigen Textmengen, "welche Wörter tendenziell in welcher Reihenfolge zusammen auftreten."
Wenn es "Brot und Kaffee zum Frühstück" ausgibt, versteht es nicht, dass "Brot ein Kohlenhydrat ist, also ergänzt man es mit Koffein wegen seiner anregenden Wirkung, um die Ernährung auszugleichen." Es reproduziert lediglich die Tendenz, dass "Kaffee" oft in der Nähe von Wörtern wie "Frühstück" und "Brot" vorkommt.
Emily Bender, Timnit Gebru und andere beschrieben dies in ihrem FAccT-Paper von 2021 als "Stochastic Parrot" (stochastischen Papagei). Es ist eine Kritik, dass so wie ein Papagei menschliche Sprache nachahmt, ohne die Bedeutung zu verstehen, generative KI nur Muster von Wortsequenzen nachahmt und keinen Zugang zur Bedeutung selbst hat. Die Namensgebung ist ziemlich zynisch, nicht wahr? Wenn mir jemand sagen würde: "Deine Intelligenz ist auf dem Niveau eines Papageis", wäre ich ziemlich schockiert...
Was wir hier erfassen müssen, ist, dass es erfassen kann, dass "A und B oft zusammen auftreten (= Korrelation)", aber es versteht nicht, dass "A die Ursache von B ist (= Kausalität)." Halluzinationen und schwaches kausales Denken, die ich später erklären werde, haben alle ihre Wurzeln hier.
Merkmal ②: Es arbeitet unidirektional
Das wiederholte "Erraten des nächsten Wortes" bedeutet, dass Sätze Wort für Wort, der Reihe nach von Anfang an, in einem einzigen Durchgang geschrieben werden.
Ist generative KI also völlig ad-hoc und wählt das nächste Wort nur basierend auf dem einzelnen Wort davor aus? Wenn man sich die aktuelle Forschung ansieht, scheint das nicht der Fall zu sein.
Laut Dong et al.s "Emergent Response Planning in LLMs (ICML 2025)" bildet generative KI, noch bevor sie ein einziges Wort ausgibt, eine grobe Voraussicht für die gesamte Antwort, wie zum Beispiel:
- Wie lang die Antwort ungefähr sein wird
- Wie viele Denkschritte sie umfassen wird
- Welchen Inhalt sie auswählen und ausgeben wird
Auch in "On the Biology of a Large Language Model", das von Anthropic im März 2025 veröffentlicht wurde, wurde festgestellt, dass Claude 3.5 Haiku, wenn es ein Gedicht schreibt, bereits das Reimwort am Ende einer Zeile festgelegt hat, bevor es überhaupt beginnt, diese Zeile zu schreiben. Eine Art Plan, der mehrere Wörter vorausschaut, arbeitet intern.
Mit anderen Worten, es ist kein "vollständig ad-hoc Spiel des nächsten Wortes erraten." Generative KI erstellt auf ihre eigene Weise einen Plan, bevor sie beginnt.
Es gibt jedoch derzeit keine Beweise dafür, dass sie einen klaren Bauplan wie ein Mensch hat, der vielleicht "zuerst ein Inhaltsverzeichnis erstellt und die gesamte Struktur überblickt, bevor er mit dem Schreiben beginnt." Der Anthropic-Bericht weist auch darauf hin, dass sie "schwach bei langen Eingaben von mehr als etwa 100 Token ist."
Daher ist das Bild, das die aktuelle Forschung zeigt:
Generative KI hat ein "allgemeines Richtungsgefühl", aber kein "gesamtes strukturelles Design."
Und entscheidend ist, dass sie nicht die Kraft hat, zurückzublicken und das, was sie einmal geschrieben hat, zu korrigieren.
Laut dem CogWriter-Paper, das bestätigt, dass menschliches Schreiben aus drei Phasen besteht – "Planung → Entwurf → Überarbeitung" – analysiert es, dass generative KI diese Planungsphase überspringt und eine endgültige Version in einem Zug produziert, weshalb die Struktur tendenziell zusammenbricht oder dieselben Dinge in langen Texten wiederholt geschrieben werden.
Für kurze Austausche wie E-Mails oder Chats ist diese Eigenschaft kaum ein Problem. Für Dokumente, bei denen die Gesamtstruktur hinterfragt wird, wie Vorschläge oder Forschungsberichte, bröckelt die Fassade jedoch plötzlich. Die "Liste der 13 Schwächen", die am Anfang vorgestellt wurde, ist genau ein Produkt dieser Eigenschaft.
Merkmal ③: Es wird, im Guten wie im Schlechten, von Trainingsdaten und Anweisungen gezogen
Ein weiterer Punkt, den man im Hinterkopf behalten sollte, ist, dass die Fähigkeit generativer KI vollständig von den "für das Training verwendeten Daten" und dem "Zweck, für den sie angepasst wurde" abhängt.
Der Einfluss von "Trainingsdaten" ist leicht vorstellbar. Wenn sie mit vielen englischen Geschäftsdokumenten aufwächst, wird sie gut darin sein, englische E-Mails zu erstellen, aber umgekehrt sinkt ihre Leistung in Bereichen, die sie selten gesehen hat. Sie ist gut in dem, was sie gesehen hat, und schlecht in dem, was sie nicht gesehen hat. Eine einfache Geschichte.
Etwas problematischer ist der "Einfluss der Anpassung." Aktuelle große generative KIs werden mit einer Methode namens RLHF (Reinforcement Learning from Human Feedback) angepasst, um Antworten zu produzieren, die "Menschen als angenehm empfinden." Eine Studie von Wang et al. aus dem Jahr 2025 zeigte experimentell, dass diese Anpassung generativer KI übermäßige Konformität (Sycophancy) gegenüber dem Benutzer einflößt. Als Ergebnis der Überprüfung von sieben Modellen führte das einfache Hinzufügen eines Wortes wie "Ich denke, die Antwort ist X" dazu, dass die Konformitätsrate bei falschen Meinungen durchschnittlich 63,7 % erreichte.
Wenn Sie einen Geschäftsplan zeigen und fragen: "Glauben Sie, dass das funktioniert?", wird es antworten: "Es ist ein wunderbarer Plan." Wenn Sie zu demselben Plan fragen: "Es ist unrealistisch, oder?", wird es antworten: "In der Tat gibt es mehrere Bedenken." Die "Zustimmung" der KI ist möglicherweise kein objektives Urteil, sondern nur die Erwartung des Menschen. ...Nun, Menschen sind genauso. Wir lesen viel zwischen den Zeilen.
Die Stärken generativer KI richtig verstehen
Bisher haben wir uns drei Merkmale generativer KI angesehen.
- Es arbeitet auf Basis von Korrelation
- Es arbeitet unidirektional
- Es wird, im Guten wie im Schlechten, von Trainingsdaten und Anweisungen gezogen
Indem ich diese Merkmale erfasst habe, habe ich die Stärken formuliert, bei denen ich denke: "Es ist besser, sich für diese Aufgabe auf generative KI zu verlassen, als dass ein Mensch sie erledigt."
Stärke ①: Es sagt gut, was man selbst nicht gut sagen kann
Dies ist vielleicht der am meisten geschätzte Teil der Nutzung generativer KI. Selbst wenn Ihr Kopf noch nicht organisiert ist und Sie eine vage Anweisung geben, organisiert es die Wörter auf das Niveau von "Sie wollen wahrscheinlich so etwas sagen."
Wenn Sie zum Beispiel eine zusammenhanglose und mehrdeutige Anweisung per Spracheingabe geben wie: "Wegen der E-Mail für das Meeting nächste Woche, ich möchte um eine Terminänderung bitten, aber ich möchte auch ihre Verfügbarkeit hören, und ich möchte die Tagesordnung anhängen", möchte ein menschlicher Untergebener vielleicht sagen: "Könnten Sie Ihre Gedanken etwas mehr ordnen, bevor Sie es mir sagen?" Aber generative KI wird einen E-Mail-Entwurf auf dem Niveau von "Ja, genau das wollte ich sagen" produzieren.
Warum kann sie das? Dank der Eigenschaft, "auf Mustern zu basieren." Generative KI hat eine riesige Menge an "gut organisierten Texten" gelernt. Geschäfts-E-Mails, Berichte, Vorschläge, Protokolle. Weil sie diese "Vorlagen" enorm aufgenommen hat, passt sie selbst bei einer chaotischen Eingabe in ein Muster von "in diesem Kontext sind diese Struktur und diese Formulierungen natürlich."
Stärke ②: Es erweitert Perspektiven, die man selbst nicht bemerken würde
Eine weitere Stärke ist, dass es Blickwinkel einbringt, die Sie nicht vollständig durchdacht haben.
Wenn Sie zum Beispiel über einen Plan für ein neues Geschäft nachdenken und selbst drei Vorteile organisiert haben, aber die generative KI bitten, "die Streitpunkte für diesen Plan zu identifizieren", wird sie Perspektiven einbringen, die Sie übersehen haben, wie zum Beispiel:
- "Gibt es nicht diese Art von Nachteilen?"
- "Haben Sie diese Wettbewerbsrisiken bedacht?"
- "Wie würden diese Stakeholder reagieren?"
Dies ist ein direkter Vorteil des "Lernens aus riesigen Datenmengen." Weil sie eine enorme Menge an Diskussionen in allen Genres, Meinungen aus verschiedenen Positionen und Streitpunkte mit Pro und Contra gelernt hat, hat sie die Kraft, vielschichtige Perspektiven zu einem einzigen Thema herauszuarbeiten. Die Erfahrung und das Wissen eines einzelnen Menschen haben Grenzen, aber generative KI gleicht diese Grenzen aus.
Der Trick bei der Verwendung für die Arbeit ist, explizit nach verschiedenen Blickwinkeln zu fragen.
- "Nenne mir drei gegensätzliche Meinungen zu diesem Plan."
- "Gibt es Perspektiven, die ich in dieser Analyse übersehen habe?"
- "Liste nicht nur die Vorteile, sondern auch die Nachteile auf." Indem man so vielschichtige Perspektiven einfordert, wird diese Stärke maximal genutzt. Umgekehrt, wenn Sie fragen, ohne etwas zu spezifizieren, neigt es dazu, sich Ihrer Meinung anzupassen (was ich im Abschnitt "Schwächen" im Detail erklären werde), daher ist es wichtig, so zu fragen, dass bewusst verschiedene Blickwinkel herausgeholt werden.
Aber hier ist generative KI schwach
Schwäche ①: Es garantiert "Plausibilität", aber nicht "Richtigkeit"
Da es ein Mechanismus ist, der auf die Erzeugung von "Sequenzen von Wörtern, die wahrscheinlich erscheinen" spezialisiert ist, wird es sie ausgeben, solange sie als Satz natürlich sind, unabhängig davon, ob sie Tatsachen sind.
OpenAIs Paper von 2025 "Why Language Models Hallucinate" hat mathematisch bewiesen, dass dieses Problem kein Bug, sondern eine strukturelle Notwendigkeit ist. Kurz gesagt, "einen korrekten Satz zu erstellen" ist inhärent schwieriger als "zu unterscheiden, ob er korrekt ist", und selbst wenn die Trainingsdaten perfekt sind, kann die Rate der eingestreuten Lügen nicht auf Null reduziert werden.
Mit der Weiterentwicklung der KI-Modelle werden die Antworten der KI jedoch immer flüssiger, nicht wahr? Weil die KI so glatt antwortet, überspringen wir die Aufgabe, die wir eigentlich tun sollten: zu bewerten "Ist das wahr?" und "Gibt es Beweise?"
Dieses Phänomen, bei dem wir halluzinieren, dass "weil der Satz plausibel ist, muss er korrekt sein", wird "Epistemia" genannt. (Aus "Epistemological Fault Lines Between Human and Artificial Intelligence")
In Zukunft, ob Claude ein Mythos-Klasse-Modell veröffentlicht oder ChatGPT ein Modell veröffentlicht, das es übertrifft, müssen wir bedenken, dass "generative KI strukturell die Rate der eingestreuten Lügen nicht auf Null reduzieren kann", und Menschen müssen immer mit Primärquellen überprüfen.
Schwäche ②: Egal wie weit es geht, es kann nicht über "Kausalität" sprechen
Wie bereits erwähnt, kann es erfassen, dass "A und B oft zusammen auftreten (= Korrelation)", aber es versteht nicht, dass "A die Ursache von B ist (= Kausalität)."
Wenn Sie zum Beispiel fragen: "In dem Quartal, in dem die Umsätze zurückgingen, sanken auch die Werbekosten. Analysieren Sie den Kausalzusammenhang", könnte die KI antworten: "Die Umsätze gingen zurück, weil Sie die Werbekosten gesenkt haben." Aber in Wirklichkeit könnten beide aufgrund eines wirtschaftlichen Abschwungs gleichzeitig gesunken sein, oder die Werbekosten wurden gesenkt, weil die Umsätze zuerst zurückgingen. Analysen, die nach dem "Warum" fragen, wie "warum sind die Umsätze zurückgegangen", sind eine Aufgabe, die für die aktuelle generative KI strukturell zu schwer ist.
Wenn Sie bei der Arbeit eine "Warum"-Analyse durchführen möchten, besteht der Punkt darin, dass der Mensch die Richtung der Kausalität als Hypothese vorgibt. Anstatt alles mit "Analysieren Sie die Ursache des Umsatzrückgangs" hinzuwerfen, stellen Sie sich vor, so zu fragen: "Angenommen, die Ursache des Umsatzrückgangs ist X, organisieren Sie die Daten, die dies stützen, und die Fakten, die Gegenargumente sein könnten."
Die Logik der Kausalität sollte vom Menschen gezeigt werden, und der KI sollte das Organisieren von Daten und das Identifizieren von Gegenargumenten überlassen werden. Dies ist meine derzeitige Schlussfolgerung.
Schwäche ③: Es kann keine Strukturierung oder MECE-ähnliche Organisation durchführen
Das Problem der "Auflistung von 13 Schwächen", das am Anfang vorgestellt wurde, war eine Demonstration dieser Schwäche selbst.
Wenn Sie zum Beispiel fragen: "Identifizieren Sie die Vorbereitungsaufgaben für die interne Veranstaltung nächsten Monat", wird die KI etwa 20 Aufgaben auflisten, wie sie ihr in den Sinn kommen: "Veranstaltungsort buchen", "Einladungs-E-Mails senden", "Materialien bestellen", "Umfrage erstellen"... Aber die Granularität der Aufgaben ist uneinheitlich, und die Reihenfolge ist nicht organisiert.
Allein durch erneutes Fragen: "Teilen Sie es in vier Phasen: ① Veranstaltungsort-Organisation, ② Teilnehmergewinnung, ③ Betrieb am Tag und ④ Nachbereitung, und identifizieren Sie die Aufgaben für jede", ändert sich die Qualität der Ausgabe erheblich. Aufgaben werden nach Phasen organisiert, und es wird einfacher, Auslassungen zu bemerken. Diese Spezifikation der Struktur, wie "in vier Phasen unterteilen", ist eine Aufgabe für Menschen, nicht für KI. Wenn der Mensch die Struktur erstellt und übergibt, ist das Ausfüllen der Details das, was KI gut kann.
Deshalb schreibe ich Artikel, die auf Strukturierung, Strukturierung und noch mehr Strukturierung drängen, wie den untenstehenden.
https://x.com/ysk_motoyama/status/2016129312433606678
Basierend auf den bisher genannten Stärken und Schwächen, wie sollten wir generative KI meistern? ...Der Rest steht in der folgenden Notiz, wenn Sie möchten.
note: Eine Denkschrift zum richtigen Verständnis der Stärken und Schwächen generativer KI
