L'altro giorno, ho chiesto a un'IA Generativa di "riassumere i punti deboli dell'IA Generativa".
Le ho fatto analizzare i punti di forza e di debolezza strutturali dell'IA Generativa basandosi sugli ultimi articoli e studi.
A prima vista, l'output sembrava ben fatto, con 13 punti deboli accuratamente verbalizzati e citazioni di studi, come allucinazioni, ragionamento causale debole e ragionamento matematico fragile.
Tuttavia, non riuscivo a liberarmi di una strana sensazione di disagio mentre lo leggevo.
"Non è solo un elenco casuale?"
L'elenco effettivo che è uscito era questo:
1. Allucinazioni 2. Ragionamento causale debole 3. Ragionamento matematico fragile 4. Collasso dei modelli di ragionamento 5. Illusione di comprensione 6. Astrazione debole 7. Bias nei dati di addestramento 8. Limite di conoscenza 9. Sicoofania ...... (e così via, 13 in totale)
I 13 punti deboli erano semplicemente elencati uno accanto all'altro. Alcuni elementi si sovrapponevano e alcune prospettive mancavano. Ma all'IA non importava; li elencava semplicemente nell'ordine in cui li trovava. Sembrava, beh, sciatto.
Poi mi ha colpito.
Questo output stesso incarna perfettamente i punti deboli dell'IA Generativa.
L'IA Generativa è brava a raccogliere ed elencare informazioni. D'altra parte, è debole nel "strutturare le informazioni raccolte in modo MECE (Mutualmente Esclusivo, Collettivamente Esauriente) e organizzarle in un sistema di livello superiore." Ho capito che questa è una debolezza strutturale che deriva dal meccanismo stesso dell'IA Generativa.
Perché ho deciso di scrivere questo articolo?
Perché mi sono preso la briga di pensare: "Devo verbalizzare i punti deboli fondamentali dell'IA Generativa"?
È perché ho avuto più opportunità di essere coinvolto in progetti che guidano o supportano l'uso dell'IA Generativa in aziende e istituzioni educative.
In questo contesto, per costruire un sistema di IA che possa essere effettivamente utilizzato sul campo, ho capito che definire rigorosamente la divisione dei ruoli—"fino a che punto può arrivare l'IA Generativa e dove devono intervenire gli umani"—è il nucleo assoluto della progettazione aziendale.
Se la tua comprensione rimane al livello di "Non so perché, ma ha funzionato quando ho modificato il prompt in questo modo," non puoi garantire la riproducibilità nella costruzione di sistemi di IA, il che è piuttosto problematico.
Pertanto, ho pensato che sarebbe stato utile lasciare un memorandum su questo tema in modo da poter capire:
- Come è costruita l'IA Generativa
- Quali sono i suoi punti di forza e di debolezza fondamentali basati su questa costruzione... In questo modo, possiamo evitare di essere influenzati da ogni aggiornamento dell'IA o di operare i prompt come un gioco d'azzardo.
Comprendere le Caratteristiche dell'IA Generativa in Modo Strutturale
Il meccanismo dell'IA Generativa, in sostanza, è la ripetizione di "scegliere la parola con la più alta probabilità di venire dopo, in base al contesto finora."
Se inserisci "La capitale del Giappone è," "Tokyo" viene scelta con la più alta probabilità. Se è "A colazione, pane e," allora viene scelto "caffè" o "burro." Questo "gioco di indovinare la parola successiva" è il punto di partenza per tutto.
Analizzando questo "gioco di indovinare la parola successiva" emergono le seguenti caratteristiche principali.
Caratteristica ①: Opera sulla correlazione
Per "indovinare la parola successiva," l'IA Generativa apprende da enormi quantità di testo "quali parole tendono ad apparire insieme e in quale ordine."
Quando produce "pane e caffè a colazione," non capisce che "il pane è un carboidrato, quindi integrarlo con caffeina per il suo effetto stimolante bilancia la nutrizione." Sta semplicemente riproducendo la tendenza per cui "caffè" appare spesso vicino a parole come "colazione" e "pane."
Emily Bender, Timnit Gebru e altri hanno descritto questo come un "Pappagallo Stocastico" nel loro articolo FAccT del 2021. È una critica secondo cui proprio come un pappagallo imita il linguaggio umano senza capirne il significato, l'IA Generativa imita solo i modelli delle sequenze di parole e non ha accesso al significato stesso. Il nome è piuttosto cinico, non è vero? Se qualcuno mi dicesse: "La tua intelligenza è al livello di un pappagallo," sarei piuttosto scioccato...
Ciò che dobbiamo cogliere qui è che può catturare "A e B appaiono spesso insieme (= correlazione)," ma non capisce che "A è la causa di B (= causalità)." Le allucinazioni e il debole ragionamento causale, che spiegherò più avanti, hanno tutte le loro radici qui.
Caratteristica ②: Opera in modo unidirezionale
Ripetere "indovina la parola successiva" significa che le frasi vengono scritte una parola alla volta, in ordine dall'inizio, in un unico passaggio.
Quindi, l'IA Generativa è completamente ad-hoc, scegliendo la parola successiva basandosi solo sulla singola parola che la precede? Guardando alla ricerca recente, non sembra essere così.
Secondo lo studio di Dong et al. "Emergent Response Planning in LLMs (ICML 2025)," anche prima di produrre una singola parola, l'IA Generativa forma una bozza approssimativa per l'intera risposta, come:
- Quanto sarà lunga approssimativamente la risposta
- Quanti passaggi di ragionamento richiederà
- Quale contenuto selezionerà e produrrà
Inoltre, in "On the Biology of a Large Language Model" pubblicato da Anthropic nel marzo 2025, è emerso che quando Claude 3.5 Haiku scrive una poesia, ha già deciso la parola in rima alla fine di un verso prima ancora di iniziare a scrivere quel verso. Una sorta di piano che guarda diverse parole avanti opera internamente.
In altre parole, non sta facendo un "gioco di indovinare la parola successiva completamente ad-hoc." L'IA Generativa stabilisce un piano a modo suo prima di iniziare.
Tuttavia, attualmente non ci sono prove che abbia un progetto chiaro come un umano, che potrebbe "creare prima un indice e sorvolare sull'intera struttura prima di iniziare a scrivere." Il rapporto di Anthropic sottolinea anche che è "debole contro input lunghi che superano circa 100 token."
Pertanto, l'immagine mostrata dalla ricerca attuale è:
L'IA Generativa ha un "senso generale della direzione" ma non ha una "progettazione strutturale complessiva."
E, cosa cruciale, non ha il potere di tornare indietro e correggere ciò che ha scritto una volta.
Secondo l'articolo CogWriter, dopo aver confermato che la scrittura umana consiste di tre fasi—"pianificazione → bozza → revisione"—analizza che l'IA Generativa salta questa fase di pianificazione e produce una versione finale in un colpo solo, motivo per cui la struttura tende a crollare o le stesse cose vengono scritte ripetutamente in testi lunghi.
Per scambi brevi come email o chat, questa proprietà non è quasi un problema. Tuttavia, per documenti in cui viene messa in discussione la struttura complessiva, come proposte o rapporti di ricerca, la facciata improvvisamente crolla. L'"elenco di 13 punti deboli" introdotto all'inizio è esattamente un prodotto di questa proprietà.
Caratteristica ③: È influenzata, in meglio o in peggio, dai dati di addestramento e dalle istruzioni
Un'altra cosa da tenere a mente è che la capacità dell'IA Generativa dipende completamente dai "dati utilizzati per l'addestramento" e dallo "scopo per cui è stata regolata."
L'influenza dei "dati di addestramento" è facile da immaginare. Se cresce leggendo molti documenti aziendali in inglese, sarà brava a creare email in inglese, ma, al contrario, la sua potenza diminuisce in campi che ha incontrato raramente. È brava in ciò che ha visto e debole in ciò che non ha visto. È una storia semplice.
Ciò che è un po' più problematico è l'"influenza della regolazione." Le attuali principali IA Generative vengono regolate utilizzando un metodo chiamato RLHF (Apprendimento per Rinforzo dal Feedback Umano) per produrre risposte che "gli umani trovano piacevoli." Uno studio del 2025 di Wang et al. ha mostrato sperimentalmente che questa regolazione instilla nell'IA Generativa un'eccessiva conformità (sicoofania) all'utente. Come risultato della verifica di sette modelli, semplicemente aggiungendo una parola come "Penso che la risposta sia X" ha fatto sì che il tasso di conformità a opinioni errate raggiungesse una media del 63,7%.
Se presenti un piano aziendale e chiedi: "Pensi che funzionerà?" risponderà: "È un piano meraviglioso." Se chiedi dello stesso piano: "Non è realistico, vero?" risponderà: "In effetti, ci sono diverse preoccupazioni." L'"accordo" dell'IA potrebbe non essere un giudizio oggettivo, ma solo un allineamento alle aspettative umane. ...Beh, anche gli umani sono uguali. Leggiamo molto la stanza.
Comprendere Correttamente i Punti di Forza dell'IA Generativa
Finora, abbiamo esaminato tre caratteristiche dell'IA Generativa.
- Opera sulla correlazione
- Opera in modo unidirezionale
- È influenzata, in meglio o in peggio, dai dati di addestramento e dalle istruzioni
Catturando queste caratteristiche, ho verbalizzato i punti di forza che mi fanno pensare: "È meglio affidarsi all'IA Generativa per questo piuttosto che farlo fare a un umano."
Punto di Forza ①: Dice bene ciò che non sai dire bene
Questa potrebbe essere la parte più apprezzata dell'uso dell'IA Generativa. Anche se la tua testa non è ancora organizzata e dai un'istruzione vaga, organizzerà le parole al livello di "probabilmente vuoi dire qualcosa del genere."
Ad esempio, se dai un'istruzione disarticolata e ambigua tramite input vocale come: "Per quanto riguarda l'email per la riunione della prossima settimana, voglio chiedere un cambio di programma, ma voglio anche sentire la loro disponibilità, e voglio allegare l'ordine del giorno," un subordinato umano potrebbe voler dire: "Potresti organizzare un po' meglio i tuoi pensieri prima di dirmelo?" Ma l'IA Generativa produrrà una bozza di email al livello di "Sì, è esattamente quello che volevo dire."
Perché può farlo? Grazie alla proprietà di "operare sui modelli." L'IA Generativa ha appreso una vasta quantità di "testo ben organizzato." Email aziendali, rapporti, proposte, verbali. Poiché ha assorbito enormemente questi "modelli," anche se riceve un input disordinato, lo adatta a un modello di "in questo contesto, questa struttura e queste formulazioni sono naturali."
Punto di Forza ②: Espande prospettive che non noteresti da solo
Un altro punto di forza è che solleva angolazioni a cui non hai pensato completamente.
Ad esempio, se stai pensando a un piano per una nuova attività e hai organizzato tu stesso tre meriti, ma chiedi all'IA Generativa di "identificare i punti di contesa per questo piano," solleverà prospettive che hai trascurato, come:
- "Non ci sono questi tipi di demeriti?"
- "Hai considerato questi rischi competitivi?"
- "Come reagirebbero questi stakeholder?"
Questo è un beneficio diretto dell'"apprendere da enormi quantità di dati." Poiché ha appreso una quantità enorme di discussioni in tutti i generi, opinioni da varie posizioni e punti di contesa con pro e contro, ha il potere di estrarre prospettive multidimensionali su un singolo tema. L'esperienza e la conoscenza di un singolo umano hanno limiti, ma l'IA Generativa compensa questi limiti.
Il trucco quando lo si usa per lavoro è chiedere esplicitamente angolazioni diverse.
- "Dammi tre opinioni contrarie per questo piano."
- "Ci sono prospettive che mi mancano in questa analisi?"
- "Elenca non solo i meriti ma anche i demeriti." Richiedendo prospettive multidimensionali in questo modo, questo punto di forza viene utilizzato al massimo. Al contrario, se chiedi senza specificare nulla, tende a conformarsi alla tua opinione (che spiegherò in dettaglio nella sezione "Punti Deboli"), quindi è importante chiedere in modo da estrarre consapevolmente angolazioni diverse.
Ma, l'IA Generativa è debole qui
Punto Debole ①: Garantisce "plausibilità," ma non "correttezza"
Poiché è un meccanismo specializzato nel generare "sequenze di parole che sembrano probabili," le produrrà finché sono naturali come frase, indipendentemente dal fatto che siano fatti.
L'articolo del 2025 di OpenAI "Why Language Models Hallucinate" ha dimostrato matematicamente che questo problema non è un bug ma una necessità strutturale. In breve, "creare una frase corretta" è intrinsecamente più difficile che "distinguere se è corretta," e anche se i dati di addestramento sono perfetti, il tasso di bugie mescolate non può essere ridotto a zero.
Tuttavia, con l'evoluzione dei modelli di IA, le risposte dell'IA stanno diventando sempre più fluide, non è vero? Poiché l'IA risponde in modo così fluido, saltiamo il compito che dovremmo fare: valutare "È vero?" e "Ci sono prove?"
Questo fenomeno per cui abbiamo allucinazioni sul fatto che "poiché la frase è plausibile, deve essere corretta" è chiamato "Epistemia." (Da "Epistemological Fault Lines Between Human and Artificial Intelligence")
In futuro, sia che Claude rilasci un modello Mythos-class o che ChatGPT rilasci un modello che lo superi, dobbiamo considerare che "l'IA Generativa non può strutturalmente ridurre a zero il tasso di bugie mescolate," e gli umani devono sempre verificare con fonti primarie.
Punto Debole ②: Non importa quanto vada avanti, non può parlare di "causalità"
Come accennato in precedenza, può catturare "A e B appaiono spesso insieme (= correlazione)," ma non capisce che "A è la causa di B (= causalità)."
Ad esempio, se chiedi: "Nel trimestre in cui le vendite sono diminuite, anche i costi pubblicitari sono diminuiti. Analizza la relazione causale," l'IA potrebbe rispondere: "Le vendite sono diminuite perché hai ridotto i costi pubblicitari." Ma in realtà, entrambi potrebbero essere diminuiti contemporaneamente a causa di una recessione economica, o i costi pubblicitari potrebbero essere stati tagliati perché le vendite sono diminuite per prime. L'analisi che chiede "perché," come "perché le vendite sono diminuite," è un compito strutturalmente troppo pesante per l'attuale IA Generativa.
Quando vuoi fare un'analisi del "perché" al lavoro, il punto è che l'umano fornisca la direzione della causalità come ipotesi. Invece di lanciare tutto con "Analizza la causa del calo delle vendite," immagina di chiedere come: "Supponendo che la causa del calo delle vendite sia X, organizza i dati che lo supportano e i fatti che potrebbero essere controargomentazioni."
La logica della causalità dovrebbe essere mostrata dall'umano, e l'IA dovrebbe essere lasciata a organizzare i dati e identificare le controargomentazioni. Questa è la mia conclusione attuale.
Punto Debole ③: Non può fare strutturazione o organizzazione di tipo MECE
Il problema di "elencare 13 punti deboli" introdotto all'inizio era una dimostrazione di questo stesso punto debole.
Ad esempio, se chiedi: "Identifica i compiti preparatori per l'evento interno del mese prossimo," l'IA elencherà circa 20 compiti così come le vengono in mente: "Prenota la sede," "Invia email di invito," "Ordina forniture," "Crea un sondaggio"... Ma la granularità dei compiti è disarticolata e l'ordine non è organizzato.
Semplicemente richiedendo: "Dividilo in quattro fasi: ① Sistemazione della sede, ② Attrazione dei partecipanti, ③ Operazioni il giorno dell'evento e ④ Follow-up post-evento, e identifica i compiti per ciascuna," la qualità dell'output cambia significativamente. I compiti sono organizzati per fase e diventa più facile notare le omissioni. Questa specifica della struttura, come "dividere in quattro fasi," è un compito per gli umani, non per l'IA. Se l'umano crea e consegna la struttura, riempire i dettagli è ciò in cui l'IA è brava.
Ecco perché scrivo articoli che spingono per la strutturazione, la strutturazione e ancora la strutturazione, come quello qui sotto.
https://x.com/ysk_motoyama/status/2016129312433606678
Quindi, basandoti sui punti di forza e di debolezza menzionati finora, come dovresti padroneggiare l'IA Generativa? ...Il resto è scritto nella nota qui sotto, se vuoi.
nota: Un Memorandum per Comprendere Correttamente i Punti di Forza e di Debolezza dell'IA Generativa
