Claro, aqui está a tradução do texto para o português brasileiro, seguindo rigorosamente todas as suas diretrizes.
Outro dia, pedi a uma IA Generativa que "resumisse os pontos fracos da IA Generativa."
Pedi a ela que pesquisasse os pontos fortes e fracos estruturais da IA Generativa com base nos artigos e estudos mais recentes.
O resultado parecia bem feito à primeira vista, com 13 pontos fracos cuidadosamente verbalizados e citando artigos, como alucinações, raciocínio causal fraco e raciocínio matemático frágil.
No entanto, não consegui me livrar de uma estranha sensação de desconforto enquanto o lia.
"Isso não é apenas uma lista aleatória?"
A lista real que saiu foi assim:
1. Alucinações 2. Raciocínio causal fraco 3. Raciocínio matemático frágil 4. Colapso de modelos de raciocínio 5. Ilusão de compreensão 6. Abstração fraca 7. Viés nos dados de treinamento 8. Corte de conhecimento 9. Bajulação ...... (e assim por diante, 13 no total)
Os 13 pontos fracos foram apenas listados lado a lado. Alguns itens se sobrepunham e algumas perspectivas estavam faltando. Mas a IA não se importou; ela apenas os listou na ordem em que os encontrou. Parecia, bem, desleixado.
Então me caiu a ficha.
Esta saída em si incorpora perfeitamente os pontos fracos da IA Generativa.
A IA Generativa é boa em reunir e listar informações. Por outro lado, ela é ruim em "estruturar as informações coletadas de forma MECE (Mutualmente Exclusiva, Coletivamente Exaustiva) e organizá-las em um sistema de nível superior." Entendi que esta é uma fraqueza estrutural decorrente do próprio mecanismo da IA Generativa.
Por que decidi escrever este artigo?
Por que me preocupei em pensar: "Preciso verbalizar as fraquezas fundamentais da IA Generativa"?
É porque tive mais oportunidades de me envolver em projetos liderando ou apoiando o uso de IA Generativa em empresas e instituições educacionais.
Nesse contexto, para construir um sistema de IA que possa realmente ser usado no local, percebi que definir estritamente a divisão de papéis — "até onde a IA Generativa pode ir, e onde os humanos devem assumir" — é o núcleo absoluto do design de negócios.
Se seu entendimento permanece no nível de "Não sei por que, mas funcionou quando ajustei o prompt assim", você não pode garantir a reprodutibilidade na construção de sistemas de IA, o que é bastante problemático.
Portanto, pensei que seria útil deixar um memorando sobre este tema para que possamos entender:
- Como a IA Generativa é construída
- Quais são seus pontos fortes e fracos fundamentais com base nessa construção ...Ao fazer isso, podemos evitar ser influenciados por cada atualização de IA ou operar prompts como um jogo de azar.
Entendendo as Características da IA Generativa Estruturalmente
O mecanismo da IA Generativa, quando resumido, é a repetição de "escolher a palavra com a maior probabilidade de vir a seguir, com base no contexto até agora."
Se você inserir "A capital do Japão é", "Tóquio" é escolhida com a maior probabilidade. Se for "No café da manhã, pão e", então "café" ou "manteiga" é escolhido. Este "jogo de adivinhar a próxima palavra" é o ponto de partida para tudo.
A análise deste "jogo de adivinhar a próxima palavra" revela as seguintes características principais.
Característica ①: Opera por correlação
Para "adivinhar a próxima palavra", a IA Generativa aprende a partir de vastas quantidades de texto "quais palavras tendem a aparecer juntas e em que ordem."
Quando ela gera "pão e café no café da manhã", ela não entende que "o pão é um carboidrato, então suplementá-lo com cafeína para seu efeito estimulante equilibra a nutrição." Ela está simplesmente reproduzindo a tendência de que "café" aparece frequentemente perto de palavras como "café da manhã" e "pão."
Emily Bender, Timnit Gebru e outros descreveram isso como um "Papagaio Estocástico" em seu artigo FAccT de 2021. É uma crítica de que assim como um papagaio imita a fala humana sem entender o significado, a IA Generativa apenas imita padrões de sequências de palavras e não tem acesso ao significado em si. A nomeação é bastante cínica, não é? Se alguém me dissesse: "Sua inteligência está no nível de um papagaio", eu ficaria bem chocado...
O que precisamos entender aqui é que ela pode capturar "A e B frequentemente aparecem juntos (= correlação)", mas não entende que "A é a causa de B (= causalidade)." Alucinações e raciocínio causal fraco, que explicarei mais tarde, têm suas raízes aqui.
Característica ②: Opera de forma unidirecional
Repetir "adivinhar a próxima palavra" significa que as frases são escritas uma palavra de cada vez, em ordem do início, em uma única passagem.
Então, a IA Generativa é completamente ad-hoc, escolhendo a próxima palavra com base apenas na palavra única à sua frente? Olhando para pesquisas recentes, esse não parece ser o caso.
De acordo com Dong et al., "Planejamento de Resposta Emergente em LLMs (ICML 2025)", mesmo antes de gerar uma única palavra, a IA Generativa forma uma visão geral aproximada para toda a resposta, como:
- Aproximadamente quanto tempo a resposta terá
- Quantas etapas de raciocínio serão necessárias
- Qual conteúdo será selecionado e gerado
Além disso, em "Sobre a Biologia de um Modelo de Linguagem Grande" publicado pela Anthropic em março de 2025, descobriu-se que quando o Claude 3.5 Haiku escreve um poema, ele já decidiu a palavra que rima no final de uma linha antes mesmo de começar a escrevê-la. Uma espécie de plano olhando várias palavras à frente está operando internamente.
Em outras palavras, não é um "jogo de adivinhar a próxima palavra completamente ad-hoc." A IA Generativa estabelece um plano à sua maneira antes de começar.
No entanto, atualmente não há evidências de que ela tenha um projeto claro como um humano, que pode "criar um índice primeiro e visualizar toda a estrutura antes de começar a escrever." O relatório da Anthropic também aponta que ela é "fraca contra entradas longas que excedem cerca de 100 tokens."
Portanto, a imagem mostrada pela pesquisa atual é:
A IA Generativa tem um "senso geral de direção", mas não tem um "design estrutural geral."
E, crucialmente, ela não tem o poder de olhar para trás e corrigir o que já escreveu.
De acordo com o artigo CogWriter, após confirmar que a escrita humana consiste em três estágios — "planejamento → rascunho → revisão" — ele analisa que a IA Generativa pula este estágio de planejamento e produz uma versão final de uma só vez, razão pela qual a estrutura tende a colapsar ou as mesmas coisas são escritas repetidamente em textos longos.
Para trocas curtas como e-mails ou chats, essa propriedade dificilmente é um problema. No entanto, para documentos onde a estrutura geral é questionada, como propostas ou relatórios de pesquisa, a fachada de repente desmorona. A "lista de 13 pontos fracos" apresentada no início é exatamente um produto dessa propriedade.
Característica ③: É puxada, para o bem ou para o mal, pelos dados de treinamento e instruções
Outra coisa a ter em mente é que a capacidade da IA Generativa é completamente dependente dos "dados usados para treinamento" e "para qual propósito foi ajustada."
A influência dos "dados de treinamento" é fácil de imaginar. Se ela cresce lendo muitos documentos de negócios em inglês, será boa em criar e-mails em inglês, mas, inversamente, seu poder cai em áreas que raramente encontrou. Ela é boa no que viu e ruim no que não viu. É uma história simples.
O que é um pouco mais problemático é a "influência do ajuste." As principais IAs Generativas atuais são ajustadas usando um método chamado RLHF (Aprendizagem por Reforço a partir de Feedback Humano) para produzir respostas que "os humanos acham agradáveis." Um estudo de 2025 de Wang et al. mostrou experimentalmente que esse ajuste instala conformidade excessiva (bajulação) ao usuário na IA Generativa. Como resultado da verificação de sete modelos, simplesmente adicionar uma palavra como "Acho que a resposta é X" fez com que a taxa de concordância com opiniões erradas atingisse uma média de 63,7%.
Se você mostrar um plano de negócios e perguntar: "Você acha que vai funcionar?", ela responderá: "É um plano maravilhoso." Se você perguntar sobre o mesmo plano: "Não é irrealista?", ela responderá: "De fato, existem várias preocupações." A "concordância" da IA pode não ser um julgamento objetivo, mas apenas corresponder às expectativas humanas. ...Bem, os humanos são iguais. Fazemos muita leitura do ambiente.
Entendendo os Pontos Fortes da IA Generativa Adequadamente
Até agora, vimos três características da IA Generativa.
- Opera por correlação
- Opera de forma unidirecional
- É puxada, para o bem ou para o mal, pelos dados de treinamento e instruções
Ao capturar essas características, verbalizei os pontos fortes que me fazem pensar: "É melhor confiar na IA Generativa para isso do que um humano fazer."
Ponto Forte ①: Ela diz bem o que você não consegue dizer bem
Esta pode ser a parte mais apreciada do uso da IA Generativa. Mesmo que sua cabeça ainda não esteja organizada e você dê uma instrução vaga, ela organizará as palavras ao nível de "você provavelmente quer dizer algo assim."
Por exemplo, se você der uma instrução desconexa e ambígua por entrada de voz como: "Sobre o e-mail da reunião da próxima semana, quero pedir uma mudança de horário, mas também quero saber a conveniência deles, e quero anexar a pauta", um subordinado humano poderia querer dizer: "Você poderia organizar um pouco mais seus pensamentos antes de me contar?" Mas a IA Generativa produzirá um rascunho de e-mail no nível de "Sim, é exatamente isso que eu queria dizer."
Por que ela consegue fazer isso? Graças à propriedade de "operar por padrões." A IA Generativa aprendeu uma vasta quantidade de "texto bem organizado." E-mails de negócios, relatórios, propostas, atas. Como ela absorveu enormemente esses "modelos", mesmo que receba uma entrada bagunçada, ela a encaixa em um padrão de "neste contexto, esta estrutura e estas frases são naturais."
Ponto Forte ②: Ela expande perspectivas que você não notaria
Outro ponto forte é que ela traz ângulos que você não considerou completamente.
Por exemplo, se você está pensando em um plano para um novo negócio e já organizou três méritos, mas pede à IA Generativa para "identificar os pontos de contenção para este plano", ela trará perspectivas que você negligenciou, como:
- "Não existem esses tipos de desvantagens?"
- "Você considerou esses riscos competitivos?"
- "Como esses stakeholders reagiriam?"
Este é um benefício direto de "aprender a partir de vastas quantidades de dados." Como ela aprendeu uma enorme quantidade de discussões em todos os gêneros, opiniões de várias posições e pontos de contenção com prós e contras, ela tem o poder de extrair perspectivas multifacetadas sobre um único tema. A experiência e o conhecimento de um único humano têm limites, mas a IA Generativa compensa esses limites.
O truque ao usá-la para o trabalho é pedir explicitamente por ângulos diferentes.
- "Dê-me três opiniões contrárias para este plano."
- "Existem perspectivas que estou perdendo nesta análise?"
- "Liste não apenas os méritos, mas também os deméritos." Ao exigir perspectivas multifacetadas como esta, este ponto forte é utilizado ao máximo. Por outro lado, se você perguntar sem especificar nada, ela tende a se conformar com sua opinião (o que explicarei em detalhes na seção "Pontos Fracos"), então é importante perguntar de uma forma que conscientemente extraia ângulos diferentes.
Mas, a IA Generativa é fraca aqui
Ponto Fraco ①: Ela garante "plausibilidade", mas não "correção"
Como é um mecanismo especializado em gerar "sequências de palavras que parecem prováveis", ela as gerará desde que sejam naturais como uma frase, independentemente de serem fatos.
O artigo de 2025 da OpenAI "Por que os Modelos de Linguagem Alucinam" provou matematicamente que este problema não é um bug, mas uma necessidade estrutural. Em suma, "criar uma frase correta" é inerentemente mais difícil do que "distinguir se ela está correta", e mesmo que os dados de treinamento sejam perfeitos, a taxa de mentiras misturadas não pode ser reduzida a zero.
No entanto, à medida que os modelos de IA evoluem, as respostas da IA estão se tornando cada vez mais fluentes, não estão? Como a IA responde tão suavemente, pulamos a tarefa que deveríamos estar fazendo: avaliar "Isso é verdade?" e "Existe evidência?"
Este fenômeno onde alucinamos que "como a frase é plausível, ela deve estar correta" é chamado de "Epistemia." (De "Linhas de Falha Epistemológicas Entre a Inteligência Humana e Artificial")
No futuro, seja o Claude lançando um modelo da classe Mythos ou o ChatGPT lançando um modelo que o supere, devemos considerar que "a IA Generativa estruturalmente não pode reduzir a taxa de mentiras misturadas a zero", e os humanos devem sempre verificar com fontes primárias.
Ponto Fraco ②: Não importa o quanto avance, ela não pode falar sobre "causalidade"
Como mencionado anteriormente, ela pode capturar "A e B frequentemente aparecem juntos (= correlação)", mas não entende que "A é a causa de B (= causalidade)."
Por exemplo, se você perguntar: "No trimestre em que as vendas caíram, os custos de publicidade também caíram. Analise a relação causal", a IA pode responder: "As vendas caíram porque você reduziu os custos de publicidade." Mas, na realidade, ambos podem ter caído ao mesmo tempo devido a uma desaceleração econômica, ou os custos de publicidade podem ter sido cortados porque as vendas caíram primeiro. A análise que pergunta "por que", como "por que as vendas caíram", é uma tarefa estruturalmente pesada demais para a IA Generativa atual.
Quando você quer fazer uma análise de "por que" no trabalho, o ponto é que o humano forneça a direção da causalidade como uma hipótese. Em vez de jogar tudo com "Analise a causa da queda nas vendas", imagine perguntar como: "Supondo que a causa da queda nas vendas seja X, organize os dados que a sustentam e os fatos que poderiam ser contra-argumentos."
A lógica da causalidade deve ser mostrada pelo humano, e a IA deve ficar com a organização de dados e identificação de contra-argumentos. Esta é minha conclusão atual.
Ponto Fraco ③: Ela não consegue fazer estruturação ou organização MECE
O problema de "listar 13 pontos fracos" apresentado no início foi uma demonstração deste próprio ponto fraco.
Por exemplo, se você perguntar: "Identifique as tarefas de preparação para o evento interno do próximo mês", a IA listará cerca de 20 tarefas conforme vierem à mente: "Reservar o local", "Enviar e-mails de convite", "Encomendar suprimentos", "Criar uma pesquisa"... Mas a granularidade das tarefas é desconexa e a ordem não está organizada.
Apenas ao perguntar novamente: "Divida em quatro etapas: ① Organização do local, ② Atração de participantes, ③ Operação no dia e ④ Acompanhamento pós-evento, e identifique as tarefas para cada uma", a qualidade da saída muda significativamente. As tarefas são organizadas por etapa e fica mais fácil notar omissões. Esta especificação de estrutura, como "dividir em quatro etapas", é um trabalho para humanos, não para IA. Se o humano criar e entregar a estrutura, preencher os detalhes é o que a IA faz de melhor.
É por isso que escrevo artigos defendendo estruturação, estruturação e mais estruturação, como o abaixo.
https://x.com/ysk_motoyama/status/2016129312433606678
Então, com base nos pontos fortes e fracos mencionados até agora, como devemos dominar a IA Generativa? ...O resto está escrito na nota abaixo, se você quiser.
note: Um Memorando para Entender Adequadamente os Pontos Fortes e Fracos da IA Generativa
