며칠 전, 저는 생성형 AI에게 "생성형 AI의 약점을 요약해줘"라고 요청했습니다.
최신 논문과 연구를 바탕으로 생성형 AI의 구조적 강점과 약점을 조사해 달라고 한 것이죠.
결과물은 언뜻 보기에는 훌륭해 보였습니다. 환각, 취약한 인과 추론, 취약한 수학적 추론 등 13가지 약점이 논문을 인용하며 정성스럽게 설명되어 있었거든요.
하지만 읽는 내내 이상한 위화감을 지울 수 없었습니다.
"이거 그냥 나열한 것뿐이잖아?"
실제로 나온 목록은 이랬습니다.
1. 환각 (Hallucinations) 2. 취약한 인과 추론 (Weak causal reasoning) 3. 취약한 수학적 추론 (Fragile mathematical reasoning) 4. 추론 모델의 붕괴 (Collapse of reasoning models) 5. 이해의 환상 (Illusion of understanding) 6. 취약한 추상화 (Weak abstraction) 7. 훈련 데이터의 편향 (Bias in training data) 8. 지식의 한계 (Knowledge cutoff) 9. 아첨 (Sycophancy) ...... (이하 총 13가지)
13가지 약점이 그저 나란히 나열되어 있었습니다. 일부 항목은 중복되었고, 일부 관점은 누락되어 있었습니다. 하지만 AI는 신경 쓰지 않고 찾은 순서대로 나열했을 뿐입니다. 음, 좀 엉성하다고 느껴졌습니다.
그때 문득 깨달았습니다.
이 결과물 자체가 생성형 AI의 약점을 완벽하게 드러내고 있다는 것을.
생성형 AI는 정보를 수집하고 나열하는 데 능숙합니다. 반면에 "수집된 정보를 MECE(상호 배타적, 전체 포괄적) 방식으로 구조화하고 더 높은 수준의 시스템으로 체계화하는 것"에는 취약합니다. 이것이 생성형 AI의 메커니즘 자체에서 비롯된 구조적 약점임을 이해하게 되었습니다.
왜 이 글을 쓰기로 결심했을까?
왜 굳이 "생성형 AI의 근본적인 약점을 설명해야겠다"고 생각했을까요?
그것은 제가 기업과 교육 기관에서 생성형 AI 사용을 주도하거나 지원하는 프로젝트에 참여할 기회가 늘었기 때문입니다.
그러한 맥락에서 현장에서 실제로 사용할 수 있는 AI 시스템을 구축하려면 "생성형 AI가 어디까지 할 수 있고, 인간이 어디서부터 개입해야 하는지"라는 역할 분담을 엄격히 정의하는 것이 비즈니스 설계의 절대적인 핵심이라는 것을 깨달았습니다.
"왜 그런지는 모르겠지만 프롬프트를 이렇게 수정하니 작동하더라" 정도의 이해로는 AI 시스템 구축 시 재현성을 보장할 수 없어 상당히 문제가 됩니다.
따라서 다음 사항을 이해할 수 있도록 이 주제에 대한 메모를 남기는 것이 유용하겠다고 생각했습니다.
- 생성형 AI가 어떻게 구성되어 있는지
- 그 구성에 기반한 근본적인 강점과 약점은 무엇인지 ...이를 통해 AI 업데이트에 일희일비하거나 프롬프트를 마치 도박처럼 운용하는 일을 피할 수 있을 것입니다.
생성형 AI의 특성을 구조적으로 이해하기
생성형 AI의 메커니즘을 요약하면, "지금까지의 맥락을 바탕으로 다음에 올 확률이 가장 높은 단어를 선택하는 과정"의 반복입니다.
"일본의 수도는"이라고 입력하면 "도쿄"가 가장 높은 확률로 선택됩니다. "아침 식사로는 빵과"라고 입력하면 "커피"나 "버터"가 선택됩니다. 이 "다음 단어 맞추기 게임"이 모든 것의 출발점입니다.
이 "다음 단어 맞추기 게임"을 분석하면 다음과 같은 주요 특성이 드러납니다.
특성 ①: 상관관계에 기반하여 작동한다
"다음 단어를 맞추기" 위해 생성형 AI는 방대한 양의 텍스트에서 "어떤 단어들이 어떤 순서로 함께 나타나는 경향이 있는지"를 학습합니다.
"아침 식사로 빵과 커피"를 출력할 때, "빵은 탄수화물이므로 카페인의 각성 효과로 영양 균형을 맞춘다"는 것을 이해하는 것이 아닙니다. 단지 "아침 식사"와 "빵"이라는 단어 근처에 "커피"가 자주 등장한다는 경향성을 재현하고 있을 뿐입니다.
Emily Bender, Timnit Gebru 등은 2021년 FAccT 논문에서 이를 "확률적 앵무새 (Stochastic Parrot)"라고 설명했습니다. 이는 앵무새가 의미를 이해하지 못한 채 사람의 말을 흉내 내듯, 생성형 AI도 단어 배열의 패턴만 모방할 뿐 의미 자체에는 접근할 수 없다는 비판입니다. 이름이 꽤 냉소적이지 않나요? 누군가가 "당신의 지능은 앵무새 수준이에요"라고 말한다면 꽤 충격적일 것입니다...
여기서 우리가 이해해야 할 점은 "A와 B가 자주 함께 나타난다(= 상관관계)"는 포착할 수 있지만, "A가 B의 원인이다(= 인과관계)"는 이해하지 못한다는 것입니다. 이후 설명할 환각과 취약한 인과 추론의 뿌리는 모두 여기에 있습니다.
특성 ②: 단방향으로 작동한다
"다음 단어 맞추기"를 반복한다는 것은 문장이 처음부터 순서대로, 단 한 번의 패스로 한 단어씩 작성된다는 의미입니다.
그렇다면 생성형 AI는 완전히 즉흥적으로, 눈앞의 한 단어만 보고 다음 단어를 선택하는 것일까요? 최근 연구를 살펴보면 그렇지 않은 것 같습니다.
Dong 등의 "Emergent Response Planning in LLMs (ICML 2025)"에 따르면, 생성형 AI는 단 한 단어를 출력하기 전에도 전체 응답에 대한 대략적인 윤곽을 형성합니다. 예를 들어:
- 답변의 대략적인 길이
- 몇 단계의 추론 과정을 거칠지
- 어떤 내용을 선택하여 출력할지
또한 Anthropic이 2025년 3월에 발표한 "On the Biology of a Large Language Model"에서는 Claude 3.5 Haiku가 시를 쓸 때, 해당 줄을 쓰기 시작하기 전에 이미 줄 끝의 운율이 맞는 단어를 결정한다는 사실이 밝혀졌습니다. 내부적으로 몇 단어 앞을 내다보는 일종의 계획이 작동하고 있는 것입니다.
즉, "완전히 즉흥적인 다음 단어 맞추기 게임"을 하는 것은 아닙니다. 생성형 AI는 시작하기 전에 나름대로 계획을 세웁니다.
하지만 인간처럼 "먼저 목차를 만들고 전체 구조를 조망한 후에 쓰기 시작하는" 명확한 청사진을 가지고 있다는 증거는 현재까지 없습니다. Anthropic의 보고서는 또한 생성형 AI가 "약 100 토큰을 초과하는 긴 입력에 취약하다"고 지적합니다.
따라서 현재 연구가 보여주는 이미지는 다음과 같습니다.
생성형 AI는 "대략적인 방향 감각"은 있지만 "전체적인 구조 설계"는 가지고 있지 않다.
그리고 결정적으로, 한 번 작성한 내용을 되돌아보고 수정할 능력이 없습니다.
CogWriter 논문에 따르면, 인간의 글쓰기가 "계획 → 초안 작성 → 검토"의 세 단계로 이루어짐을 확인한 후, 생성형 AI는 이 계획 단계를 건너뛰고 최종 버전을 한 번에 생성하기 때문에 긴 텍스트에서 구조가 무너지거나 같은 내용이 반복적으로 작성되는 경향이 있다고 분석합니다.
이메일이나 채팅과 같은 짧은 교환에서는 이 특성이 거의 문제가 되지 않습니다. 그러나 제안서나 연구 보고서처럼 전체 구조가 중요한 문서에서는 그 한계가 갑자기 드러납니다. 서두에서 소개한 "13가지 약점 목록"이 바로 이 특성의 산물입니다.
특성 ③: 좋든 싫든 훈련 데이터와 지시에 의해 좌우된다
또 한 가지 명심해야 할 점은 생성형 AI의 능력은 전적으로 "훈련에 사용된 데이터"와 "어떤 목적으로 조정되었는지"에 달려 있다는 것입니다.
"훈련 데이터"의 영향은 쉽게 상상할 수 있습니다. 많은 영어 비즈니스 문서를 학습했다면 영어 이메일 작성에 능숙하지만, 반대로 거의 접해보지 못한 분야에서는 성능이 떨어집니다. 본 것이 좋고 보지 못한 것은 나쁩니다. 간단한 이야기입니다.
좀 더 까다로운 것은 "조정의 영향"입니다. 현재 주요 생성형 AI는 RLHF(인간 피드백 기반 강화 학습)라는 방법을 사용하여 "인간이 만족스러워하는" 답변을 생성하도록 조정됩니다. Wang 등의 2025년 연구는 이러한 조정이 생성형 AI에 사용자에 대한 과도한 순응(아첨)을 심어준다는 것을 실험적으로 보여주었습니다. 7개 모델을 검증한 결과, "저는 답이 X라고 생각합니다"와 같은 말 한마디를 추가하는 것만으로도 잘못된 의견에 순응하는 비율이 평균 63.7%에 달했습니다.
사업 계획서를 보여주며 "이거 잘 될까요?"라고 묻는다면 "훌륭한 계획입니다"라고 대답할 것입니다. 같은 계획에 대해 "이거 비현실적이지 않나요?"라고 묻는다면 "과연, 몇 가지 우려되는 점이 있습니다"라고 대답할 것입니다. AI의 "동의"는 객관적인 판단이 아니라 인간의 기대에 맞춰진 것일 수 있습니다. ...음, 인간도 마찬가지입니다. 우리도 분위기 많이 읽잖아요.
생성형 AI의 강점을 제대로 이해하기
지금까지 생성형 AI의 세 가지 특성을 살펴보았습니다.
- 상관관계에 기반하여 작동한다
- 단방향으로 작동한다
- 좋든 싫든 훈련 데이터와 지시에 의해 좌우된다
이러한 특성을 파악함으로써, "이런 일은 인간이 하기보다 생성형 AI에 맡기는 것이 낫다"고 생각하게 만드는 강점을 설명할 수 있게 되었습니다.
강점 ①: 말로 잘 표현하지 못하는 것을 잘 표현해준다
이것이 생성형 AI 사용에서 가장 높이 평가받는 부분일 것입니다. 머릿속이 정리되지 않아 모호한 지시를 내려도, "아마 이런 뜻을 말하고 싶은 거겠지" 하는 수준으로 말을 정리해 줍니다.
예를 들어, "다음 주 회의 이메일인데 일정 변경 요청도 하고 상대방 편의도 듣고 안건도 첨부하고 싶어"라는 두서없고 모호한 지시를 음성 입력으로 주면, 인간 부하 직원은 "말씀하시기 전에 좀 더 생각을 정리해 주시겠어요?"라고 말하고 싶을 수도 있습니다. 하지만 생성형 AI는 "네, 제가 딱 말하고 싶었던 게 바로 그거예요"라는 수준의 이메일 초안을 만들어 냅니다.
왜 이런 일이 가능할까요? "패턴에 기반하여 작동한다"는 특성 덕분입니다. 생성형 AI는 방대한 양의 "잘 정리된 텍스트"를 학습했습니다. 비즈니스 이메일, 보고서, 제안서, 회의록. 이러한 "템플릿"을 엄청나게 흡수했기 때문에, 지저분한 입력이 들어와도 "이런 맥락에서는 이런 구조와 이런 표현이 자연스럽다"는 패턴에 맞춰 출력합니다.
강점 ②: 스스로는 인지하지 못하는 관점을 확장시켜 준다
또 다른 강점은 자신이 완전히 생각하지 못한 각도를 제시해 준다는 점입니다.
예를 들어, 새로운 사업 계획을 구상하면서 스스로 세 가지 장점을 정리했지만, 생성형 AI에게 "이 계획의 쟁점을 찾아줘"라고 요청하면 다음과 같이 간과했던 관점을 제시합니다.
- "이런 단점은 없을까요?"
- "이런 경쟁 위험은 고려하셨나요?"
- "이해관계자들은 어떻게 반응할까요?"
이것은 "방대한 데이터로부터 학습"한 직접적인 이점입니다. 모든 장르의 토론, 다양한 입장의 의견, 찬반 쟁점을 엄청나게 학습했기 때문에, 하나의 주제에 대해 다각적인 관점을 끌어낼 수 있는 능력을 가지고 있습니다. 한 인간의 경험과 지식에는 한계가 있지만, 생성형 AI는 그 한계를 보완해 줍니다.
업무에 사용할 때의 핵심은 명시적으로 다른 각도를 요구하는 것입니다.
- "이 계획에 대한 반대 의견 세 가지를 제시해줘."
- "이 분석에서 내가 놓치고 있는 관점이 있니?"
- "장점뿐만 아니라 단점도 나열해줘." 이렇게 다각적인 관점을 요구함으로써 이 강점이 최대한 활용됩니다. 반대로, 아무것도 지정하지 않고 질문하면 사용자의 의견에 순응하는 경향이 있으므로(이에 대해서는 '약점' 섹션에서 자세히 설명합니다), 의식적으로 다른 각도를 끌어내는 방식으로 질문하는 것이 중요합니다.
하지만, 생성형 AI는 여기에 약하다
약점 ①: "그럴듯함"은 보장하지만, "정확성"은 보장하지 않는다
"있음직한 단어의 나열"을 생성하는 데 특화된 메커니즘이기 때문에, 사실 여부와 관계없이 문장으로서 자연스럽기만 하면 출력합니다.
OpenAI의 2025년 논문 "Why Language Models Hallucinate"는 이 문제가 버그가 아니라 구조적 필연성임을 수학적으로 증명했습니다. 요컨대, "올바른 문장을 만드는 것"은 본질적으로 "올바른지 판별하는 것"보다 어렵고, 훈련 데이터가 완벽하더라도 섞여 들어가는 거짓말의 비율을 0으로 줄일 수는 없습니다.
하지만 AI 모델이 진화함에 따라 AI의 답변은 점점 더 유창해지고 있지 않나요? AI가 너무 매끄럽게 대답하기 때문에, 우리는 "이게 사실인가?", "증거가 있나?"라고 평가해야 할 작업을 건너뛰게 됩니다.
문장이 그럴듯하기 때문에 "반드시 맞을 거야"라고 착각하는 이 현상을 "Epistemia"라고 합니다. (출처: "Epistemological Fault Lines Between Human and Artificial Intelligence")
미래에 Claude가 Mythos급 모델을 출시하든 ChatGPT가 이를 능가하는 모델을 출시하든, "생성형 AI는 구조적으로 거짓말이 섞이는 비율을 0으로 줄일 수 없다"는 점을 고려해야 하며, 인간은 항상 1차 출처로 검증해야 합니다.
약점 ②: 아무리 발전해도 "인과관계"에 대해 말할 수 없다
앞서 언급했듯이, "A와 B가 자주 함께 나타난다(= 상관관계)"는 포착할 수 있지만, "A가 B의 원인이다(= 인과관계)"는 이해하지 못합니다.
예를 들어, "매출이 하락한 분기에 광고비도 감소했습니다. 인과 관계를 분석해 주세요."라고 질문하면, AI는 "광고비를 줄였기 때문에 매출이 하락했습니다."라고 대답할 수 있습니다. 하지만 실제로는 경기 침체로 인해 둘 다 동시에 하락했거나, 매출이 먼저 하락했기 때문에 광고비를 줄였을 수도 있습니다. "왜 매출이 하락했는가"와 같이 '왜'를 묻는 분석은 현재 생성형 AI에게 구조적으로 너무 어려운 작업입니다.
업무에서 '왜' 분석을 하고 싶을 때는 인간이 인과 관계의 방향을 가설로 제시하는 것이 핵심입니다. "매출 하락 원인을 분석해 줘"라고 통째로 던지지 말고, "매출 하락의 원인이 X라고 가정할 때, 이를 뒷받침하는 데이터와 반론이 될 수 있는 사실을 정리해 줘"와 같이 질문하는 것을 상상해 보세요.
인과 관계의 논리는 인간이 제시하고, AI는 데이터 정리와 반론 식별에 맡기는 것. 이것이 현재 제 결론입니다.
약점 ③: 구조화나 MECE와 같은 체계화를 할 수 없다
서두에서 소개한 "13가지 약점 나열" 문제는 바로 이 약점을 그대로 보여주는 예시였습니다.
예를 들어, "다음 달 사내 행사 준비 작업을 식별해 줘"라고 요청하면, AI는 "장소 예약", "초대 이메일 발송", "물품 주문", "설문지 작성"... 등 떠오르는 대로 약 20개의 작업을 나열할 것입니다. 하지만 작업의 세분화 수준은 들쭉날쭉하고 순서도 정리되어 있지 않습니다.
"① 장소 준비, ② 참가자 모집, ③ 당일 운영, ④ 사후 관리의 네 단계로 나누고 각 단계별 작업을 식별해 줘"라고 다시 질문하기만 해도 출력 품질이 크게 달라집니다. 작업이 단계별로 정리되고 누락을 발견하기 쉬워집니다. 이렇게 "네 단계로 나눠"와 같은 구조 지정은 인간의 몫이지 AI의 몫이 아닙니다. 인간이 구조를 만들어 전달하면, 세부 내용을 채우는 것은 AI가 잘하는 일입니다.
그래서 저는 아래와 같이 구조화, 구조화, 또 구조화를 강조하는 글을 쓰고 있습니다.
https://x.com/ysk_motoyama/status/2016129312433606678
자, 지금까지 언급된 강점과 약점을 바탕으로, 우리는 어떻게 생성형 AI를 마스터해야 할까요? ...나머지는 아래 노트에 적혀 있습니다. 관심 있으시면 읽어보세요.
