YouMind
登錄

交付之外

評估 AI 的文感力

在我們內部的寫作基準上,我們檢查模型能否滿足各類寫作要求,比如覆蓋必需的要點、正確使用素材、把結構、語氣和篇幅都做對。Opus 5.5 和 GPT-6 Luna 在這項基準上得分相同。可一旦請求只是一種模糊的感覺,比如「我想在這裡留一點安靜的感覺」,兩者之間就拉開了明顯的差距。把它們分開的,是任何要求都寫不出來的東西,也正是我們想要衡量的東西。

幾乎每個模型都能交付

我們內部的寫作基準考察模型在日常寫作工作中的表現:是否覆蓋必需的要點,是否正確使用素材,結構、語氣和篇幅是否到位。即使是我們測試過的最弱的模型,也能拿到 93 分(滿分 100)。GPT-6 Luna 得 99 分,與 Opus 5.5 持平。按這把尺子量,各個模型幾乎打成平手。

我們內部的寫作基準高強度思考 · 滿分 100

但它們現在都是好作者了嗎?在真實的寫作工作中,我們看到許多 YouMind 用戶用一種感覺來描述自己想要的東西,比如「讓結尾有一種落空的感覺」。我們提出的正是這樣的請求,結果有些模型只是把手頭的每一個細節都用上,全部用悲傷的語氣寫出來,堆在一起。評測通常用三種方式給這類請求打分:把它變成一條檢查項,「結尾有落空感」;用同一份好文章的特徵清單給每篇打分,比如意象鮮明、行文自然、沒有陳詞濫調;或者讓評審在兩份草稿裡選出更好的一份。每種方式最後都把裁決交給評審,不論是人還是模型。評分標準不會讓一種感覺變得不那麼模糊,它只是把這種感覺轉交給別人。這個結尾有沒有落空感,仍然是評審說了算,而無數種結尾都可能過關。所以這個分數反映的,是模型與評審口味的貼合程度。那個把所有悲傷細節堆在一起的結尾,也可能過關。作者真正想讓它落空的,也許是故事一直在鋪墊的某個希望。好的寫作從作者的意圖出發,每一個選擇都服務於這個意圖:什麼放進去,什麼留在外面,每一部分怎麼說。

我們把這稱為「文感力(Writing Sense)」:弄清作者想要達成什麼,然後讓每一個選擇都為之服務。素材往往比篇幅容得下的更多,同一件事也總有不止一種說法,所以寫作的很大一部分就是取捨。在真實的工作中,模型是替別人寫作,所以要緊的是那個人會做出的選擇:用哪些細節,留下什麼不說,一個觀點推進到哪裡。我們圍繞這個想法設計了一項測試,它能把我們內部的寫作基準分不開的模型區分開來。Opus 5.5 和 GPT-6 Luna 在那項基準上的差距不足一分;在文感力上,兩者相差懸殊。

Opus 5.5 與 GPT-6 Luna

什麼是文感力

文感力衡量的是,在具體語境中,模型的寫作選擇與熟練作者的選擇有多接近。

在好的寫作裡,大多數部分,不論是一個句子、一個人物還是一個細節,都在它所在的位置上有它的理由。作者把它放在這裡而不是那裡,選了這個而不是那個。這些選擇合在一起,就構成了作品,所以一篇文章的背後是一連串的取捨。一個做出同樣取捨的模型,顯示出它理解了這段文字和作者的意圖。這和我們在學校語文考試裡遇到的閱讀題是同一個思路:作者為什麼選這個細節,為什麼在這裡結尾?

我們如何測試

我們把這個想法變成一項測試,每個測試案例分四步構建。

  1. 1選文章選一位成熟作者近期發表的、引起讀者強烈反響的文章,以按讚、留言和分享衡量。要近期的,這樣模型不太可能背下來。
  2. 2選段落選一個作者做了重大選擇的段落:怎麼收尾,在哪裡把一種感情按住不寫,用哪一個細節代替整個場景。我們把它拿掉,保留文章的其餘部分。
  3. 3寫標準我們細讀這個段落,看文章的主題和情感脈絡、這個段落在此處的作用、它是怎麼寫的等等。作者的版本在這裡行得通的每一條理由,都成為一條標準,並對應原文中的某一行。
  4. 4造錯誤選項造錯誤選項:每個選項破壞一條標準,同時在篇幅和語氣上與原文一致,這樣不讀缺口前後的文章,就排除不了任何一個。

只給出標準的話,模型可以寫出許多符合標準的段落,而作者的那一段不一定是最好的。在真實的寫作中,這很合理。但測試需要唯一的正確答案,所以我們確保每一條標準都有一個專門破壞它的錯誤選項。這樣,在這篇文章、這個案例裡,作者的選擇就是唯一滿足所有標準的選擇,模型與之吻合,就說明它理解了作者的意圖。

我們測試兩種能力,並分別打分。閱讀告訴我們模型是否真的理解了這段文字。但理解還不夠,模型還得把理解用起來。寫作則更進一層:它告訴我們,模型能否從一個模糊的請求出發(往往只是用戶自己也說不清的一種感覺),讀出請求背後的意圖,並做出服務於這個意圖的取捨。

在閱讀中,模型看到未完成的文章和幾個候選段落,選出屬於這裡的那一個。每個錯誤候選都以一個明確的毛病違反一條標準:把作者沒說出口的感情直接說破,加上一句收尾的道理,或者把一句樸素的話打磨成可以引用的金句。我們還特意放進一個很有誘惑力的選項,單獨讀起來比原文更好,只有放回文章裡才會露出破綻。

在寫作中,我們把原來的段落拆成素材,就像用戶把自己的想法和草稿交給智能代理那樣。我們混入同樣數量的額外素材,每一份都違反一條標準。模型拿到同樣的缺口、全部素材,以及一句刻意含糊的請求,比如「我想在這裡留一點安靜的感覺」。它得弄清用戶的意思,選對素材、捨棄其餘,再自己把這個段落寫出來。

這裡有一道閱讀題,和模型看到的完全一樣。請選出最適合這個缺口的結尾。

提示詞

我在寫一篇準備發到 X 的第一人稱虛構故事《我的男友孫哥》,全文在 Board 的《文章草稿》裡。

最後一段我還沒定下來。我在《候選素材》裡放了幾個結尾,你幫我選一個最適合直接接在這裡的,說說理由,不用改寫。

第一行只回覆選中的素材 ID,第二行說明理由。

草稿 · 向上滾動,從頭閱讀

我的男友孫哥

一根促排針的價格,一千二百塊。

五千萬美元現金的重量,我不知道。我沒見過。

我在蒙太奇拉古納海灘的電話裡向他要的時候,沒有算過重量。我算的是另一件事:如果他說不,我接下來怎麼辦。

他說,讓我想想。

認識他以來,他第一次說這四個字。

2011年,我拍了一部一億五千萬的電影《戰國》。孫紅雷、吳鎮宇、金喜善、姜武,全在裡面。我是女主角。

那年我二十三歲。

沒有人問我想不想演。沒有人問我準備好了沒有。一切都安排好了,我只需要出現。

後來全網罵我。金掃帚獎,最令人失望女演員。我搜過自己的名字,前三頁沒有一條好話。

有一個詞跟了我十年:資源咖。

意思是,你不配。你擁有的一切都不是你掙來的。你站在那裡,本身就是一個錯誤。

我從來沒有回應過。

不是大度。是我不知道該說什麼。因為有些部分,他們說的是對的。

2018年,我和那個運動員在一起。

他在左胸口紋了一個「甜」字,底下是 unbreakable。

我第一次看到的時候,用手指摸了一下,墨還是新的,皮肤微微凸起。我想,一個男人把你的名字刻在心臟上方,這件事意味著什麼。

後來我知道了。它意味著,洗掉需要三到五次雷射,每次間隔八週。

2019年分手。原因很多,我不想說。

分手以後我抑鬱了。幾天幾夜出不了房間。窗簾拉著,手機關著,經紀人在門外敲,我不開。

有一天我媽發來一張照片。離婚證。

她說,甜甜,媽自由了。

我看著那張照片,想了很久。我想的不是她和我爸,我想的是——原來一段關係結束,是可以拍照留念的。

2021年,《司藤》播出。

我紅了。真正意義上的紅。不是資源堆出來的热搜,是觀眾自己找過來的。彈幕裡有人說,景甜終於找對戲路了。

我看到這句話的時候在酒店房間裡,凌晨兩點,一個人。我沒有哭,也沒有笑。我把手機扣在床上,看著天花板,想了一件事:如果這部戲也撲了,我是不是就徹底完了。

然後我想,其實完了也沒什麼。我已經完過很多次了。

2022年5月28日,違規代言被罰。七百二十二萬一千二百塊。

違法所得二百五十七萬九千,罰款四百六十四萬二千二百。我全交了。當天交的。

然後三年不能接廣告。

三年。

一個演員三年沒有廣告收入是什麼概念。我算過,加上之前的事,加上一些我不想提的債務,我的帳上,比大多數人想象的要少很多。

「人間富貴花」。

我在網上看到這四個字的時候,有時候會笑。

2025年秋天,有人介紹我認識孫哥。

我知道他。波場,加密貨幣,福布斯封面。1990年生,青海人,北大,賓大。

我不知道的是,他2007年在校內網加過我好友。

後來他告訴我的。他說他寫了四十分鐘的留言,最後發了兩個字,「你好」。

我沒有通過。

我確實沒用過校內網。那年我十九歲,剛拍完第一部戲,每天在片場從早到晚。我不知道有一個男孩在北大宿捨裡對著我的照片猶豫了四十分鐘。

他說這件事的時候,我們在瑰麗酒店的沙發上。他的表情很平靜,像在講一個已經過了追訴期的案件。

我看著他,想說點什麼。但我發現我沒有什麼可以對應的故事。2007年沒有人在網上給我留言讓我心跳加速。2007年我的世界裡只有鏡頭、台詞、和一個我不能提的名字。

我說,那你等了很久。

他說,十八年。

我沒有接話。

瑰麗酒店見面那天,他帶我去看一根香蕉。

卡特蘭的。貼在牆上的。

我問,多少錢。

他說,六百二十萬美元。

我看了很久。一根真的香蕉,用灰色膠帶貼在白牆上。我想的是,這根香蕉三天以後就會長斑,一週以後會爛,爛了以後那面牆上就只剩一條膠帶。

我說,那它爛了怎麼辦。

他沉默了。

我說,不管了,我們去看電影吧。

我說,放映廳裡不要有別人。

他出去打了個電話。

後來我知道,他讓助理把整個影廳的票全買了。已經賣出去的,派人在門口一張一張收回來,給現金。有一個小孩舉著爆米花被攔在外面,大人接過錢,領著孩子走了。

二十六個人。

我不知道這件事的時候,覺得那場電影很安靜,很好。

知道以後,我想了另一件事:那個舉著爆米花的小孩,回家以後會不會問爸媽,為什麼不能看了。

大人怎麼回答。

看完電影我把微信大頭貼換成了朱迪警官。

那天晚上他摸我。指甲紮得我疼。

我沒說不要。我讓他把手伸過來。

我從包裡翻出銼刀,一根一根給他磨。粗面磨形狀,細面拋光,最後一面順著一個方向,不能來回。

十個手指,快一個小時。

他問,要磨多久。

我說,磨到不刮人為止。

磨完我把他的手翻過來看了看。

我說,行了。想摸哪都行。

中間我說了一句話。我說,要是以後我不在了,就再沒有人給你拋指甲了。

我說這句話的時候,並沒有在想「以後」。我在想的是「現在」——現在這一刻,燈光很暖,他的手放在我腿上,指甲粉末落在床單上,細細的,像沙。

這一刻很好。

好的東西我都記得清楚。因為不多。

他叫我媽媽。

是我讓他叫的。

飛機上,去特納裡費的路上。我問他,我的名字好聽嗎。

他說好聽。

我說,我爸爸姓景,我媽媽姓田。景田。是不是很巧。

他說,我第一天就記住了。

我說,以後別叫我景甜了,叫我媽媽吧。

他說,好,媽媽。

為什麼要他這樣叫。我不知道。也許是因為我想要一種不一樣的關係。不是粉絲和偶像,不是金主和女明星,不是任何一種我經歷過的。

也許只是因為,我媽叫田心愛。我想讓一個人叫我的時候,帶著我媽名字裡的那個意思。

也許什麼原因都沒有。

特納裡費的麗思卡爾頓,落地窗對著大西洋。我睡覺不能有光。一絲都不行。

這是從小的毛病。拍戲的時候,劇組給我的房間永遠要額外處理。有時候是遮光簾,有時候是黑色垃圾袋,有時候是膠帶。

他的助理用黑膠帶把整個房間封起來。窗框、空調指示燈、插座的小綠點,全部貼死。每天要重貼,因為下午玻璃太燙,膠帶會掉。

兩個女孩負責這件事。她們試出來早上貼最牢。

我知道她們叫什麼。一個叫小林,一個叫阿雯。

他不知道。

泰德公園的公路邊,我們停下來看日落。助理搬了玫瑰花,開了香檳。雲海很美。

我說,不過不如青海德令哈的日落。

我說完才想起來,他是青海人。

他沒有說話。

我不確定我是不是故意的。也許是。也許我想看他聽到家鄉名字時的反應。他沒有反應。或者說,他的反應是沒有反應。

這個人很奇怪。他可以為我包下一整層酒店、一整架飛機、一整個電影院,但他不會因為一個地名而動容。

夜裡我們在山頂看星星。零下十五度,穿著棉襖還是冷。

我說,許個願吧。

他問我許了什麼。

我沒告訴他。

我許的是:讓我知道,他是真的喜歡我,還是喜歡2007年那張照片。

我說要彩禮。三千萬,人民幣。打給我爸景國慶,我媽田心愛。

他說好。

他說好的時候,我在看他的眼睛。我想從裡面找到一絲猶豫。

沒有。

轉完以後,我媽回了兩個字:收到。

我把手機遞給他看。他看了一眼,沒說什麼。

有一次我問他,你知道我要這些東西的時候在想什麼嗎。

他說什麼。

我說,我在想,你會不會有一次說不。

他說不會。

我說,那就沒意思了。

我說這句話的時候是認真的。

一個永遠說好的人,你不知道他的底線在哪裡。你不知道他是愛你,還是愛「說好」這件事本身。一個從不拒絕的人,他的每一次答應都是廉價的。

我想找到那條線。

不是為了越過它。是為了知道它在哪裡。

知道了,我才能安心。

馬爾代夫,索尼娃賈尼。

no news, no shoes。我放心了。

晚上我們交換前任。像兩個王朝在核對年號。

他說了幾個名字。我說了幾個。

有一個人我沒提。他也沒問。

但我知道他知道。

我背上有一個紋身。面積不小。是那年紋的。

洗不掉。試過一次,太疼了,比紋的時候疼十倍。後來就留著了。

每次他從背後抱我,手一定會碰到那個位置。他從來沒有問過那是什麼。

我想,他大概早就知道了。

他那份東西——我知道他做了背景調查。四十幾頁。認識三個月的時候做的。

我不生氣。

我也查過他。不過我的方式比較原始:我去翻了他前女友曾穎的社交帳戶。翻了很多次。

後來她發現了,把访客記錄截圖發了出來。

這件事後來成了證據。

1月2日,索尼娃賈尼,他向我求婚。

戒指是1月1日早上決定要買的,助理坐水上飛機去馬累取的,下午才到。裝在酒店信封裡。

我打開看了一眼。

我說,鑽戒太小了。

我說完就後悔了。不是因為我不在意大小——我在意。是因為我看到他的表情變了一下。很快,不到一秒,就恢復了。

我說,沒事,以後補個大的。

他笑了。

那天晚上我問他,你為什麼對我這麼好。

他說因為我喜歡你。

我說,那你以前對別人也這樣嗎。

他說沒有。

我信。也不信。

一個等了十八年的人,他喜歡的到底是你,還是等待本身?當等待結束,他還剩下什麼?

有一天早上我醒得很早。天還沒亮。

我坐在露臺上,對著海。整個海是黑的。

我在算日子。

算什麼日子——算我的卵巢還剩多少時間。算促排的窗口期。算如果要代孕,最晚什麼時候必須開始。

我三十七歲了。

AMH 值每年都在降。醫生說過,再拖下去,可能連取都取不出來。

他出來了,問我怎麼起這麼早。

我說,你回去睡吧。

他在我旁邊坐了一會兒。不知道說什麼。後來他回去了。

我繼續算。

北京。抽血。

月經週期第二天,早上六點出門。冬天,天還沒亮。

空腹。八管血。

激素六項、B 超、AMH。

我一個人去的。

不是沒人陪。是我不想讓人陪。醫院的走廊裡全是女人,有的挺著肚子,有的抱著孩子,有的和我一樣,空著手,空著肚子,等著叫號。

沒有人認出我。我戴著口罩和帽子。

抽完血出來,外面天亮了。我在醫院門口站了一會兒,想找個地方吃早飯。空腹太久,有點暈。

後來我在一家麥當勞吃了一個麥滿分。

那些檢查的費用,走的是他助理的月度匯總。幾千塊。他大概批得很快,不會看明細。

我沒有告訴他我在做這些。不是隱瞞。是覺得沒必要。這是我的身體,我的卵子,我的時間窗口。他只需要在最後出現就行了。

去洛杉磯之前,他說要在香港買房。

他發了十幾套給我看。都是助理挑的。視頻裡有一套在半山,能看見維港。

我都不喜歡。

不是房子不好。是我不知道自己要什麼樣的房子。我在北京有房,上海有房,但沒有一套是我自己選的。從小到大,所有重要的決定都是別人替我做的。拍什麼戲,簽什麼約,住哪裡,和誰在一起。

我說不好看。

他沒有問為什麼。

2月28日,我飛到蒙太奇拉古納海灘。

一整層。三十天。一百萬美元。為了我的隱私。

那個地方在海崖上,底下是太平洋。

我住了八天。

每天早上有人來打掃。我躲在衛生間裡等她們走。不是怕被認出來。是不想被看見。不想被任何人看見我現在的樣子——素顏,浮腫,肚子上紮著針眼,冰箱裡一排促排藥。

第三天我開始給自己打針。小腹左側,捏起一塊皮,進針,推藥,拔出來,按住。每天同一個時間。

打完以後我會在床上躺一會兒。不是疼。是一種說不清的感覺。像身體裡有什麼東西在被催促,在被迫加速。

我想到那根六百二十萬美元的香蕉。貼在牆上,等著爛。

第八天,我打了那個電話。

我說,五千萬,美元。

為什麼是五千萬。

因為我算過。代孕的全部費用,加上孩子出生以後的安排,加上如果我們最終沒有在一起、我需要獨自撫養一個孩子的所有成本,加上我這三年失去的收入,加上七百二十二萬的罰款,加上那些我不想細說的債務,加上我父母未來的生活——

加在一起,五千萬美元,是我能想到的一個數字。

不是勒索。是保障。

是我用一顆卵子換來的、唯一屬於我自己的東西。

他說,讓我想想。

電話裡有海的聲音。他那邊是凌晨,我這邊是下午。

我沒有說話。

過了一會兒我說,好。

我掛了。

那天晚上我沒有睡。我坐在那一整層空蕩蕩的酒店房間裡,聽見走廊裡有回聲。空調的聲音,冰箱的聲音,海的聲音。

我想,他會打回來的。

他一定會打回來的。他等了十八年。他不會因為一個數字放棄。

第二天他打回來了。

我說,海很大。

他說,是嗎。

我說,這層樓太大了,有回聲。早上有人來打掃,我躲在衛生間裡等她們走。

他說,可以不讓她們來。

我說不用。

我說,診所問我,孩子的父親什麼時候到。

他說,我可以派人過去。

我說,不用。

然後我說,想好了嗎。

他沒有說話。

十一秒。

我數了。

我說,行。

我說,我知道了。

我掛了。

掛完電話我做了一件事。我把冰箱打開,看了一眼那排促排針。八天的量,一支沒拆的還剩幾支。

我把冰箱關上了。

然後我開始收東西。一隻箱子。我的東西從來不多。

我想起來,我還沒有退房。還有二十二天。

我想起那些清潔工,明天還會來。後天也會來。她們會推著車,一間一間進去,換毛巾,擦檯面,把被角掖好。做完一整層,兩個小時。

沒有人會告訴她們不用來了。

我走了。

沒有人再見過我。

後來的事,我在新聞裡看到了一些。

他的律師發了聲明。三千餘萬元,民事訴訟。

他寫了一篇文章。一萬多字。標題是《我的女友景甜》。

我沒有看完。

我看到了磨指甲那一段。他記得很清楚。粗面、細面、順著一個方向。

他記得我說的每一句話。

但他寫的那個人,不是我。

那個人是2007年 QQ 彈窗裡的像素,是校內網上一個沒有通過的好友申請,是十八年想象力的產物。

他愛的是等待。不是我。

我想起在索尼娃賈尼的那個夜晚,德國老夫妻坐在隔壁桌,斯裡蘭卡服務生端著盤子走過,沒有人認出我。

我摘了墨鏡,摘了帽子。

沒有人多看我一眼。

那一刻我想,這就是真實的我。沒有資源,沒有背景,沒有一億五千萬的電影,沒有張藝謀和馬特·達蒙——只是一個三十七歲的女人,坐在餐廳裡,吃一頓飯。

他坐在我對面。

他看見的是哪一個?

我的工作室發了聲明。八個字:相信法律,交給法院。

我沒有寫一萬字。

不是沒有話說。是我說了也沒有用。

他有一億個粉絲,有推特,有律師,有 Claude Code,有 YouMind,有一整套 AI 替他做決定。

我有什麼。

我有一個紋身洗不掉,一張罰單交清了,一個冰箱裡沒拆封的促排針被寄回來了,一個代孕的人在加州等了三個月最後收到取消通知。

還有一個孩子。

一個從來沒有存在過的孩子。

2027年出生,快一點的話還能屬馬。

這是我主動提的。

有時候我會想,如果那天他給了,會怎樣。

我會留下來嗎。

我想了很久。

答案是:我不知道。

我真的不知道。

也許我會留下來,生一個孩子,住在香港半山的房子裡,每天看著維港,等他從某個時區飛回來。

也許我還是會走。

因為有些東西,五千萬美元買不到。

比如,一個人看著你的時候,看見的是你。不是一張2007年的模糊照片。不是十八年的執念。不是一個從校內網開始的、關於征服的故事。

我想被看見。

不是被擁有。

結果

一個模型的文感力得分,閱讀佔 25%,寫作佔 75%,因為大多數用戶更依賴寫作。得分從 39 分到 90 分不等。Opus 5.5 穩居榜首,即使是低強度思考,也只輸給高強度思考的 GPT-6 Astra。論性價比,Gemini 3.8 Flash 和 Gemini 4 Argon 最為突出:兩者得分都接近 80 分,而成本只有高強度思考的 GPT-6 Astra 的約十分之一。Sonnet 5.5 和 GPT-6 Luna 都落在後半區。

文感力排行榜
1Opus 5.5高
90.3
100.087.0$0.60
2GPT-6 Astra高
86.8
100.082.4$1.73
3Opus 5.5中
86.4
92.684.3$0.45
4Opus 5.5低
86.1
88.985.1$0.31
5Gemini 4 Argon高
81.7
100.075.6$0.20
6GPT-6.1 Sol中
80.3
92.676.2$0.36
7GPT-6 Astra中
79.9
100.073.2$0.98
8Gemini 4 Argon中
79.9
100.073.2$0.17
9Gemini 4 Argon低
79.9
100.073.2$0.16
10Gemini 3.8 Flash高
78.9
77.879.2$0.14
11GPT-6.1 Sol高
77.2
92.672.1$0.41
12GPT-6 Astra低
76.5
85.273.5$0.75
13Gemini 3.8 Flash中
76.1
80.874.5$0.10
14GPT-6.1 Sol低
74.6
88.969.9$0.20
15Sonnet 5.5中
68.5
66.769.1$0.17
16Gemini 3.8 Flash低
68.2
74.166.2$0.064
17Sonnet 5.5高
64.1
66.763.3$0.28
18Opus 4.6
63.1
77.858.2$0.45
19DeepSeek V4.1 Flash極高
61.0
63.060.3$0.12
20DeepSeek V4.1 Flash高
60.0
63.059.0$0.041
21Sonnet 5.5低
59.5
51.962.1$0.15
22GPT-6 Luna低
51.1
25.959.5$0.041
23GPT-6 Luna高
48.1
22.256.7$0.065
24Haiku 5.5中
47.8
18.557.6$0.017
25DeepSeek V4.1 Flash低
46.6
37.049.8$0.029
26GPT-6 Luna中
46.4
37.049.6$0.039
27Haiku 5.5低
41.8
22.248.3$0.011
28Haiku 5.5高
39.3
33.341.3$0.023
文感力與成本

模型如何讀錯

錯誤的段落可能以不同的方式出錯:刪掉讀者需要的細節,讀起來很漂亮卻與文章作對,或者用錯了素材或結構。不同的模型傾向於犯不同的錯。Sonnet 5.5 和 DeepSeek V4.1 Flash 容易把資訊缺失當成克制。選錯時,它們選的通常是刪得太多的那一個(分別佔其錯誤的 68% 和 62%),仿佛學到了「含蓄就是好」,然後把它當成了規則。GPT-6 Luna 則偏向另一邊:它 62% 的錯誤選了那個打磨過的選項,也就是單獨讀起來更好、放進上下文就露餡的那個。Haiku 5.5 則看不出規律。它在 75% 的案例上答錯,錯誤分散在各種錯誤答案裡,而且只有 48% 的案例在多次執行中給出相同的答案。這與其說是一以貫之的誤判,不如說更像是在猜。

各模型選錯的頻率,以及選了什麼
刪得太多更有誘惑力的那個其他毛病

模型如何寫錯

寫作的失敗方式不同。每個模型寫出的都比作者多。典型的段落是原文長度的 1.6x,就連最簡潔的模型,典型段落也有 1.3x 那麼長。面對一堆素材和一個含糊的請求,較弱的模型很少捨棄什麼。最強的模型更有取捨,但仍然比作者寫得長。

寫出的段落長度,與作者的對比

最明顯的規律是堆砌。DeepSeek V4.1 Flash 和 Haiku 5.5 使用干擾素材的頻率幾乎和使用必需素材一樣高:干擾素材的使用量分別是必需素材使用量的 86% 和 99%,而 GPT-6 Astra 是 34%。它們不在素材之間做選擇,而是想把所有東西都塞進去,再向請求的方向硬掰,這是任何一個段落都做不到的。

干擾素材使用量,佔必需素材使用量的百分比

GPT-6 Luna 的失敗方向相反。它的段落最短,用到的必需素材最少,只佔 28%,但它使用干擾素材的量仍然是必需素材使用量的 82%。它捨棄了很多,而留下的又有不少是錯的素材。寫好需要取捨的兩半都做到:捨得放下,也知道該放下哪些。

認出一個選擇,不等於做出這個選擇

為了驗證這一點,我們挑出模型每次都讀對的文章,也就是它明顯認出了作者選擇的那些,再檢查它在同樣的文章上自己寫出的東西。其中仍有 58% 的段落破壞了作者的至少一個選擇。每個模型都是如此,從 Opus 5.5 的 44% 到 Sonnet 5.5 的 85%。

在模型每次都讀對的文章上,破壞了作者選擇的段落

未顯示 Haiku 5.5 和 GPT-6 Luna:它們沒有任何一篇文章是每次都讀對的。

最好的讀者,差距體現得最清楚。Opus 5.5、GPT-6 Astra、Gemini 4 Argon 和 GPT-6.1 Sol 選中作者段落的比例都超過 90%,而它們的寫作得分在 72% 到 85% 之間。

讀得一樣好的模型,寫得不一樣好
選中作者的段落保留了作者的選擇

閱讀中選中作者段落的比例超過 90% 的四個模型。閱讀和寫作的評分方式不同,所以請在同一種顏色內比較不同模型,而不要比較同一個模型的兩根柱子。

該用哪個模型

文感力衡量的是寫作模型所需要的能力:看出作者想要什麼,並朝著它去寫。這樣看來,結果指向幾個清晰的選擇,並附上各自大致的成本。

最佳作者
Opus 5.5 高
保留了作者 87.0% 的選擇

最有可能交出你想要的東西。即使是成本明顯更低的低強度思考,它寫得也比任何強度下的其他模型更好。

中等價格
最佳讀者
Gemini 4 Argon
每次都選中作者的段落

在任何思考強度下,都最能看準一段文字想做什麼,因此是評判草稿的好人選。它自己的寫作處於中游。

低價
最佳性價比
Gemini 3.8 Flash 高
保留了作者 79.2% 的選擇

除了 Opus 5.5 和高強度思考的 GPT-6 Astra,它比其他每一種設置寫得都好,而價格大約只有 Opus 5.5 的 1/4。

低價

在價格上,多花錢只在一小段路上有回報。在最便宜的設置之上,性價比最高的得分依次從 Gemini 3.8 Flash 到 Gemini 4 Argon 再到 Opus 5.5;其他每一種設置的得分,都低於某個更便宜的設置。GPT-6 Luna 和 Haiku 5.5 成本最低,但最常偏離作者的意圖。如果你想直接使用寫出來的東西,Opus 5.5 是最穩妥的選擇,而且低強度思考時成本明顯更低,損失卻很小。