Showing Posts From
Ai 應用
你的 AI 銷售信寫錯重點了？Oxford 研究：塞滿事實比個人化更有說服力
用 AI 幫你寫客戶信、產品提案、LINE 訊息的時候，你花最多時間在哪裡？ 如果答案是「想辦法讓每封信都針對不同客戶量身打造」——一份剛發表在 Science 期刊的研究會告訴你，你可能把力氣花錯地方了。 Kobi Hackenburg 與史上最大規模的 AI 說服力實驗 Kobi Hackenburg 是牛津大學網際網路研究所的博士候選人，同時也在英國 AI 安全研究所（UK AI Security Institute）擔任研究科學家。2025 年 12 月，他和來自 Stanford、MIT、LSE 的研究者共同在 Science 發表了一篇論文：〈The Levers of Political Persuasion with Conversational AI〉。 這不是一般的小實驗。他們動員了 76,977 名英國受試者，部署 19 個不同的大型語言模型（從 5 億參數的小模型到 4,050 億參數的巨型模型都有），橫跨 707 個政治議題，讓 AI 跟真人進行平均 7 輪、約 9 分鐘的即時對話，然後比較受試者在對話前後的態度變化。 研究者還動手做了一件很瘋狂的事：他們對 AI 生成的 466,769 個事實性宣稱逐一進行了準確度查核。 結論出來，直接挑戰了行銷圈一個根深蒂固的信念。 資訊密度：說服力最強的單一因素 研究的核心發現可以用一句話講完：AI 之所以能改變人的想法，靠的不是心理操控，不是個人化，而是塞進更多可查證的事實。 他們把這個概念叫做「資訊密度」（information density）——一段回應中包含多少個可以被事實查核的具體宣稱。 數據有多誇張？在所有影響說服力的變數中，資訊密度這一個因素就解釋了 44% 的變異量。如果只看經過特別訓練的模型，這個數字飆到 75%。 具體來說，每多塞進一個事實性宣稱，說服力就增加 0.30 個百分點。在最有說服力的實驗條件下，AI 平均每次對話丟出 22.1 個事實宣稱——而一般條件下只有 5.6 個。"Insomuch as factors like model scale, post-training, or prompting strategy increased information density, they also increased persuasion." （只要模型規模、後訓練或提示策略等因素提高了資訊密度，它們就同時提高了說服力。）翻成白話：不管你用什麼技巧——更大的模型、更精巧的提示詞、更多的訓練——只要最終結果是讓回應裡塞進更多事實，說服力就上升。事實密度是所有槓桿背後的共同機制。 個人化的效果遠比你想的小 接下來是最反直覺的部分。 行銷圈這幾年最熱的口號是什麼？「大規模個人化」（personalization at scale）。AI 最讓人興奮的應用場景之一，就是根據每個客戶的背景、偏好、痛點，自動生成量身打造的訊息。 Hackenburg 的實驗直接測試了這個假設。結果呢？ 個人化帶來的說服力提升，平均只有 +0.43 個百分點，沒有任何一種個人化方法的效果超過 1 個百分點。 相比之下：後訓練（post-training，也就是針對說服力去微調模型）提升了最多 51% 的說服力 提示工程（prompting，用不同的指令去引導模型）提升了約 27%論文裡寫得很直白："While we do find some evidence of persuasive returns to personalization, they are small in comparison to the magnitude of the persuasion gains we document from model scale and post-training." （雖然我們確實發現個人化帶來了一些說服力回報，但與模型規模和後訓練所帶來的說服力增幅相比，這些回報很小。）這不是說個人化完全沒用。但它的效果被嚴重高估了——至少在「改變別人想法」這件事上，你花在個人化的時間，遠不如花在「確保內容裡有足夠多的具體事實」來得有效。 小模型也能跟巨型模型一樣有說服力 另一個讓人意外的發現：模型大小的影響也沒想像中大。 一個 5 億參數的開源小模型，經過針對性的後訓練之後，說服力可以逼近甚至追平那些動輒幾千億參數的頂級商用模型。Hackenburg 自己在牛津大學的新聞稿中說："Our results show very small models can be fine-tuned as persuasive as massive systems." （我們的研究結果顯示，非常小的模型經過微調後，說服力可以媲美巨型系統。）這意味著什麼？說服力不是只有大公司的專利。任何人只要掌握正確的訓練方法和提示策略，都能讓 AI 產出高說服力的內容。 說服力越強，準確度越低：不能忽視的取捨 到這裡聽起來好像結論很簡單：那就叫 AI 盡量多塞事實就好了？ 沒那麼單純。這份研究最讓人不安的發現是：說服力和準確度之間存在系統性的反向關係。 具體的數字：GPT-4o 在一般條件下，78% 的宣稱被判定為準確 同一個模型切換到「資訊密集」的提示策略後，準確率掉到 62% GPT-4.5 更慘：從 70% 掉到 56% 在最高說服力的實驗條件下，29.7% 的宣稱是不準確的（一般條件下只有 16%）也就是說，當 AI 為了說服你而拼命塞更多「事實」的時候，它開始編造看起來像事實的東西。 有評論者引用了哲學家 Harry Frankfurt 的概念來形容這個現象——這不是刻意說謊（lying），而是「bullshit」：對真假根本不在意，只在意聽起來是否有說服力。 這對所有用 AI 寫客戶溝通的人來說是一個嚴肅的警告：你不能只追求說服力，你必須同時守住準確度。否則你贏了這一次對話，卻輸了長期信任。 資訊密度原則：怎麼用在你的溝通裡 把這份研究的發現翻譯成實務操作，有三個要點： 第一，堆事實，不堆形容詞。 與其寫「我們的方案能大幅提升您的效率」，不如寫「導入我們方案的客戶，平均每月減少 14 小時的行政作業時間，退件率從 8% 降到 2.3%」。具體數字和可查證的事實，比任何華麗的包裝都有說服力。 第二，別花太多時間在個人化上。 這不是說完全不要做——稱呼對方的名字、提到他的公司當然是基本禮貌。但如果你的選擇是「花 30 分鐘研究客戶背景來量身打造一封信」還是「花 30 分鐘找到更多可以佐證你論點的具體數據」，這份研究很明確地說：選後者。 第三，一定要人工查核。 這是整份研究最重要的警告。當你要求 AI「寫得更有說服力」或「多給一些佐證數據」的時候，它可能會開始「創造」看起來很像真的但其實是編的數據。每一個具體數字、每一個引用，都要回頭驗證。這份研究是在政治說服的場景下做的，不是商業銷售。但底層的機制是一樣的：人類會被大量具體事實打動，遠比被「我知道你是誰」的個人化感動來得多。 在一個人人都能用 AI 產出漂亮文案的時代，真正的差異化不是誰寫得更滑順，而是誰的內容裡有更多經得起查證的事實。📎 Hackenburg 等人的完整論文〈The Levers of Political Persuasion with Conversational AI〉2025 年 12 月發表在 Science，牛津大學的新聞稿用比較白話的方式做了摘要。論文裡還有很多這篇沒覆蓋到的細節，包括三個實驗的完整設計、19 個模型的個別表現比較、不同後訓練方法（SFT、獎勵模型、SFT+獎勵模型）的效果差異，以及對話式 AI 跟靜態單向訊息在說服力上的巨大差距。如果你對 AI 的影響力機制有興趣，值得花時間讀完整版。