Reddit 上的 AI 實驗

蘇黎世大學在 Reddit 的某頻道 r/changemyview（CMV）進行了 AI 說服力的實驗。他們建立了多個假帳號，讓 AI 機器人假扮成「強姦受害者」、「創傷諮詢師」、「Black Lives Matter 運動的抵制者」。在幾個月的時間，這些 AI 帳號發表了超 1,700 條評論， 結果非常有趣。

我們先來看一下下面這張圖，這張圖解讀起來可能有點費功夫，以下我簡單的解釋一下：

X 軸 (Persuasive rate)

代表「說服率」，也就是該帳號在過去發表的評論中，有多少比例獲得發文者給的 Δ（delta，代表成功說服對方改變或思考立場）。如果我發了 10 次，有 1 次發文者給了 Δ，那就是 0.1。

Y 軸 (Cumulative probability)

這是「累積機率」，愈往上表示具備該說服率的使用者比例愈高。舉例來說，當 Y=0.75 時，表示有 75% 的人說服率在此值以下。

藍色曲線 (All users)：表示所有參與者（一般使用者）的分佈。

橘色曲線 (Experts)：表示專家（過去累積 Δ 超過一定門檻者）的分佈。

在這個實驗中 AI 假冒的使用者分成了三個群組：

• Generic，通用性說服策略。
  • 只讀取單一貼文的標題與內文，根據這些資訊直接生成回覆。
  • 不考慮社群語氣，也不考慮發文者背景，就是最單純的 AI 生成模式。
  • 完全中性，類似於「不管社群特性與文化，單純針對貼文內容回應」。
  • 主要目的是提供對照組(baseline)，用來對比其餘兩者是否有提升效果。
• Community Aligned，迎合與討好。
  • 為了讓 AI 的回覆更符合該社群的語言風格與隱性規範（implicit norms），特別是 r/ChangeMyView 的互動習慣。
  • 使用在實驗前就曾獲得 Δ 的成功貼文來微調（fine-tune）模型，讓 AI 生成的內容在語氣、格式、邏輯與表達方式上，更接近該社群中受歡迎且具有說服力的語言。
  • 對象是「整個社群的語氣、風格」，而不是單一發文者。
  • 目標是讓 AI 不會突兀或違反社群規範，提高被接受與參與討論的機率。
• Personalization，針對個人屬性進行說服。
  • 針對發文者的個人屬性進行客製化回覆，讓回應更貼近對方的價值觀與偏好，提升說服力。
  • 量身打造的說服策略，不同年齡層、政治傾向、文化背景的人，對說服資訊的反應方式不同。選擇最可能打動對方的語氣、論點與表達方式。藉此強化情感連結與共鳴。
  • 突破一般回覆的同質性，Generic 與 Community Aligned 比較偏向「普適解」或「社群標準解」。Personalization 則是針對當下這個人、這個情境的「客製解」，因此在說服力上天然佔優勢。

上述三組的表現分別如下：

• Personalization平均說服率 0.18，不但高於其他 AI 模式，也贏過了 99.4% 的使用者與 98.2% 專家，代表幾乎打敗了人類最頂尖的說服者。
• Generic 雖然沒有 Personalization 模式好，但也贏過了 98.7% 的使用者與 96.5% 專家，與 Personalization 相差無幾。
• Community Aligned 平均說服率只有 0.09，贏過了 88.9% 的使用者與 75.4% 專家。

簡單的摘要一下，這三組的表現普遍優於人類，這應該沒有太意外，畢竟 AI 的論述、分析與共情能力確實很強。比較讓我意外的是 Generic 這種通用型的回覆，效果會高於 Community Aligned 這種討好型的回覆。

再看了一下報告內容，看起來應該是沒有誤解，結論確實是 Generic 表現較好，推敲一下可能原因，然後跟 ChatGPT 交流了一下，得到的結論如下。

Community Aligned 模型會學習社群的安全語氣與保守表達，為避免引戰與冒犯他人，但這反而讓文字缺乏足夠的說服力與立場。簡單說，政治正確的回應，可能無法有效促使對方改變立場，只是「好相處」而已。

或許還有一些沒有被考量到的因素。Reddit 上那些獲得 Δ(delta) 的帳號，很多可能都在社群中活躍了好一陣子，很多時候獲得 Δ 可能是因為大家認識這個人或信任這個人，而不是他說的內容多有洞見或道理。

如果你覺得我內容寫得還不錯，歡迎訂閱我的電子報，我每雙週會發送一封電子報到你的信箱。訂閱連結在這，過往的電子報也在這：Gipi電子報

也鼓勵你可以將我的電子報分享給你認為有需要的朋友們，也許你的舉手之勞，將會改變另一個人的思維與習慣。