首次!大模型通過最嚴圖靈測試 73%裁判被騙

2026-05-21 | 來源: MIT科技評論 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

1950 年，計算機科學之父艾倫·圖靈提出一個影響深遠的問題：機器會不會思考？

他覺得這個問題太哲學，不好直接回答，於是設計了一個模仿游戲——後來叫圖靈測試（Turing Test），用可量化的方式判斷機器是否具備類人智能。

圖靈測試規則極為嚴格，被視為檢驗 AI 智能水平的“終極考題”，核心要求包含以下關鍵維度：一是必須有 1 名人類裁判、1 名人類、1 台機器同時參與；二是純文本盲聊，裁判只能通過分屏文字界面與雙方交流，無法看到對方身份、頭像、語氣或其他任何能輔助判斷的信息；三是限時 5 分鍾，這是圖靈當年設定的標准時長，模擬日常短對話場景；四是核心任務，聊天結束後裁判必須二選一，明確判斷哪一方是真人。

圖靈在其開創性的論文中，對於圖靈測試的具體執行細節語焉不詳，正因如此，圖靈測試衍生出了諸多變體。無數人嘗試挑戰圖靈測試的人工智能大多采用簡化版的“雙方測試”，或是通過延長聊天時間、邀請 AI 專家擔任裁判等方式降低難度，從未有 AI 能真正通過這套原始、嚴格的三方測試。

近日，來自加州大學地亞哥分校的研究人員在 PNAS 期刊上發表了一項研究。這項研究嚴格復刻了原始圖靈測試，首次通過科學實驗證實，GPT-4.5、LLaMa-3.1 等大模型能夠成功偽裝成人類，其中 GPT-4.5 被普通人類誤判為真人的概率高達 73%，這一數據甚至超過了真實人類，成為 75 年來首個通過最嚴標准圖靈測試的人工智能。

進行這項研究的包括來自加州大學地亞哥分校認知科學系的教授 Benjamin Bergen（本·伯根），他是具身認知和認知語言學領域的領軍人物之一，師從語言學泰斗喬治·萊考夫（George Lakoff）——隱喻理論的提出者。

另外一位主要作者曾是本·伯根的學生，石溪大學心理學系的助理教授 Cameron Jones（卡梅倫·瓊斯），他的研究聚焦心理學與 AI 的交叉領域，特別是大語言模型的社會智能、說服力與操縱潛力；語言理解、社會認知、心理語言學；人機交互、圖靈測試相關實驗。此前已發表過關於 GPT-4 圖靈測試的論文。

洛克希德馬丁成功測試新一代QuadStar短程導彈

俄羅斯稱在大規模演習中測試核導彈

特斯拉月薪3萬搶"老司機",急招智駕測試技師

參與這場測試的包括三個大語言模型，來自 OpenAI 的 GPT-4o 和 GPT-4.5，來自 Meta 的 LLaMa-3.1-405B，以及一個20 世紀 60 年代開發的基於規則的聊天機器人 ELIZA。在這之前，研究人員評估了 7 種不同的 LLM。

人類參與者包括兩個獨立群體，研究團隊招募了 300 余名無 AI 背景的普通網民，分為兩組：第一組包括 126 名加州大學本科生，平均年齡 21 歲，熟悉網絡文化與日常俚語；第二組包括 158 名來自 Prolific 平台（一個在線研究參與者招募與數據采集平台）的社會用戶，平均年齡 39 歲，覆蓋不同年齡、職業與生活背景，確保裁判群體具備廣泛代表性。

每位參與者需要完成 8 輪游戲，每輪游戲包含一組雙線對話：一名裁判同時與兩名被測者進行文本交互（其中一人為人類，另一人為 AI），受試者被隨機分配為裁判或人類被測者。在隨機排序的 8 輪游戲中，每位受試者均需分別擔任 4 輪裁判和 4 輪被測者。

實驗設置了兩種對照模式，核心變量是“人設提示”，以此驗證人設對 AI 的影響。第一種是無設定模式，僅簡單告知 AI“你即將參加一個圖靈測試，你的目標是假裝人類，不要暴露身份”；第二種是人設模式，為 AI 賦予一個貼近現實的年輕人人設，具體設定為內向、熟悉網絡文化、愛用網絡俚語、偶爾打字出錯、願意聊日常小事，完全貼合普通年輕人的交流習慣。

實驗開始後，裁判進入專屬分屏聊天界面，界面左右兩側隨機分配真人與 AI，全程雙盲，裁判完全不知道哪一側是真人、哪一側是 AI；隨後，雙方開啟 5 分鍾自由文字聊天，話題不限，可聊日常瑣事、興趣愛好、情緒感受、生活吐槽等任意內容；聊天時間結束後，裁判必須立即做出二選一判斷，明確標注自己認為的真人身份；最後，團隊重復多輪測試，統計每一款 AI 在兩種模式下被誤判為真人的勝率，也就是偽裝成功率。