自然語言處理( Natural Language Processing, NLP)是指利用人類交流所使用的自然語言與機器進行交互通訊的技術。這意味著計算機能以自然語言文本來表達給定的意圖、思想等，稱為自然語言生成。如何讓自然語言生成系統產生和人類語言相同質量的語言，一直都是自然語言處理領域的熱點和難點。這一領域盡管已經取得了巨大的進步，但是在評估自然語言生成語言質量的方法方面仍然存在重大挑戰。語言心理學研究表明，語言蘊含說話人豐富的社會和心理信息，并且語言的社會和心理信息主要是由讀者或聽眾在內隱水平上加工處理。因此，將內隱感知信息加入自然語言生成語言的質量評估標準中是一個有廣闊前景潛在方向。

2月7日，中國科學技術大學心理學系張效初團隊在《Advanced Science》（IF=17.5）雜志上發表了題為《Implicit perception of differences between NLP-produced and human-produced language in the mentalizing network》的研究論文，通過比較自然語言和自然語言生成語言在感知上的神經活動差異，揭示了內隱感知神經信息在語言感知和理解中的重要作用，也為評估自然語言生成語言質量提供了新的思路。

該研究收集了聊天機器人谷歌Meena和微軟XiaoIce的語料作為自然語言生成語言的代表，同時收集了人類語料作為對照材料，采用功能磁共振成像技術記錄受試者在瀏覽評估兩種語料過程中的神經信號。結果分析發現，當受試者主觀無法區分語料來源的時候，即主觀判定人類語料和機器人語料都是人類語料的情況，大腦心智化腦網絡的核心腦區背內側前額葉和右側顳頂聯合區的激活水平依然可以顯著區分語料的來源（圖1）。不同來源和不同判定的語料所引起的神經活動在受試者之間表現出了顯著的相似性（圖2）。

圖1 評定來源為“人類”的語料分類準確度

圖2 受試間神經活動相似性分析

最后，通過全腦分析，發現顯著激活的腦區與meta分析神經合成的心智化腦網絡存在位置重疊（圖3），說明參與內隱感知自然語言和自然語言生成語言差異的大腦區域確實是心智化腦網絡。

圖3 全腦分析和重疊分析結果

這些研究成果表明，大腦的內隱感知神經信號是比自我報告更為敏感的評估信息，可以將其加入評估自然語言生成語言質量的標準中。這不僅有助于自然語言處理技術的發展，也為發展新的衡量人工智能水平的圖靈測驗提供新的視角。

中國科學技術大學心理學系韋正德特任副研究員和陳穎研究生為本文共同第一作者，中國科學技術大學心理學系張效初教授為本文獨立通訊作者。本項目得到國家自然科學基金、科技創新2030-“腦科學與類腦研究”重大項目、教育部哲學社會科學研究重大項目、CASVPST絲路科學基金、合肥科學中心協同創新計劃的支持。

論文鏈接：https://onlinelibrary.wiley.com/doi/10.1002/advs.202203990

（心理學系、科研部）