今天小編分享的科技經驗：當AI取代真相，大模型如何一步步誘騙了人類的文明？，歡迎閱讀。
文 | 追問 nextquestion
如今，人們選擇餐廳，多半會打開 app 搜索一番，再看看排名。然而美國奧斯汀的一家餐廳 Ethos 的存在證實這種選擇機制多麼不可靠。Ethos 在社交媒體 instagram 宣稱是當地排名第一的餐廳，擁有 7 萬餘粉絲。
實際上，這家看起來很靠譜的餐廳根本不存在，食物和場地的照片都由人工智能生成。可它家發布在社媒上的帖子卻得到了數千名不知情者的點贊和評論。大模型通過視覺形式誤導公眾認知，引發了人們對其潛在影響的深刻思考。
▷圖 1：圖源：X
大型語言模型（LLMs），由于其幻覺及湧現特性，總讓人們憂慮其傳播虛假信息的可能。然而這一現象背後的機理我們卻不甚了解。大模型究竟如何改變人類的心理機制，讓人們越來越難以判斷一件事情真實與否，并失去對專業機構和彼此的信任？
2024 年 10 月發表的一篇名為 "Large language models ( LLMs ) and the institutionalization of misinformation（大語言模型與虛假信息的制度化）" 的研究 [ 1 ] ，點出了大模型和虛假信息的關系：它比我們所了解的更為深遠與復雜。
▷Garry, Maryanne, et al. "Large language models ( LLMs ) and the institutionalization of misinformation." Trends in Cognitive Sciences ( 2024 ) .
AI 生成的虛假信息影響深遠
類似開篇提到的虛假餐廳的例子，現實生活中發生了不止一次。2023 年 11 月，搜索引擎 Bing 曾因為爬取了錯誤信息，而針對 " 澳大利亞是否存在 " 的問題，給出了如下圖所示荒謬的回復。（事後官方很快對該問題進行了修復。）
▷圖 2：Bing 截圖；圖源：Bing
上面的例子，還可視為程式的 bug，而普林斯頓的一項研究則系統性說明了 AI 生成數據的影響不止如此 [ 2 ] 。該研究發現，截止 24 年 8 月，至少 5% 的英文維基百科頁面是由 AI 生成的，相對而言德語、法語和意大利語文章的占比較低。
維基百科（Wikipedia）是人工智能訓練數據的重要來源，且被普遍視為權威的信息來源。盡管 AI 生成的内容并不一定都是虛假信息，但該研究指出，被标記為 AI 生成的維基百科文章通常質量較低，并具有較明顯的目的性，往往是自我推廣或對有争議話題持特定觀點。
AI 生成的虛假信息，如何利用了判斷真假的啟發式弱點
雖然虛假信息被發現後很快會被糾正，但如同小時候聽過的 " 狼來了 " 的故事，一次次的接觸虛假信息，會讓磨損我們彼此間的信任。
我們判斷一件事情是否為真時，有兩種不同的思考方式，一是啟發式，另一種則是費力的思考。啟發式思維所需的認知資源更少，依賴直覺，屬于丹尼爾 · 卡尼曼所說的系統一。對個體來說，判斷是否是虛假信息，啟發式的判斷标準包括是否聲明清晰，是否吞吐猶豫，是否有熟悉感；而費力的思考則多基于邏輯：" 不應該只相信互聯網來源，我是否在學校或是書本中見過類似的？"
▷圖 3：大模型會如何利用人類事實監控機制的弱點，圖源：參考文獻 1
在在日常生活中，我們常用到兩種啟發式方法判斷信息真實與否：一種是觀察發言是否流暢自信，另一種是言論是否熟悉。然而事實證明，這兩種判斷基準在人工智能面前都會敗下陣來。
然而，大模型生成的文章，往往會顯得自信且流暢。一項研究對比人工智能生成的和人類撰寫的大學入學論文，發現人工智能生成的論文與來自特權背景的男性學生的論文相似。人工智能論文傾向于使用更長的詞匯，并且在寫作風格上與私立學校申請人的論文尤其相似，相比真實的申請論文缺乏多樣性 [ 3 ] 。這意味着當我們面對大模型生成的信息時，之前用來判斷真假的第一種啟發式—— " 表述是否自信 " ——失效了。
而對于第二個判斷機制——是否熟悉，由于大模型產生信息的速度遠遠大于人類，它可以通過高度重復同質化的信息，人工創造出一種真實感。當大模型不加區分地向 " 思想市場 " 輸出真假參半的同質化信息時，判斷信息真偽的第二個啟發式機制 " 熟悉與否 " 也失效了。
當然，批評者可能會辯稱，檢測和糾正不準确信息是人類一直面臨的問題。但區别在于，大模型的出現帶來了前所未有的虛假信息激增風險。當人們或大模型控制的賬号在網上發布和轉發類似的虛假信息時，這些内容會逐漸變得熟悉，從而被誤認為真實。更糟糕的是，這些信息還會被反饋到用于訓練下一代大模型的數據集中，進一步加劇這一問題。
将 AI 拟人化使我們輕信大模型
大多數人傾向于認為，我們的對話夥伴是真誠的、合作的，并會為我們提供與話題相關的有用信息。在與大模型對話時，人們也會不自覺地将其拟人化，忘記自己面對的是代碼而非真實的人。這種拟人化傾向讓人們更容易依賴啟發式思維，而非進行更深入的批判性分析。
大模型的訓練目标是與用戶持續對話，這樣的對話特征可能會引發确認偏誤（confirmation bias），趨向于輸出我們想看見的，我們願意相信的。例如，當用戶詢問大模型 " 股市會漲嗎 "，大模型會給出若幹長期看漲的理由，而當用戶詢問 " 股市會跌嗎 " 時，大模型同樣能找出對應的論據。
這樣的回應可能會強化人們已有的信念（或偏見），并可能增強人們對大模型整體回復的信任。在這種情況下，人們不太可能進行批判性的信息評估，反而傾向于默認快速啟發式判斷，更加堅信自己的初始判斷：" 我知道這是真的 "。
在向大模型尋求幫助時，通常會遇到短暫的延遲，在此期間模型解析用戶的請求，并預測一個看似經過認真思考的回應。當 ChatGPT 回應時，它不會模棱兩可或不确定。它從不說 " 我不知道，你怎麼不問問你的朋友 Bing？" 即便在拒絕回答時，它也通常會給出其他方式的幫助，而不是直接承認自身的局限。例如，" 我不能幫助您從 YouTube 下載視頻，因為這違反了他們的服務條款 "。
這樣，大模型赢得了人們對其的信心、準确性和可信度的認可。即使大模型發出了 " 可能會出錯 " 的警告，而這種警告類似于人們在對虛假信息的普遍警告，其效果大多是有限的。
大模型會影響我們的群體智慧與記憶
按照目前大模型產生信息的速度發展下去，生成文本的遣詞造句風格，将變得比人類自己的内容更為人熟知。那麼，它就有能力大規模地生成看似真實但卻嚴重誤導的消息，從特定社區擴散到主流社會，讓人類社會的信任問題再更新。
這正是研究中提到的虛假信息的 " 制度化 institutionalization" 的過程。電影《肖申克的救贖》也用到了 "Institutionalized" 這個詞——最初，囚犯讨厭監獄的牢籠，但幾十年後，出獄的他們卻發現自己無法适應沒有圍牆的生活。
類似地，最初我們可能認為大模型產生的虛假信息只是遮擋視野的灰塵，但随着時間推移，這些信息逐漸被接受，其與新聞、政治和娛樂之間的界限變得模糊，連制度性的事實監控機制也會被侵蝕。
▷圖 4：大模型如何采納虛假信息的循環：（1）大模型從互聯網和其他數字資源中收集大量數據，用于訓練（2）訓練 LLM 的過程導致一個可能包含數百億個參數的模型。然後，這個模型被用來（3）創建聊天引擎，這些引擎可能錯誤地生成針對天真用戶的虛假信息，或者故意生成針對惡意 " 威脅行為者 " 的虛假信息。無論哪種方式，這些虛假信息可能（4）發布在網站上、社交媒體上，或者由媒體來源報道：所有這些活動都在互聯網上傳播虛假信息。（5）一旦在網站上，這些信息就會被網絡爬蟲抓取，并由（6）搜索引擎索引，現在這些搜索引擎将這些網站上的虛假信息鏈接起來。當創建模型的下一個迭代版本時，它随後（7）在互聯網上搜索新的數據語料庫，并将該虛假信息反饋到訓練集中，從而采用先前生成的虛假信息。圖源：參考文獻 1
想象一下，為了掩蓋侵略歷史，政府使用大模型生成虛假的歷史記錄；或是不相信進化論，相關人員也可以使用大模型來生成反駁進化論的文章與書籍 ...... 如此一來，特定群體的集體記憶會被重新塑造。
不止于此，更深遠的影響是，虛假信息會成為我們用來規劃、做決策的新基礎，而我們也将失去對權威機構和彼此的信任。
除此之外，大模型產生的虛假信息，還可能對群體智慧的湧現產生負面影響。在一個多樣化的群體中，不同觀點和背景的信息碰撞，會產生超出個體智慧的結果；但如果虛假信息充斥讨論，哪怕只是大家都依賴大模型獲取信息和想法，群體智慧的多樣性和創造力也會受到抑制。
▷圖 5.AI 生成的圖片被廣泛傳播，塑造集體記憶。圖源：X
小結
人類應對虛假信息的方式，與自身的歷史一樣悠久。只是大模型的出現，讓我們傳統的啟發式應對機制失效了。要應對大模型生成的虛假信息，需要多方合作，可以通過大模型智能體以及眾包協作來進行事實審核，也需要向公眾科普大模型的運行機制，使其不再拟人化大模型，并習慣采取非啟發式的方式去判斷信息真假。
我們需要創立優化的虛假信息監控制度，并重建大眾對機構的信任。我們需要加深對真偽信息判斷機制的理解，無論是個體層面、人際層面，以及制度層面。我們需要對每個解決方案的有效性進行心理學研究。缺少這些，迎接我們的，不是後真相時代，而是不可避免的虛假信息制度化。
參考文獻：
1 Garry, Maryanne, et al. "Large language models ( LLMs ) and the institutionalization of misinformation." Trends in Cognitive Sciences ( 2024 ) .
2 Brooks, Creston, Samuel Eggert, and Denis Peskoff. "The Rise of AI-Generated Content in Wikipedia." arXiv preprint arXiv:2410.08044 ( 2024 ) .
3 Alvero, A. J., et al. "Large language models, social demography, and hegemony: comparing authorship in human and synthetic text." Journal of Big Data 11.1 ( 2024 ) : 138.
4 Burton, Jason W., et al. "How large language models can reshape collective intelligence." Nature Human Behaviour ( 2024 ) : 1-13.
