今天小編分享的科技經驗：Anil Seth：機器的思考是否觸及靈魂？，歡迎閱讀。
文 | 追問nextquestion
機器能否真正擁有意識？認知和計算神經科學教授、薩賽克斯大學塞克勒意識科學及心理中心創始人之一的Anil Seth，作為意識領網域的權威專家，近日在arxiv的綜述論文中提出，盡管技術進步迅速，但實現具有意識的AI還需要滿足一系列復雜的現實條件。他着重指出，意識可能與我們作為生物體具有本質關聯，并由此反駁了"只要有足夠的算力就能產生意識"的常見觀念。
▷Seth, Anil. "Conscious artificial intelligence and biological naturalism." (2024).
阿尼爾·賽斯 Anil Seth認知和計算神經科學教授，
薩賽克斯大學塞克勒意識科學及心理中心創始人之一
他發表了100多篇科學論文，并為普通大眾講授和撰寫有關神經科學的文章，定期為《新科學家》（New Scientist）、《衛報》（The Guardian）和英國廣播公司（BBC）撰稿。他的研究被眾多媒體報道，曾接受BBC、奈飛（Netflix）以及美國著名哲學家、神經學家薩姆·哈裡斯（Sam Harris）的播客采訪。他在2017年的TED演講已被觀看超過1100萬次，這證明他有着不可思議的能力，可以使復雜的科學變得易懂和有趣。他最新的作品為《意識機器》。
關于人工智能是否具有意識的讨論
随着AI系統日益強大，關于AI是否具備意識的讨論不斷升溫，下面先概述之前眾多學者對該問題的讨論。"意識的困難問題"提出者David J. Chalmers在2023年的論文中提出，盡管目前的AI模型面臨多項技術障礙，例如缺少遞歸處理能力、全局工作空間以及整體能動性等，但這些障礙很可能在未來十年左右被克服。Chalmer認為盡管大語言模型當前可能不具備意識，但我們應該認真考慮，在不遠的未來，下一代大型語言模型将可能會具備意識。
▷Chalmers, David J. "Could a large language model be conscious?." arXiv preprint arXiv:2303.07103 (2023).
同時，人工智能安全中心 （Center for AI Safety, CAIS）綜合了Yoshua Bengio等多位權威人士的讨論，在一份報告中指出，盡管當前的人工智能不具備意識，但許多神經科學理論已提出可行的評估AI意識的指标，基于現有技術這些指标是可以實現的。
▷不同意識理論下對于機器是否能具有意識的讨論方向。Butlin, Patrick, et al. "Consciousness in artificial intelligence: insights from the science of consciousness." arXiv preprint arXiv:2308.08708 (2023). 圖片：智東西。
但在這場讨論中，一個難點是研究者們往往不自覺地将AI人格化。他們認為，由于大模型在邏輯推理和想象力等方面表現出越來越多的"智慧"，依照雷·庫茲韋爾在《奇點臨近》中的預期，AI獲得人類水平的認知能力似乎指日可待。這種人類中心主義的觀點推論認為，如果機器表現出類似人類的行為（符合某些理論框架下的意識指标），就可能具備意識。然而，這種基于計算功能主義的假設正是Anil Seth在其綜述文章中所質疑的核心。
支持意識的存在及其物質基礎綁定的證據
什麼是計算功能主義？讓我們先看看著名的忒修斯悖論：如果逐漸更換一艘船上的每一塊木板，最終這艘船換盡所有部件後，還能被認為是原來的那艘船嗎？換到大腦的背景下，如果将（有意識）大腦中的每個模塊換成功能上等價的矽基算法，甚至是通過仿真技術完全復制每個神經元之間的連接，那這樣的矽基生物，能否被當成最初大腦的等價物，是否仍舊可以被認為是有意識的？這樣的假設就被稱為計算功能主義，即只要滿足給定功能，黑貓白貓都是好貓，意識存在的問題只和是否具有特定計算能力有關。
然而，計算功能主義的批評者指出，當生物組成部分（神經元）被非生物（矽）部分所替代時，系統在内部運作方式及其整體行為上将不可避免地存在差異。生物學功能是通過復雜的進化過程形成的，積累了大量的相互依存和偶然性，其中部分可能看起來是任意的，但這些特征的合力導致了大腦内部結構中"一般性且根深蒂固的"組織原則。這為用矽基替代碳基的可能性施加了許多限制。
具體來看：矽基和碳基的主要差異在于，碳基腦的神經活動會受到代謝限制、電磁場以及其他可能因素的影響。例如，一氧化氮是一種參與許多神經元功能的神經遞質，能夠自由擴散過細胞膜，這意味着任何矽基的大腦都需要能夠檢測到這種不斷變化物質的位置，而這對于處于離散時間點的模拟是不可行的。
▷Wang, Yaoben, et al. "Sustained release of nitric oxide and cascade generation of reactive nitrogen/oxygen species via an injectable hydrogel for tumor synergistic therapy." Advanced Functional Materials 32.36 (2022): 2206554.
其他例子也能體現矽基與碳基造物的差異。生物神經元的尖峰活動有助于防止有害化學物質如活性氧的積累，這種保護機制是通過神經元特定的放電模式實現的，與其代謝活動緊密相關。新陳代謝直接影響神經系統的通信。然而對于矽基算法，算法本身是不朽的，不需要考慮新陳代謝。算法也無法以百分百的精度，用離散時間點的模拟再現連續變化的神經遞質所帶來的影響。這意味着人們無法證明當前算法（如大模型）可具有意識的基礎假設——計算功能主義——是否成立。
将大腦視為動力學系統而非計算工具
以上的證據雖然不足以推翻計算功能主義，但卻能夠讓其顯得不那麼自圓其說。計算功能主義意味着：機器具有智能的基礎是計算功能，與其物理特性無關，基于碳基的計算也适合于矽基。但如果大腦的計算過程與其碳基物理實現密切相關，我們或許有更充分的理由質疑，機器最終也能表現出意識的觀點。
我們之所以将大腦看成是計算機，是因為習慣了從大腦的認知功能出發思考問題。然而，随着對大腦内部運行機制的了解深入，神經科學界并沒有發現生物腦的"心智軟體"和"溼件"之間，存在類似于計算機硬體和軟體之間的明顯區别。
大腦活動模式在多個空間和時間尺度上持續展開，不斷受到神經遞質的擴散、神經網絡自身的物理結構以及細胞基礎設施的各種屬性影響，這些因素都與神經系統代謝活動釋放的分子風暴緊密交織在一起。單個神經元本身就是復雜的生物系統，忙于維護自身的完整性并重現其存在所需的物質條件。簡單地将大腦視為執行正确計算的機器，忽視了其復雜的多層面生物活動，這種視角既不利于我們深入理解大腦，也會影響我們對意識本質的認識。
另一種觀點認為，意識可能仍然依賴于實現功能組織的模式，但不依賴于計算。這種立場被稱為非計算功能主義（non-computational functionalism）。它與大量使用非計算立場的形式主義來理解大腦活動的工作一致，包括認知科學中影響深遠的的"動力學系統"方法。該方法提供了諸如微分方程的多種數學工具來模拟具身和嵌入式神經系統的屬性如何随時間變化。類似的還包括4E理論，強調大腦-身體-世界互動的具身、嵌入、執行和擴展方面，以及Gemma神經震蕩（30-150Hz）及同步等。這項研究者都在關注腦的動力學層面。上述觀點在重要細節上有所不同，但它們都反對将大腦視為純粹的計算工具，認為大腦是一個不斷變化的動态系統。
将大腦看成動态系統而非計算機，會将我們引入該綜述标題中最重要的關鍵詞：生物自然主義（biological naturalism）。這個術語來自"中文屋"思想實驗的提出者John Searle，他通過這個思想實驗，不僅圖靈測試作為判定機器智能存在的充分條件，也反駁了機器可能具備智能的延伸論點。
生物自然主義認為，意識是一種生物現象，源于大腦和身體中的神經以及其他可能的生物過程，是只有生物系統才具有的屬性。就如同對天氣系統的模拟再準确，也無法在模拟中產生被風吹雨淋的體驗，且模拟内部不會變溼。那有證據和理論能佐證生物自然主義嗎？下一節将從預測和控制的神經科學視角對生物自然主義加以論證。
預測和控制視角下的生物自然主義
預測性編碼理論将大腦的感知、決策與行動看成是最小化預測誤差的過程。而大腦之所以要不斷更新對外界環境的預測，是為了保持其所屬身體的内穩定。對于意識問題，預測性編碼的核心主張是，意識内容是大腦"最佳猜測"的產物——是自上而下的感知預測對多感官產生的内容整合。上述觀點更形象的描述是"意識是一種控制性幻覺" ，關鍵詞"控制性"強調意識的内容是主動生成的，而不是由外界體驗被動賦予的。而意識產生的基礎是具有一個能夠像生命一樣保持内穩态并自復制的身體，這就是生物自然主義的依據之一。
在此基礎上外延，對内部身體和自身所處世界的意識感知同樣是主動生成，而不是被動賦予。這些與身體相關的感知可能構成了"自我"體驗的基本部分，而意識本身就既包含體察外物，更包含内觀自省，這裡的自省，在日常語境中被稱為情感。根據預測性編碼，情感是基于當前自我狀态的一種自上而下的最優估計，這種估計的目标是最小化預測誤差。然而如沒有生物體存在，也就無所謂自省和對自身狀态的預測，因此也就無法產生意識。而對外部世界的感知，更多關注的是控制而非發現。由此可進一步指出，意識是和生物體維持自身存在（短期自穩定及長期自生成）且強綁定的特征。
然而，無論當前的機器人或是大模型，都無法做到自復制。一台計算機僅僅能夠接收輸入并生成輸出，而不能生產自己。而對于正在進行自復制系統，由于它們通過一個過程網絡不斷地再生自己的物質組成部分，并且這個過程網絡積極地維持系統與周圍環境的界限，因而真的沒有辦法将它們是什麼與它們做什麼分開。對于自我復制系統來說，它們通過一個復雜的過程網絡不斷地重建自己的物質成分，并積極維持與環境的界限，使得這些系統的物質構成與其功能表現不可分割。
對于生物體來說，維持自身的内穩态是生存的必須，即使是最簡單的細胞也需要與外界進行物質交換。從生物自然主義的視角看，這種交換是意識形成的先決條件。此外，生物是自復制系統的典型例子：不僅僅能實現預期功能，還能不斷地重建自己的物質基礎（自我生產），維持自身的完整性（自我識别）。因此，生物所具有的意識也與生物本身的物質存在"利益相關"（skin in the game)。意識不斷地參與跨多個組織層次的自我維護過程。
在這種觀點下，（更高層級的）預測處理機制與它們的（更低層級的）生物學背景被不可分割地嵌入到同一個整體中，這種嵌入對于實現更高層級的特征（例如感官整合，全局處理）以及解釋這項特征與意識的關系是必要的。因此，意識與活生生的生命系統密切相關，這不僅限于我們熟知的碳基生命，甚至矽基的人工生命及Hinton提出的凡人計算，在生物自然主義的框架下也可能產生意識。
依據自由能原理判斷機器意識的存在
英國神經科學家Karl Friston的自由能原理，提供了一個獨特的視角來解釋意識的生物學基礎。該原理表明：如果一個系統可以與其外部環境區分開，那麼它的内部和外部狀态必須是條件獨立的。在這種視角下，生物體的存在可以被描述為一種復雜的信息處理過程，目的是最小化外界對其預期的意外影響，即"自由能"。
在人類中，這些需要最小化的目标體現為生理參數的自動調節，如體溫、血氧和血糖水平等。這種機制确保了生物體對環境變化的适應性和生存能力。雖然類似的信息處理過程可以在計算機系統中模拟，但重要的區别在于，計算機并不真實地調節這些生理參數，而僅僅是模拟相關過程。意識也是如此。假設意識有助于有意識的有機體的生存，那麼，根據自由能原理，有助于維持有機體的生理過程必須保留意識經驗留下的痕迹，這可以描述為信息處理過程。這可以稱為"意識的計算相關性"。
在傳統計算機中，數據處理遵循一個線性的路徑：數據必須首先從内存中加載，然後在中央處理單元中處理，最後再次存儲在内存中。這種處理和存儲的分離在大腦中是不存在的。大腦的不同區網域間的因果聯系直接且復雜，不需通過類似中央處理單元的獨立結構進行中轉。在自由能的視角下，這樣的因果結構差異導致了生物腦產生的意識和傳統電腦模拟的意識存在差異。
▷上圖展示了右上角：一個具身化的大腦和外界的因果信息流，以及左上角，一個生活在模拟中的大腦的因果流，以及下圖在傳統電腦中的因果結構。來自：https://link.springer.com/article/10.1007/s11098-024-02182-y
從自由能原理的角度來看，生物體通過最小化意外（自由能）來保證自身的持續存在。而意識的出現則是為了捕捉這一過程中的因果關系。由于計算機和人腦所呈現的因果流不同，大腦和計算機之間的因果結構差異可能對意識至關重要。這決定了當前傳統類型的計算機及其上所運行的人工智能系統不太可能具有意識。從自由能的視角出發，研究者可以更精确地探索和定義構成意識的先決條件，并分析在人工系統中實現類似生物意識功能的可能性和挑戰。
凡人計算：更有可能的機器智能之路
近年來，Hinton 提出的凡人計算（Mortal Computation）模型引發了對傳統計算模式的深度反思。标準計算機科學的一個核心原則是軟體應與硬體分離，這樣在不同的硬體上執行相同的算法會得到相同的輸出。例如一個神經網絡可以在一台計算機上訓練并獲取權重，然後在另一台計算機上運行，它們會得到相同的過程與結果。這種模式突顯了軟體的"不朽"特性——軟體不依賴于硬體，即使原始存儲介質損壞，也可以通過更換硬體繼續使用軟體。
然而，凡人計算挑戰了這一傳統觀念。它允許在執行相同任務的不同硬體上的神經網絡之間發生顯著且事先未知的變化，這些變化依賴于各自硬體的特性和學習過程，從而為每個硬體定制獨特的軟體配置。這種做法使得軟體與其運行的硬體緊密綁定，一旦硬體損壞，相應的軟體也會喪失，反映出生物大腦的易逝性計算特征——生物大腦的計算活動與其物理基礎不可分割。
▷Hinton, Geoffrey. "The forward-forward algorithm: Some preliminary investigations." arXiv preprint arXiv:2212.13345 (2022).
凡人計算在硬體失效時會造成軟體丢失，這表面上看似是資源的浪費，但實際上它揭示了傳統計算模型中的一個重要缺陷：不朽的計算在能耗上昂貴。它需要進行持續的錯誤糾正，以确保存儲中的1保持為1，0保持為0。随着算法的復雜性增加，在深度神經網絡支持的現代人工智能系統中，錯誤糾正的計算和能量成本迅速增長。
與此相對，生物大腦因其高效的能量使用，無法實現不朽的計算。因此生物執行的計算是"易逝"的，這意味着它們不能與實現它們的"硬體"（或"溼件"）分離。這種特性使得意識與其物質基礎的分離變得不太可能（即生物自然主義假說）。因為當前無論哪種人工智能，都是基于一個計算不朽的實現範式，故而這是一個對當前技術範式下有意識的人工智能存在，特别有力的反對論據。
▷對比當下傳統的馮諾伊曼架構的神經網絡（左圖），以及神經形态計算（以憶阻器交叉陣列實現的芯片，處理直接在内存内部進行）實現的凡人計算（右圖），來自：https://arxiv.org/pdf/2311.09589v1
當然，對标準計算機科學範式的挑戰已經存在很長時間了。神經形态計算的倡導者們主張開發更貼近生物神經網絡的硬體，這種硬體與當前計算機中主導的CPU和GPU截然不同。研究者已經開發出使用尖峰在不同的硬體元素之間進行通信的神經形态芯片，可能提供相比傳統芯片顯著更高的能效。一些神經形态方法強調模拟而不是數字計算，将計算功能更直接地與硬體聯系起來。相比馮諾伊曼範式，在生物自然主義的框架下，完全突破現有硬體約束的凡人計算，更有可能具有意識。
▷圖2: 生物物理視角的凡人計算設備：關注生物體與内部穩态的維持的自復制（上圖）及控制論視角下的凡人計算設備（下圖）來自：https://arxiv.org/pdf/2311.09589v1
機械姬中意識測試存在的問題
科幻電影《機械姬》提出了一個類似于圖靈測試的Garland測試。兩者都是從反向去考察機器能否具有意識，即讓普通人嘗試分辨，如果機器足夠以假亂真，那麼就算通過了測試。與之相對的是正向的測試，例如根據對智能，意識的不同定義方式構建的指标進行判斷（圖3）。
▷圖3：四種不同判斷機器能否具有智能/意識的方式。
這種反向的考察帶來了可能的批判：圖靈測試究竟在檢測機器的智能，還是人類的輕信程度？《機械姬》中的對話指出，這種測試實際上可能更多地在評價測試者本身，而非被測試的AI。此外，反向意識測試的一個關鍵問題是意識本身是一種主觀體驗，難以通過外部評價者客觀判定。不過，建立正向的測試方式目前也很困難。正向測試依賴的指标取決于各自的理論框架，而我們當前尚且不确定解釋意識應使用何種理論框架。
當大語言模型被引導進行關于"意識"的對話時，它們可以流暢地描述自己的意識本質，這讓一些人誤認為這些模型可能已具有某種形式的意識。這種現象很大程度上與媒體使用拟人化的語言描述大模型的行為有關。例如當大模型發布不實信息時，媒體可能将其描述為"幻覺"，而更準确的描述應該是"虛構"。在人類中，虛構通常是無意的創造性行為，而幻覺則涉及對感知體驗的改變。因此，将大模型的行為描述為虛構而非幻覺，有助于避免錯誤地賦予它們任何意圖或主觀體驗的屬性。
▷被試者對大模型是否具有意識的評分，以及不同使用頻率者的評分差異，來自：https://academic.oup.com/nc/article/2024/1/niae013/7644104
當然，那些讓大模型看起來有意識的對話還有更樸實的解釋。大模型本質上是一種統計算法，預測最可能承接的下一個詞。這些模型通過大量包含關于意識讨論的文本進行訓練，因此能夠在提及意識時生成流暢的回應。
為什麼關于大模型是否有意識會有這麼大的争議？看似能論證機器意識的大模型互動案例并不是直接原因。相反，案例中的這些對話利用了我們的偏見——包括人類中心主義和對機器的拟人化投射，以及對語言的誤解，認為語言是思考的主要工具，而其實語言的主要功能是溝通。這些看似顯示大模型具有意識的對話，實際上也引起了圖靈測試和意識測試之間的混淆。這些對話被無縫地融入到了廣泛流傳的科幻叙事中，如電影《機械姬》所示，當機器能與我們交談，尤其是關于意識的話題時，似乎就顯示出了意識。然而，這些現象的更樸素的解釋應該是大模型的訓練數據和工作原理所決定的。
西部世界與《弗蘭肯斯坦》：機器意識争論帶來的道德考量
雖然真正有意識的人工智能還難以實現，但"類意識"AI系統（Conscious-seeming AI）的到來幾乎可以板上釘釘。這樣的系統能夠以假亂真，給人以"有意識"的錯覺，而且可能已經存在。當足夠令人信服的大語言模型與先進的生成式視頻和音頻化身（長遠看，甚至是具身機器人）相結合時，我們将生活在一個與我們認為有意識的AI系統共享的世界中，無論事情的真相如何。
這種類意識AI引發了重大的道德倫理問題。它能夠很好地利用人性的脆弱，無論這項脆弱是偶然的，還是（企業）設計的。例如，如果我們認為一個智能助理有意識，它真正理解我們、真正關心我們，我們可能會更傾向于盲目遵循它給出的建議，即使這些建議是錯誤的或有害的。如果我們感覺我們在與另一個心靈而不是算法打交道，我們可能也更願意犧牲自己的數字隐私。
這種現象在《西部世界》中得到了藝術表現：我們知道某系統實際上并無意識，卻仍可能感覺它好似具備意識。這種情況下，我們面臨兩難選擇：一是選擇關心這類系統，賦予其某種倫理地位，即便我們知道它們是無意識的；二是選擇忽略這些系統，放棄我們的同情心。兩種選擇都有其問題：如果我們選擇關心無意識的系統，可能會扭曲我們的道德關懷，将注意力從真正需要關心的對象（如其他人類或非人類動物）上轉移；如果我們選擇不關心，可能會使我們對他人的感受變得麻木。
這就是《西部世界》劇中發生的事情。如果我們以對待計算器的方式對待類意識智能體，那我們可能在現實中也會漠視他人的感受——這會抹殺我們的道德敏感性，也可能讓我們自己也感到不快。實際上，已有很多人對對智能助手Siri的無禮行為感到内疚。
瑪麗·雪萊的《弗蘭肯斯坦》為我們提供了一個道德寓言，這部作品通常被視為對創造生命傲慢的警告。然而，弗蘭肯斯坦真正普羅米修斯式的罪過并不是賦予他的創造物生命，而是賦予其意識。其創造物因此具備了痛苦、嫉妒和憤怒的能力，引發了恐怖和屠殺。在與類意識智能體互動時，我們不應重蹈覆轍。
類意識智能體的出現也不完全是壞事，它可能更容易讓使用者與之互動，提高他們的效率并擴大智能體的可訪問性。例如在個性化治療等領網域，類意識智能體能夠讓用戶表現出更高的依存性。利弊得失取決于開發者和監管者的選擇，正如丹尼爾·丹尼特曾說過的："我們一生中只會看到工具級的智能，而非同事級的智能。不應将它們視為同事，也不應欺騙自己認為它們是同事。"
小結
讓我們回顧一下可能出現有意識的AI的各種場景。
第一種：意識是一種計算形式，随着AI越來越智能，有意識的AI會在人類邁入通用人工智能的門檻時出現。該文指出：這一場景是基于我們的心理偏見，以及對計算功能主義未經充分檢驗的假設，因此不太可能。
第二種：意識是一種計算形式，但它必須根據意識理論被明确地"設計"到人工系統中。這看起來更有可能，但仍取決于（1）計算功能主義是否成立，（2）相關理論是否能夠真實指定意識存在的充分條件，以及（3）相關的計算是否可以在非碳基的物理基礎中實現。基于如全局工作空間等意識理論，構建有意識的AI的嘗試屬于這個場景。盡管這個場景避免了将意識與智能混淆，但它仍建立在值得懷疑的計算功能主義成立這一假設上。
第三種：意識是基于計算的，但相關的計算——可能因為它們壽命有限——只能由特定類型的物理基礎來實現。在這種場景中，傳統馮諾依曼架構下的AI可能無法成為有意識AI。有意識的AI将更接近生物意識系統。通過基于神經形态計算的凡人計算來實現有意識的AI就屬于這個場景。
第四種：意識依賴于神經系統而非計算功能組織。這時計算功能主義将不再成立，模拟與意識相關的認知功能與結構将不足以實例化意識。在這種情況下，有意識的AI的可信度取決于神經系統中的非計算功能（如動力學特征）是否可以在矽基等其它物理基礎中實現，例如構建足夠真實的人工生命。這一場景被稱為弱生物自然主義，其中只有生命系統可以實現意識所需的必要功能組織。
最後一種場景是強生物自然主義。意識依賴于生命系統的物質特性，就像風暴依賴于真實的水和真實的風一樣。在這個觀點中，有意識的AI需要（在某種相關意義上）是活着的，哪怕不是碳基。當然，正如水與風不一定引起風暴一樣，有生命也不代表有意識。這裡值得強調的是，即使生物自然主義（弱或強）是錯誤的，我們仍然可能需要通過理解我們作為生命體的本質，來理解人類和動物的意識，而不應該拿評價機器的指标來理解和考察意識。
意識要麼是通過某些生物結構實現的，要麼是通過某些功能/計算實現的，而意識要麼是通過簡單/低級現象實現的，要麼是由復雜/高級現象實現的。如果意識與任何類型的功能正确地聯系在一起，LLMs可能已經接近于有意識，并且未來的發展可能會導致有意識的人工系統。如果意識實際上與生物結構相關聯，那麼復雜性方面就會有所不同。根據這種觀點，我們的LLMs永遠不會是有意識的，因為它們沒有在"正确"的物理學基礎中被實例化。
▷來自：https://www.nature.com/articles/s41599-024-03553-w
将大腦視為計算機，混淆智能（intelligence）與意識（consciousness），這些思潮很可能讓人們高估在不遠的未來出現真正有意識的人工智能（的可能性）。然而盡管人類中心主義和拟人化的偏見在推動這一趨勢，但意識也不會随着AI變得更智能而自動到來。該文提出的證據（意識與生命，以及更具體地說，與預測處理、自復制和代謝熱力學的相互關系）說明，在傳統的馮諾依曼式的AI系統中，意識可能是生命系統的屬性，且或許只可能是生命系統的屬性。
當前，我們無法确定創造有意識AI所需的具體條件，也不清楚如何防止其出現。有意識的AI可能賦予系統源于自身需求的目标，而不僅僅是系統設計者預設的功能。這進一步復雜了智能體的"價值對齊問題"，即如何确保AI行為符合人類利益和價值。
因此，追求有意識的AI不應該是AI研究的明确目标。這可能聽起來顯而易見，但令人驚訝的是，"有意識的AI"在AI研究中經常被當作一個聖杯。實際上，随着技術的發展和我們對生物意識理解的加深，我們應該不斷調整對意識存在的信念，并使用這些不斷演變的信念引導AI的發展。真正有意識的人工智能在當前軌迹上可能無法實現，這意味着我們不應該盲目追求它，以服務于一些未經深思熟慮的技術狂熱。
雖然本文傾向于某種形式的生物自然主義，但要可靠的評估前文列出幾種場景的可信度是非常困難的。逐個列出這些假設，可以提醒我們有意識的AI并非不可避免，同時也突顯了理解控制生物意識的神經科學機制的重要性和緊迫性。
作為人類，我們習慣根據自己的形象創造技術，并将自我投射到我們創造的技術中。由意識與AI之間關系的概念迷霧所造成的混淆，阻礙了我們清晰地看到類意識智能體這一技術所代表的風險和機遇。将智能混淆為意識更阻止了我們清晰地認識自身——我們作為活生生的、呼吸着的、感受着的、行動着的和思考着的生物。如果我們把人類體驗與由深度偽造技術增強的語言模型中的信息處理機器混淆起來，那麼我們就廉價地出賣了自己，也貶低了人的本質。
