今天小編分享的互聯網經驗：擺脫Transformer依賴？這家AI初創公司推出國内首個非Attention機制大模型，歡迎閱讀。
文 | 蘇建勳
Transformer 是當下爆火的 GPT、LLAMA、PaLM 等大模型普遍采用的基礎架構，憑借強大的自然語言理解能力，Transformer 在問世的短短幾年内便取代了傳統的 RNN 網絡結構，成為自然語言處理領網域的主流模型架構。
如今，一家創業公司試圖動搖 Transformer 的 " 江山 "。1 月 24 日，上海岩芯數智人工智能科技有限公司（下稱 " 岩芯數智 "），正式發布了國内首個非 Attention 機制的通用自然語言大模型—— Yan 模型。
作為行業内少有的非 Transformer 大模型，Yan 模型用全新自研的 "Yan 架構 " 代替 Transformer 架構，用百億級參數達成千億參數大模型的性能效果——記憶能力提升 3 倍、速度提升 7 倍的同時，實現推理吞吐量的 5 倍提升。
至于為何另辟蹊徑，尋求非 Transformer 的大模型路徑，岩芯數智 CEO 劉凡平指出，以大規模著稱的 Transformer，在實際應用中的高算力和高成本，讓不少中小型企業望而卻步。其内部架構的復雜性，讓決策過程難以解釋；長序列處理困難和無法控制的幻覺問題也限制了大模型在某些關鍵領網域和特殊場景的廣泛應用。随着雲計算和邊緣計算的普及，行業對于高效能、低能耗 AI 大模型的需求正不斷增長。
圖片來自岩芯數智官方
劉凡平提到：" 在全球範圍内，一直以來都有不少優秀的研究者試圖從根本上解決對 Transformer 架構的過度依賴，尋求更優的辦法替代 Transformer。就連 Transformer 的論文作者之一 Llion Jones 也在探索‘ Transformer 之後的可能’，試圖用一種基于進化原理的自然啟發智能方法，從不同角度創造對 AI 框架的再定義。"
新技術在誕生時往往會遭遇質疑，尤其是 AI 領網域，Transformer 架構作為被主流廠商所接受的方向，想要去颠覆甚至超越，勢必會遭遇更多争議，對此，劉凡平也做好了準備。
" 被質疑很正常，只要你說創新，如果别人不深刻理解，就會有質疑。因為他覺得他沒有聽懂，所以有質疑的權利。我很尊重大家的權利，但是我不能因為他們有質疑，我們就放棄我們自己想做的事情。" 劉凡平對 36 氪等媒體表示。
那麼，岩芯數智自主研發出的 "Yan 架構 "，表現如何？
如果說基于 Transformer 架構的大模型是 " 耗油且高昂 " 的燃油車，那麼基于 Yan 架構的大模型，更像是更加經濟、更加節能的新能源汽車。它去除了 Transformer 中高成本的注意力機制，代之以計算量更小、難度更低的線性計算，大大提高了建模效率和訓練速度，效率翻倍的同時實現了成本的驟降。
" 兩個方面看，一方面縮短客戶的溝通時間、減少客戶的理解成本，一般需求階段夠會在 1-2 個月，通過 Yan 架構，1 個月以内已經可以出為客戶私有化模型，溝通成本會降低，所見即所得的溝通，會比空談好很多；另一方面，項目成本會降低，例如 300 萬合同的項目可以降低到 260 萬左右，但是利潤不一定是下降了。" 在談及新技術框架的落地周期和成本時，劉凡平在接受媒體采訪時談到。
發布會上，研究團隊展示了 Yan 模型和同等參數規模 Transformer 模型的大量實測對比，經實驗數據表明，Yan 架構可以實現比 Transformer 架構更高的訓練效率、更強的記憶能力、更低的幻覺表達。
在同等資源條件下，Yan 架構的模型，訓練效率和推理吞吐量分别是 Transformer 架構的 7 倍及 5 倍，并使記憶能力得到 3 倍提升。Yan 架構的設計，使得 Yan 模型在推理時的空間復雜度為常量，因此針對 Transformer 面臨的長序列難題，Yan 模型同樣表現優異。
對比數據表明，在單張 4090 24G 顯卡上，當模型輸出 token 的長度超出 2600 時，Transformer 的模型會出現顯存不足，而 Yan 模型的顯存使用始終穩定在 14G 左右，理論上能夠實現無限長度的推理。
另外，研究團隊首創了一種合理的關聯特征函數和記憶算子，結合線性計算的方式，降低模型内部結構的復雜度。全新架構下的 Yan 模型，将打開以往自然語言處理的 " 不可解釋黑盒 "，充分發掘決策過程的透明度和可解釋性，從而助力大模型在醫療、金融、法律等高風險領網域的廣泛運用。
會上，岩芯數智 CEO 劉凡平表示：" 我們期望 Yan 架構可作為人工智能領網域的基礎設施，并以此建立 AI 領網域的開發者生态，最終讓任何人在任何設備上都能使用通用大模型，獲取更加經濟、便捷、安全的 AI 服務。"
