今天小編分享的互聯網經驗：ChatGPT“締造者”艾丹·戈麥斯：探索Transformer算法和AI感知的潛力，歡迎閲讀。
Cohere 聯合創始人艾丹 · 戈麥斯（Aidan Gomez）（圖片來源：多倫多大學）
艾丹 · 戈麥斯（Aidan Gomez）是一位著名的 AI 研究者，也是 Cohere 的聯合創始人。他是少數在 Google Brain 工作時創造 Transformer 算法的研究者之一。此次交流中，他談到了自己的經歷以及他的初創公司 Cohere，該公司以他早些時候的工作為基礎。
戈麥斯在加拿大長大，後來他去了多倫多大學學習。在那裏，他在大二的時候發現了人工智能，并開始狂熱地閲讀有關該主題的學術論文，是一名機器學習研究員和數學迷。
" 我變得痴迷，我就是日夜不停地閲讀論文，" 他回憶説。" 我會帶着一篇研究論文入睡。"
他在文獻中一直看到一個名字——傑夫 · 辛頓（Geoffrey Hinton ）——他的附屬機構也是多倫多大學，盡管辛頓早已停止教學。戈麥斯通過電子郵件與他聯系，向辛頓提出一個小技術問題。令他驚訝的是，辛頓回應了他，這位世界上最著名的 AI 研究者向一個當時還是匿名的大學生解釋了一個普通的問題。
在他的本科學習期間，戈麥斯前往科技創新的中心——硅谷——那裏他成為了著名的 Google Brain 團隊的一名實習生。在那裏，他與領網域内一些最聰明的人合作，包括在開發谷歌 TensorFlow 模型框架中發揮了重要作用的 Lukasz Kaiser。
"Kaiser 想把機器學習研究者們編譯的每一個數據集都放入一個模型中，使其在輸入和輸出方面都完全 Multi-model（多模态）。" 戈麥斯説。
為了支持這個項目，戈麥斯幫助建立了一個名為 Tensor2Tensor 的軟體基礎設施，該設施可以在成千上萬的 GPU 之間分配計算任務。他説，這主要集中于自回歸模型，特别是基于注意力的模型。" 我們聽説 Google 翻譯的一個團隊也對基于注意力的自回歸模型感興趣，Lukasz 説服他們過來，并在 Tensor2Tensor 上構建它。"
接下來的 10 周，我們一直在趕制這個模型。" 由于我們得到的結果非常出色，所以壓力只是越來越大，" 戈麥斯回憶道。" 這是早期非常成功、可以大規模擴展的架構之一，我們的大規模 GPU 集群帶來了極高的性能。"
" 沒人在睡覺；我每天工作 14 個小時編碼，建設這個基礎設施，使它更為健壯，運行實驗，這就是我們得到變壓器算法的方式。"
現在，Transformer 算法只有大約 20 行代碼。基本層是一個多層感知器（MLP），Transformer 實際上只是一些堆疊在一起的 MLP 和一個注意力層。在 Transformer 之前，有這些非常復雜的 LSTM 架構，沒有統一的架構。有了 Transformer，所有這些都被拆除，留下的是簡單的、表現良好的、可擴展的 " 内核 " 東西。
Transformer 算法為先進的自然語言處理打開了大門，使機器能夠理解和生成類似人類的語言。OpenAI 的首席科學家 Ilya Sutskever 立即利用它建立了第一個生成預訓練 Transformer 模型—— GPT，現在已經發展到第四代 GPT-4。Transformer 引領了正在改變世界的生成 AI 革命。
戈麥斯接着共同創立了一家公司，Cohere，目的是使人們能夠接觸到這種變革性的算法和圍繞它構建的大型語言模型。Cohere 致力于使 LLM（大型語言模型）盡可能地實用和有用，以滿足不同的垂直任務和行業的需要。
戈麥斯大部分時間都沒有參與關于生成式 AI（AIGC）對人類的威脅的辯論。但考慮到 AI 近期的顯著進步，戈麥斯表示，越來越難以否認機器獲得感知能力的想法。
随着 AI 感知潛力的展現，戈麥斯強調了負責任開發和倫理考慮的重要性。他呼籲 AI 社區以保護人類價值、隐私和社會福祉的承諾來面對進步。他相信，通過培養對 AI 開發的深思熟慮和透明的方法，我們可以減少風險，最大化它所提供的好處。（本文首發钛媒體 App）
更多精彩内容，關注钛媒體微信号（ID：taimeiti），或者下載钛媒體 App
