今天小編分享的科學經驗：Transformer作者預警：只賣模型玩不過OpenAI！，歡迎閲讀。
Transformer八子中最年輕的Aidan Gomez在最新的采訪中感嘆：
只賣模型真的不賺錢！
谷歌版的Aidan Gomez，是給AI領網域帶來深遠影響的Transformer作者之一。
而現在的Aidan Gomez，是估值飙升55億美元的Cohere公司的聯合創始人兼CEO。（此前推出了Command R系列開源大模型）
在這次與20VC主理人Harry Stebbings的對話中，Aidan Gomez大談特談AI的發展趨勢。
其中的一些話題引發了網友們的關注和讨論，例如：
模型性能提升，規模非唯一途徑
只賣模型無法和OpenAI抗衡
AI創業公司不要依賴雲廠商
看好機器人領網域，預言5年内将迎來大突破
數據質量對模型來説至關重要
更多具體内容，且看下面的文字版分享~
算力之外，數據與模型創新亦能提AI性能
Q：開始之前，我想問你一個問題，你小的時候喜不喜歡玩遊戲呢？
Aidan Gomez：我确實喜歡遊戲，我從小就喜歡科技。
Q：也就是説你絕不會在一款遊戲中從一個非常困難的第一關開始，讓人覺得"不可能完成，我不想玩了"。
Aidan Gomez：是的，這在機器學習中被稱為"課程學習"。你要先教模型做一些非常簡單的事情，然後逐步增加復雜性，基于已有的知識構建。
有趣的是，課程學習在機器學習中實際上是失敗的。我們并沒有真正進行課程學習，而是把最難和最簡單的材料同時抛給模型，讓它自己去弄明白。
但對人類來説，這種方式非常有效，是我們學習的重要組成部分。看到它在機器學習中沒有取得成功，真的很有趣。
Q：你剛才説到直接把所有東西抛給模型，我想直接深入探讨這個問題，很多人説只需要更多的計算能力，性能就會提升。你認為這是正确的嗎？我們是否還有其他因素在限制性能的提升？
Aidan Gomez：确實，如果你給模型增加更多的計算能力，或者讓模型更大，它确實會變得更好。這是提高模型性能最可靠的方式，但也是最笨的。
對于那些資金充足的人來説，這是一個非常有吸引力的策略，風險極低。你知道它會變得更好，只需擴展模型，花更多錢，購買更多的計算能力。我相信這一點，只是覺得這樣做極其低效。
有更好的方法。如果你看看過去一年半的時間，比如從ChatGPT發布到現在GPT-4發布的時間段。如GPT-4确實像他們所説的那樣有1.7萬億參數，它是一個巨大的MoE。
我們現在有比這個模型更好的模型，它們只有130億參數。所以這種變化的速度，或者説成本迅速下降的程度，簡直是不可思議的，甚至有些超現實。
所以是的，你可以通過擴展規模來達到模型的質量，但可能不應該這麼做。
Q：這樣的進步會繼續保持嗎？我的意思是，我們會繼續看到這種規模上的進步嗎？還是它會在某個時候達到瓶頸？
Aidan Gomez：是的，這确實需要指數級的投入。你需要不斷地加倍計算能力才能維持智力上的線性增長。但這種增長可能會持續非常、非常、非常長的時間。
它會變得越來越聰明。但是你會遇到經濟上的限制。并不是很多人購買了最初的GPT-4，特别是很多企業因為它非常龐大，非常昂貴，運行效率低下，成本高昂，而它的智能不足以證明這種成本的合理性。
所以，市場上有很大的壓力，要讓模型變得更小、更高效，通過數據和算法、方法來讓模型更聰明，而不僅僅是依賴規模的擴大。
Q：在我們生活的這個世界裏，有更小、更高效的垂直化模型，這些模型設計用于特定的用例，是否會出現幾個大型的、統治一切的模型？還是會兩者兼有？
Aidan Gomez：我們在過去幾年中看到的一種趨勢是，人們喜歡用一個通用的、智能的模型進行原型設計。他們不想用一個特定的模型進行原型設計，不想花時間微調模型來使其在他們關心的事情上特别出色。
他們想要的是抓住一個昂貴的大模型，用它來做原型設計，證明它可以完成任務，然後将其提煉成一個在特定領網域表現出色的高效模型。所以這種模式真的出現了。
因此，我們将繼續生活在一個多模型共存的世界中，一些模型是垂直化和專注的，另一些則是完全橫向的。
Q：比如説，現在OpenAI花費了30億美元。你怎麼能在這場競賽中保持自己的位置，除非你是微軟、Amazon、Google、Facebook這樣的公司？
Aidan Gomez：如果你只是做規模化的項目，你确實需要成為這些公司中的一個，或者成為這些公司旗下的一個子公司。但是，還有很多其他事情可以做。
如果你不完全依賴規模化作為唯一的前進路徑，如果你相信數據創新或模型和方法創新，還有很多可以探索的方向。
Q：我們可以深入探讨一下什麼是數據創新和模型及方法的創新嗎？
Aidan Gomez：幾乎我們在開源領網域看到的所有重大進展都來自數據的改進。通過從互聯網上獲取更高質量的數據、改進網頁抓取算法、解析網頁、提取出重要部分、提升互聯網上特定部分的權重，因為互聯網上有很多重復和垃圾内容。
通過提取最有價值的、知識豐富的部分，并強調給模型，以及生成合成數據的能力，這些都讓我們能夠獲取大量的文本或網頁内容，而無需人類參與，這些數據是由模型自動生成的。
這些創新，特别是提高數據質量的能力，推動了我們目前看到的大部分進展。
Q：好的，這是數據創新，那模型創新呢？
Aidan Gomez：這涉及到像新的強化學習算法。你知道，有很多關于Q*的傳聞，以及它可能帶來的變化。圍繞搜索的想法，比如如何搜索解決方案。
當前模型的狀态是我問你一個問題，你的模型需要立即給出正确答案。這對模型來説是一個極其苛刻的要求，對吧？
你不能對人類這樣做，你不能問一個人一個難題，然後期望他們立即吐出答案。他們需要時間去思考和處理。
Q：他們有時還需要一點頭腦風暴時間。
Aidan Gomez：對，确實需要。所以，模型的一個非常明顯的下一個發展步驟就是，你需要讓它們思考和解決問題。你需要讓它們犯錯，嘗試一些東西，失敗了，理解為什麼失敗，然後回溯再試一次。
目前，模型中并沒有解決問題的概念。
Q：你提到的解決問題，這是否與推理是同一個概念？
Aidan Gomez：是的。
Q：為什麼推理這麼難？為什麼我們現在還沒有推理的概念？
Aidan Gomez：推理并不難，難的是我們在互聯網上沒有太多展示推理過程的訓練數據。互聯網上大多是推理過程的輸出結果。
當你在網上寫東西時，你不會展示你的思考過程，而是直接展示你的結論，展示你的想法，而這些都是經過大量思考、經驗和讨論後的結果。
所以我們缺乏這樣的訓練數據，它不是免費提供的，你必須自己構建。因此，像Cohere、OpenAI和Anthropic這樣的公司正在做的就是收集展示人類推理過程的數據。
只賣模型，玩不過OpenAI
Q：説到這，我想知道你如何看待與OpenAI的用户生成内容計劃競争呢？
Aidan Gomez：這很難，特别是在企業領網域，我們面臨着一個巨大的挑戰：客户數據的私密性和保密性。
他們視數據為知識產權，包含大量機密信息，因此不允許我們使用這些數據進行訓練。我完全理解這種立場。為此，我們将重點轉向合成數據，并在此領網域投入了大量資源。
我們還組建了一個人類注釋員團隊，并與Scale AI建立了合作關系。盡管這給我們帶來了不小的壓力，但因為我們并非面向消費者的公司，我們必須自行生成數據。
所幸的是，我們的專注範圍相對較小，主要集中在企業需求明确的領網域，如自動化财務和人力資源功能。這使得我們能夠更深入地研究和滿足這些特定需求。
展望未來十年，合成數據市場将如何發展？是否會被少數幾家供應商所主導？目前看來，大語言模型API市場主要由合成數據驅動，許多人利用昂貴的大型模型生成數據，以優化更小、更高效的模型。
這種模式是否可持續尚不确定，但我相信，随着新任務、新問題和數據需求的不斷湧現，無論是來自模型還是人類，我們都必須适應并滿足這些需求。
Q：那麼合成數據市場會是什麼樣子？它會被兩到三家供應商主導嗎？
Aidan Gomez：我聽説當前的大模型API市場主要由合成數據主導。大多數人都是使用這些大型昂貴的模型生成數據，然後用這些數據來微調更小、更高效的模型。
所以他們基本上是在提煉更大的模型。我不知道這種模式作為市場是否可持續。但我确實認為，總會有新的任務、新的問題或新的數據需求，無論這些數據來自模型還是人類，我們都必須滿足這些需求。
Q：有一件事讓我感到擔憂，或者説讓我感到猶豫。你看到OpenAI在進行價格競争，你看到像Meta這樣的公司免費發布模型，同時也沒有對開源和開放生态系統的價值進行明确説明。
我們是否正在看到這些模型價值的真正下降？這是不是一場競相降低價格、甚至是競相歸零的競争？
Aidan Gomez：如果你只是賣模型，那麼在接下來的一段時間裏，這将是一場非常艱難的遊戲。這不會是一個小市場。
Q：會有很多人只是賣模型，還有一些人會賣模型以及其他東西。
Aidan Gomez：我不想點名，但可以説，比如Cohere，現在只賣模型。我們有一個API，你可以通過這個API訪問我們的模型。
這種情況很快就會改變。產品格局将會發生變化，我們會在現有產品基礎上增加新的東西。如果你只賣模型，情況會很困難，因為這将變成一個零利潤的業務，價格競争太激烈了。很多人免費提供模型。
盡管如此，它仍然會是一項大業務，市場需求增長非常迅速。但至少在現階段，利潤會非常微薄。
這就是為什麼在應用層面有很多興奮點。市場上的讨論是正确的，指出價值正在芯片層以下發生，因為一開始每個人都在芯片上投入大量資金來構建這些模型，然後在應用層面上看到價值的體現，比如ChatGPT，它按用户收費，每月20美元。
這似乎是目前價值發生的地方。模型層在長期來看是一個有吸引力的業務，但在短期内，按照現狀，它是一個利潤非常低、商品化的業務。
AI創業公司不要成為雲廠商的附庸
Q：現在許多人認為初創公司進入AI模型領網域為時已晚。然而，随着成本障礙的降低，這是否反而使得初創公司更容易進入這一領網域？
Aidan Gomez：确實，每年構建去年的模型成本都會下降10倍甚至100倍。得益于更優質的數據和更廉價的計算資源，進入上一代模型的門檻降低了。
但問題是，沒人真正關心那些過時的模型。與今年的模型相比，去年的模型幾乎毫無價值。每一次技術進步都會讓舊技術迅速變得陳舊，AI開發的成本正在急劇上升。
開發版本1可能只需1000萬美元，但要使版本2略有改進，可能就得再投入100萬至200萬美元。而現在，開發一個新模型可能需要30億美元，更新它甚至可能需要50億美元。
這種增長不再是線性的，而是呈數量級變化。我不确定新一代技術的開發是否總是比上一代更便宜。以芯片和其他復雜技術為例，盡管開發成本在上升，但我們仍在繼續研發，因為這是值得的。
Q：所以你的意思是，人們其實并不關心那些改進是否持續有效？
Aidan Gomez：沒錯。我説的是，改進這些模型變得越來越困難，遇到的阻力也越來越大。另一個有趣的現象是，随着模型變得越來越智能，普通人（也包括我）區分它們之間差異的能力卻在下降。
因為我們在醫學、數學、物理學等方面的專業知識有限，無法真正感受到這些變化。模型在基礎知識方面已經做得非常出色了，這正是我們所能達到的知識水平。
因此，當我們與它們互動時，很難感受到不同代際模型之間的差異。但實際上，這些模型在某些特定能力或純粹的智能方面有着巨大的進步。
至于是否值得繼續投入大量資金推動技術前進，我認為答案是肯定的。即使對于普通消費者來説，這些技術可能并不重要，但對于某些專業領網域的研究人員來説卻非常有價值。
我們通過提供這些工具來幫助他們取得更多進展。這就像問我們是否應該繼續投資下一代技術一樣，比如為飛船創造一種新材料以提高其進入軌道的效率。
盡管這對大多數人來説可能無關緊要，但對于那些需要它的人來説卻非常重要，而且有市場需求，這就是技術進步得以持續的動力。
Q：我們再次回到成本問題上來。顯然，成本很高且未來還會繼續增加。你之前提到了"有效的附屬公司"這個概念。
現在許多公司被收購或合并，而雲服務作為持續增長的動力也備受關注。你認為在未來三到五年内，大多數小型模型提供商會被大型雲服務提供商收購嗎？
Aidan Gomez：我認為這個領網域确實會經歷一次整合，而且已經開始發生了。許多模型開發者已經被大型雲服務提供商如Amazon吸納。
我相信未來這種情況還會更多。但需要注意的是，成為雲服務提供商的附屬公司可能會帶來風險。對于業務發展來説，這并不是一個好現象。
通常情況下，為了籌集資金，你需要説服那些只關心資本回報率的投資者。但當你從雲服務提供商那裏籌集資金時，情況就完全不同了。
Q：那麼你認為過去幾年中風險投資者從模型投資中賺到錢了嗎？
Aidan Gomez：對于Cohere的投資者來説，他們肯定會賺很多錢。
我為那些相信我們的人感到高興。我們的第一位投資者Radical Ventures的Jordan Jacobs現在仍然在我們的董事會中，并且非常積極地參與公司的建設。我甚至稱他為Cohere的第四位聯合創始人。
Q：最近有媒體報道稱公司估值略高于5.5億美元，這會給你帶來壓力嗎？
Aidan Gomez：這确實是一種壓力，但同時也是種積極的壓力。最終每個公司都會面臨收入倍數的考量，最終與公共市場的倍數趨同。
我認為我們的情況實際上比許多同行要好得多。因為我們的估值并沒有像其他一些公司那樣瘋狂增長。當然我們還需要繼續發展壯大，但我對市場充滿信心。
目前由于價格競争和免費模型的存在利潤率受到一定壓力但随着時間的推移這種情況會有所改變。同時Cohere的產品組合也将不斷進化和發展。
沒有任何東西能取代人類
Q：假如你現在是20VC的投資人，你認為機會在哪裏？
Aidan Gomez：產品領網域、應用領網域仍然非常有吸引力。這些技術将會帶來新的產品，它們将改變社交媒體。人們喜歡與這些模型交流，使用時間非常驚人。
Q：你覺得這是件好事嗎？我不希望我的孩子生活在一個他們與生成式系統交流、模仿人類的世界中。我不希望他們從與一個模型的對話中獲得滿足感。
Aidan Gomez：你可能錯了。你可能希望你的孩子能夠與一個極其富有同情心、非常聰明、知識淵博、安全的智能體交流。
它可以教給他們東西，和他們一起玩，它不會對他們發脾氣，不會對他們發火，不會欺負他們，不會讓他們產生不安全感。
當然，沒有任何東西能取代人類。沒有什麼可以取代人類的世界，我們不會突然間全都開始與ChatBot約會，導致人類出生率下降。
我不認為會發生這種情況，對吧？我想要一個孩子，我不能和一個ChatBot一起生孩子。
人類伴侶對我來説比任何ChatBot都要寶貴得多。就像在職場中，我不認為我們能夠完全取代人類。AI會增強人類的能力，使人類變得更加高效，但這并不意味着工作崗位會減少。
你無法取代人類。想想銷售吧，如果我是由一個機器人推銷的，我是不會買的。就是這麼簡單，我不想和機器對話。
當然，某些簡單的購買可能可以由機器人處理，但對于那些對我和我的公司來説非常重要的購買，我希望另一方是一個可以負責的真人。
如果出現問題，我需要一個有權力進行幹預的人。所以我真的認為，無論是在消費端，我們是否會沉迷于與ChatBot 對話，還是在工作端，工作将會消失，導致大規模失業，我都看不到這些情況發生。
Q：我同意你的觀點，但我确實擔心低端崗位，比如説一個客户服務團隊可能會失去70%到80%的員工，肯定會有局部的替代現象。
Aidan Gomez：肯定會有局部的替代發生。但總體上，這将是增長，而不是替代。某些角色确實容易受到技術的影響，客户支持就是其中之一。
但最終，仍然需要有人來做這些工作，只是數量可能會比今天少。但客户支持是一個艱難的角色，這是一個心理上非常消耗人的工作。如果你曾經聽過那些電話錄音，你就會知道這是一份情感上非常消耗的工作。
Q：是的，這有點像社交媒體平台上的内容審核，那在很多方面也是一種心理創傷。
Aidan Gomez：每天你醒來，去工作，整天被人罵，還得道歉。所以，也許我們應該讓模型處理這些對話，而讓人類來處理那些真正需要人類幫助的客户支持問題，比如説，解決某個問題，沒有情緒化的抱怨，而是有機會讓這個人的生活變得更好。
AI的下一個大突破将出現在機器人領網域
Q：你認為AI今天還不能做什麼，但在三年内将會成為現實并帶來巨大變革？
Aidan Gomez：AI的下一個大突破将出現在機器人領網域。成本需要降低，但成本已經在下降。然後我們需要更強大的模型。
Q：為什麼你認為機器人領網域将會有大的突破？
Aidan Gomez：因為很多障礙已經消失了。之前機器人的推理者和規劃者非常脆弱，你必須為每個任務編程，它們被硬編碼到特定的環境中。
所以你必須有一個布局完全一致的廚房，尺寸相同，沒有任何不同的地方，這非常脆弱。但在研究方面，通過使用基礎模型、語言模型，人們實際上開發出了更好的規劃者，它們能夠更自然地推理世界。
所以已經有很多公司在研究這方面，可能很快就會有人破解通用人形機器人的難題，使其價格便宜且更加穩定。
這将會是一個巨大的轉變。我不知道這是在未來五年内發生，還是十年内發生，但它肯定會在這個時間範圍内出現。
數據質量不能忽視
Q：今天和你聊天真的很有意思。我想進行一個快問快答，我給出一個陳述，你立刻給出你的想法
在過去的12個月裏，你對什麼改變了最大的看法？
Aidan Gomez：數據的重要性。我嚴重低估了它。我曾經認為一切都在于規模化，但在Cohere内部發生的許多事情徹底改變了我對構建這項技術的重要性因素的理解。
數據質量至關重要。質量，比如在數十億個數據點中，一個錯誤的例子就能對模型產生顯著影響。這有點不真實，模型對數據的敏感性是如此之高，每個人都低估了這一點。
Q：到目前為止，你們公司共籌集了多少資金？
Aidan Gomez：大約10億美元。
Q：哪一輪籌資最容易？
Aidan Gomez：可能是第一輪。那時就像一場簡單的對話，他們説："給你幾百萬美元，試試吧。"所以我覺得那輪融資相當輕松。
Q：籌集5億美元時，過程肯定更復雜。當你看到5億美元到賬時，是不是有點難以置信？
Aidan Gomez：确實有點。比如每年2500萬美元，雖然具體數字我不确定，但這确實是一大筆錢。Cohere改變了我對經濟和金錢的看法，現在5億美元對我來説已經不算什麼大數字了。
Q：這讓你感到擔憂嗎？
Aidan Gomez：不，這是我們戰略的一部分。如果我們願意接受那樣的條件，我們可以接受。但我們的戰略是保持獨立，自主發展。
Q：如果你能選擇任何一位世界級的董事會成員，你會選誰？
Aidan Gomez：Mike Volpi和Jordan Jacobs，他們現在是我的董事會成員。
Q：為什麼你覺得Mike是個優秀的董事會成員？
Aidan Gomez：Mike非常出色，他似乎經歷過一切。我可以向他請教幾乎任何問題，他都有過類似的經歷，并能給出寶貴建議。
Q：Jeff Hinton和Yann LeCun，你更傾向于誰？
Aidan Gomez：肯定是Jeff，我和他的私人關系更親密。
Q：你認為Yann過于樂觀了嗎？
Aidan Gomez：不，我更贊同Yann對AI的看法。Jeff更偏向于末日預言，而Yann則更樂觀。雖然Yann現在有點像Elon Musk的"回復哥"，但Jeff确實是個聰明且有思想的人。
Q：最後一個問題，你覺得你從未被問過但應該被問的問題是什麼？
Aidan Gomez：人們總是問我技術的未來和潛在風險，但很少讨論技術帶來的機會。
Q：那你希望技術的未來走向何方？
Aidan Gomez：我認為我們應該利用技術提高世界生產力，增加供應并使事物變得更豐富、更便宜。生產力可能聽起來不太吸引人，但如果将5%的生產力提升應用于NHS。
這将對國家狀況、預算和數百萬人生活產生重大影響。所以我認為我們的首要任務應該是提高生產力和增長。
視頻地址：
https://www.youtube.com/watch?v=FUGosOgiTeI
— 完 —
量子位年度AI主題策劃正在征集中！
歡迎投稿專題 一千零一個AI應用，365行AI落地方案
或與我們分享你在尋找的AI產品，或發現的AI新動向
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
