今天小編分享的科技經驗：專訪亞馬遜雲科技 AI 科學總監：Scaling Law 是否依然有效，歡迎閲讀。
今天基礎大模型領網域呈現出「一超多強」的行業格局，OpenAI 依然占據着王座，但 Meta 的 Llama、谷歌的 Gemini、Anthropic 的 Claude，以及 Luma、Suno 等垂類模型「列強」，也在過去一年裏快速發展迭代，甚至在細分領網域實現了對 OpenAI 的彎道超車。
最近，一個新玩家加入到這一陣營。剛剛結束的 re:Invent 2024 大會期間，亞馬遜正式發布新一代 Nova 系列大模型，其中既有高性價比的實用模型，也有可用于定制模型蒸餾的「高性能模型」。同時還提出了 Any to Any 的新理念，要在明年實現從多種模态輸入到多種模态輸出的自由 AI 生成。
該模型的訓練是由亞馬遜雲科技團隊主導，作為全球最大的雲計算平台和基礎設施服務供應商，亞馬遜雲科技在 re:Invent 2024 期間發布了一系列涉及 AI 基礎設施、AI 應用開發、再到實用 AI 應用的技術更新。
Sherry Marcus 博士是亞馬遜雲科技生成式 AI 科學總監，她領導的團隊主要負責 RAG（Retrieval-Augmented Generation，檢索增強生成）Agent 和模型蒸餾等工作，同時她也非常熟悉新發布的 Nova 系列模型，以及 Amazon Q 等 AI 應用。
在 re:Invent 2024 期間，極客公園等國内媒體采訪了 Marcus 博士，她向我們分享了關于 Nova 的技術特點、未來方向，以及她對模型蒸餾、消除幻覺、Scaling Law 等行業熱點話題的思考。
Sherry Marcus 丨來自：亞馬遜雲科技
以下是采訪内容，由極客公園整理。
Sherry Marcus：我的團隊主要負責一些具體的技術工作，比如 RAG Agent 和模型蒸餾等。感謝大家今天的到來。
問：你們在推出 Q for Business 這個產品線時，是否達到了預期目标？
Sherry Marcus：你可以把它看作一系列基于 Amazon Bedrock 的應用程式，這些程式包括預定義的 RAG 模型等一系列能力。客户可以利用這些技術來開發他們自己的應用程式。實際上，我們已經在客户滲透方面取得了不錯的成績，并且還提供了一些基于 Amazon Bedrock 的衍生產品。我們通過多種方式為客户提供解決方案，具體方式取決于他們的數據需求。
問：關于 AI 幻覺問題，你們有哪些解決方案？
Sherry Marcus：我們有解決方案應對 AI 幻覺問題。今天你可能在 Matt 的主旨演講中聽到了，我們推出了「自動推理」能力（Automated Reasoning），以确保大語言模型的正确性。目前，已有一些用户的實際應用案例，尤其是在安全和基礎設施建設等領網域，我們提供了相關解決方案。
此外，我們還有一個名為「上下文語境打磨」（Contextual Grinding）的解決方案，它确保大語言模型在基礎原理和真實信息的基礎上判斷輸出内容的準确性，以減少 AI 幻覺。雖然無法保證 100% 的消除幻覺，但目前我們的方案已經在行業中處于領先水平。
問：能否談談面向合作夥伴的 Bedrock Marketplace for Partner？
Sherry Marcus：這個目前還不能對外發布，明天的主題演講後才會有相關信息。不過，我可以簡單介紹一下。Bedrock Marketplace for Partner 允許模型供應商向平台提供他們的模型。客户可以在 Amazon Bedrock 上使用這些模型，以實現多種功能應用。它是 Bedrock 平台的一個戰略支柱，旨在為客户提供盡可能多的模型選擇。
問：你們已經有一些重大的模型供應商加入了對嗎？那麼合作夥伴如果使用這個 Marketplace，是進行銷售嗎？具體是怎麼操作的？
Sherry Marcus：是的，合作夥伴是模型的開發者，若其他客户在 Bedrock 上使用了他們的模型，合作夥伴就能獲得收益。這個 Marketplace 主要面向大語言模型供應商，他們通過向 Bedrock 提供 API 來獲利。我們有多個 Marketplace，而你提到的這個 Marketplace 只針對大語言模型的開發者。明天 Swami 的演講會有更多具體信息。
問：如果在使用合作夥伴模型時，出現安全或其他問題，責任如何劃分？
Sherry Marcus：我們會共同分擔責任。大多數模型供應商在發布之前會進行微調，針對偏見和常見攻擊行為進行防護，這是他們的「零層防御」。在模型進入 Amazon Bedrock 之前，我們會對其進行忠實性、無偏性、穩定性和安全性測試。第二，針對使用這些模型的客户，我們提供了一個名為「Guardrail」的服務，客户可以根據需求制定更高的安全标準，甚至規定一些無法讨論的敏感話題。
問：現在很多用户都會将 Nova 與 ChatGPT 等工具進行對比。你覺得 Nova 與其他工具相比，有哪些獨到之處？
Sherry Marcus：Nova 的設計考慮了客户需求的三個核心點：低成本、低時延和高準确性。在構建 Nova 時，我們成功地降低了成本，同時确保其準确性與其他模型相當，成本比其他模型低 75%。這對于市場來説非常有吸引力，因為很多進入市場的壁壘實際上就是成本。如果能降低成本，客户的購買意願會更強。此外，Nova 是一個全新的系列，它與 Titan 不同，采用了新的專業知識和學術積累，因此與競争對手相比，Nova 具有很強的競争力。
問：關于 Nova 的更新計劃，你們有什麼打算？與競争對手相比，如何保持更新速度？
Sherry Marcus：是的，我也注意到大模型的更新速度非常快，比如從 LLAMA 2 到 LLAMA 3 僅用了三個月。Nova 的更新計劃是盡量與競争對手保持相似的速度，但亞馬遜的方式有所不同。我們非常注重與客户的合作，在推新功能和提升性能時，更多地依據客户在使用 Nova 後的反饋來做調整，這也是我們的不同之處。
問：Scaling Law 是否依然有效？為什麼？
Sherry Marcus：是的，Scaling Law 依然有效。我認為這是一個數據問題。神經網絡越大，準确度就越高。這實際上和我們所訓練的數據集有關，語義數據的積累能讓 Scaling Law 更有效。數據來源不斷豐富，也使得訓練和微調大語言模型變得更加高效。盡管生成的數據可以用于訓練，但如果用來訓練一個大模型，其效率會降低。
問：企業用户在使用大模型時，可能會遇到數據質量不高的問題。如何更好地利用行業已有的模型支持客户開發小型模型？
Sherry Marcus：我們建議使用「教師模型」（supervised teacher model）并采用蒸餾技術。通過這種方法，學生模型可以像教師模型一樣準确，盡管它通常基于行業特定的應用場景。蒸餾能夠幫助提高小模型的準确性，同時避免使用過于龐大的數據集。
問：大模型會不會取代小模型，尤其是在 AI 產品質檢領網域？
Sherry Marcus：不會，我相信兩者會并存。在一些特定任務中，仍然會使用小模型，而大模型會通過 API 調用小模型來執行一些圖形檢索等任務。小模型對于特定的應用場景非常有幫助，可以降低成本、減少時延并提高性能。
問：Nova 的典型客户有哪些？
Sherry Marcus：目前，Nova 的用户覆蓋廣泛，從财富 100 強的大企業到初創公司都有。他們都在使用 Amazon Bedrock。Nova 特别适用于需要推理能力的場景，例如金融行業的對話和信息匯總，涉及從自然語言到 SQL 的轉換，以及背後的計算需求。
