比人類算法快70%！谷歌DeepMind用AI改進數據排序，登上Nature

今天小編分享的科技經驗：比人類算法快70%！谷歌DeepMind用AI改進數據排序，登上Nature，歡迎閲讀。

智東西（公眾号：zhidxcom）

編譯 | 程茜

編輯 | 心緣

智東西 6 月 8 日消息，昨晚，人工智能研究實驗室 Google DeepMind 發布三大 AI 工具 AlphaZero、MuZero、AlphaDev，這些工具可以提高數據中心資源利用率、提升視頻壓縮效率、發現更快算法，從而優化整個計算生态系統。

昨天，AlphaDev 的相關進展已經登上國際學術頂刊 Nature。AlphaZero 的專用版本 AlphaDev 還發現了新算法，可以将短元素序列的排序效率提高 70%。

現在，AlphaDev 的新排序算法已發布到 C++ 庫中。Google DeepMind 的博客稱，這是十多年來排序庫算法的第一次變化，也是第一次将通過強化學習設計的算法添加到該庫中。散列算法也已經發布到開源 Abseil 庫中。

C++ 庫開源鏈接：https://reviews.llvm.org/D118029

論文鏈接：https://www.nature.com/articles/s41586-023-06004-9

Google DeepMind 正在努力創建對世界具有廣泛理解的 AI 工具來優化計算生态系統，作為構建更加強大和通用人工智能系統的一部分。

研究人員還在擴展基于強化學習的谷歌 AI 模型 AlphaZero、MuZero 的能力，用來幫助優化數據中心的視頻壓縮，使得數據中心未充分利用的硬體數量減少 19%，以及在不損失視頻質量的同時，進一步降低比特率。

這些工具目前實現了整個計算生态系統中效率的提升，但這些結果也證明了未來更通用的人工智能工具具有變革的潛力。

一、AlphaDev：排序效率提升 70%、檢索效率提升 30%，數百萬開發人員已應用

此前，Google DeepMind 開發了一個用于玩圍棋遊戲的 AI 系統 AlphaZero，現在研究人員将這一系統應用到了構建算法排序中打造了 AlphaDev，其結果顯示，AlphaDev 創建的算法在轉換為标準編程語言 C++ 時，排序數據的速度是人類生成版本的三倍。

" 我們有點震驚。" 領導這項工作的 Google DeepMind 計算機科學家 Daniel Mankowitz 説，" 起初我們不相信（這個結果）。"

AlphaDev 可以被用于快速排序（faster sorting）和散列算法（hashing algorithms），這兩種算法每天會被使用數萬億次來對數據進行排序、存儲、檢索。

1、下象棋到找算法，短元素排序效率提高 70%

排序算法會影響所有數字設備處理和顯示信息的方式，包括一些在線搜索結果的呈現、社交媒體上帖子的排名以及一些用户推薦内容。

AlphaDev 研發了一種可以提升排序效率的算法，并且該算法與 C++ 庫中人類設計的算法相比可以将短元素序列的排序效率提高 70%，将超過 25 萬個元素的序列排序效率提高約 1.7%。這也使得當用户提交搜索查詢時，AlphaDev 的算法可以快速對結果進行排序，以更快找到與用户搜索相關度高的答案。

剛開始，研究人員将 AlphaDev 應用于按大小對數字進行排序的任務，剛開始只是讓其一次對 3、4、5 個數字進行排序，這對于後續讓其進行較多數字排序很重要。

▲對兩個數字進行排序

AlphaDev 的工作方式與 AlphaZero 類似，後者結合了計算機版本的深思熟慮和直覺來選擇棋盤遊戲中的動作。AlphaDev 則不會選擇動作，它會選擇指令添加到一個過程中。

AlphaDev 通過從頭開始而不是改進現有算法來發現更快的算法，并且它會關注計算機的匯編指令。匯編指令用于為計算機創建二進制代碼以執行操作，Google DeepMind 的研究人員認為，在這個較低層次上會有很多可以改進的地方。

在構建算法時，AlphaDev 會通過将算法的輸出與預期結果進行比較來檢查它是否正确。對于排序算法，這意味着無序數字進入，正确排序的數字出來。研究人員會獎勵 AlphaDev 對數字的正确排序以及排序的速度和效率。

2、數據存儲節省近 70% 時間，算法已經開源

Google DeepMind 團隊還将 AlphaDev 應用于非排序算法，它用于将特定格式存儲的數據轉換為字節的算法版本比标準版本少用了 67% 的時間，用于數據存儲和檢索的散列算法比标準算法花費的時間少 30%。

散列信息算法通常用于在數據庫中進行存儲和檢索。散列算法通常使用一個關鍵詞來生成一個對應的唯一散列，這一散列就會對應于需要檢索的數據值，如輸入關鍵詞用户名 "Jane Doe"，會生成檢索對應的 " 訂單号 164335-87"。

一個較為相似的場景是，圖書管理員通過分類系統來快速查找特定書籍，計算機借助散列算法，就可以快速理解它要找什麼以及在哪裏能找到。

▲輸入關鍵詞檢索對應數據值

當應用于數據中心 9-16 字節範圍的散列算法時，AlphaDev 的算法能将檢索效率提升 30%。

去年 1 月，Google DeepMind 的研究人員在 LLVM 項目的 C++ 标準庫中發布了基于機器學習的排序算法，在 Abseil 庫發布了散列算法，目前，已經有雲計算、在線購物、供應鏈管理等行業的數百萬開發人員和公司正在應用這些算法。

二、AlphaZero：優化數據中心資源，硬體充分利用率提高 19%

數據中心需要管理從提供搜索結果到處理數據集的一切任務。谷歌大規模集群管理系統 Borg 管理着谷歌的數十億個任務，同時這一系統還要去分配工作負載來優化數據中心的内部基礎設施，并處理谷歌搜索等用户使用的服務，管理批處理。

分配工作負載這一過程就像 Borg 在玩俄羅斯方塊，如何在有限的空間内，最大程度地放置更多的方塊，把空餘的位置都利用起來。

▲将分配工作負載比喻為俄羅斯方塊遊戲

此前，Borg 需要使用手動編碼的規則來安排任務，優化工作負載。但面對龐大如數十億個任務的規模時，這些手動編碼的規則無法考慮不斷變化的工作負載分布的多樣性，因此它們被設計為 " 最适合所有人的一種尺寸 "，也就是選擇了一個中間值。

在這一場景下，AlphaZero 就派上了用場，其構建的算法能夠自動創建單獨的最佳定制規則，這些規則使得 Borg 在分配工作負載時更加高效，能找到适合不同任務的規則。

研究人員在實驗期間發現，AlphaZero 還能識别進入數據中心的任務的模式，以及預測管理容量的最佳方法，并做出具有最佳長期結果的決策。

當 AlphaZero 應用于 Borg 時，研究人員的實驗表明，這種方法可以将未充分利用的硬體數量減少多達 19%，優化谷歌數據中心的資源利用率。

三、MuZero：編碼視頻圖片組，壓縮比特率降低 4%

在互聯網中，視頻流會占據其流量的相當大一部分，因此，如果能提升視頻傳輸的效率，将會對每天觀看視頻的數百萬人產生巨大影響。

去年，Google DeepMind 與視頻網站 YouTube 合作，通過 MuZero 來壓縮和傳輸視頻，其結果顯示，這一工具能在不影響視頻質量的情況下将比特率降低 4%。

早期，研究人員将 MuZero 應用于優化視頻中每個單獨幀的壓縮，現在，他們将其擴展至決定在編碼過程中如何對幀進行分組和引用。

最開始，MuZero 會定義要壓縮的 GOP（group of pictures，圖片組）幀，然後根據圖片的視覺相似性進行分組。MuZero 會将其中一個圖片組的關鍵幀進行壓縮，再參考關鍵幀去壓縮其它幀，在這一過程中，該算法會通過塊搜索（block search）來查找圖片中變化最小的區網域，使得壓縮效果更好還能保證視頻質量。