今天小編分享的科學經驗：讓大學生跑語言大模型，這場世界超算競賽剛結束，北大首次奪冠，歡迎閱讀。
第十屆ASC 世界大學生超算競賽總決賽，終于在中國科學技術大學落下帷幕。
北京大學首次獲得 ASC 決賽冠軍，而東道主中國科學技術大學獲得亞軍，香港中文大學獲得線上競賽冠軍。
ASC 世界大學生超級計算機競賽，是由中國在 2012 年發起的世界最大規模的大學生超算競賽，與美國 SC、德國 ISC 并稱全球三大超算競賽，今年正好是 ASC 第 10 屆。
大語言模型成關注熱門
今年的 ASC 決賽正式比賽在 5 月 8 日和 9 日兩天進行，參賽隊伍是從初賽 300 支隊伍隊伍中脫穎而出的 24 支隊伍。
其中有 20 支來自中國大陸高校的隊伍，在中科大體育館内完成線下比賽；另外 4 支來自港台和國外的隊伍，則借助雲計算資源完成線上比賽。
各高校參賽隊伍需要在 2 天内完成 6 道賽題，時間緊任務重，任何失誤都可能導致與冠軍失之交臂，這也是 ASC 過去歷屆黑馬頻出的原因。
由于今年 ChatGPT 火熱，今年的大語言模型題受到了組委會和媒體的重點關注，這道題的優勝者也将獲得本屆 ASC 的e Prize 計算挑戰獎。
ASC 組委會提供了 100GB 的高質量中文數據集，要求參賽隊基于這一數據集實現 15 億、179 億參數兩個模型的訓練。
參賽隊伍需要自行合理設計模型訓練策略，在追求極致性能的同時，還要滿足精度約束等嚴苛條件。
中國科學技術大學隊伍運用多種業界前沿的大模型并行策略、顯存優化方法，最終獲得了這道賽題的最高分，奪得本屆 ASC e Prize 計算挑戰獎。
中科大選手吳天銘表示：" 這道賽題是在 ChatGPT 火起來之前就出來了，我們為此做了很多功課。不久後 ChatGPT 爆火，我們就已提前理解了它是怎麼運作的，所以覺得 ChatGPT ‘神奇也不神奇’。"
聚焦 AI、量子計算前沿課題
除了大語言模型外，本屆 ASC 也聚焦于其他業界前沿問題。比如此前谷歌實現量子優越性的量子計算芯片 " 懸鈴木 "，參賽選手需要在超算上模拟該芯片的量子采樣問題。
谷歌曾宣稱在傳統超算上，這個問題需要運行 1 萬年，而參賽選手需通過基于張量網絡的量子模拟算法實現 10 億倍的性能提升，将模拟時間縮短至 10 秒。
這道題也成為了本屆大賽的超級團隊賽項目，即 5 個線下隊伍與 1 個線上隊伍組隊完成，讓各高校之間不僅是競争對手，也是合作夥伴，極大地考驗選手們的協作溝通能力。
此外，每屆大賽必不可少的 " 跑分 " 競賽項目也如期上演。
在 HPL&HPCG 基準測試這道題中，各參賽隊伍需要自行設計超算系統，在總功耗 3000W 約束下正确完成各項計算任務。
浙江大學以 109 萬億次 / 秒的 HPL 持續浮點運算性能，獲得本屆 ASC最高計算性能獎。
