今天小編分享的科學經驗:北大學生優化清華系大模型,拿ASC全球超算大賽冠軍,歡迎閲讀。
北京大學再次衞冕!
第十一屆ASC 世界大學生超算競賽總決賽,在上海大學落下帷幕。
北京大學再次斬獲決賽冠軍,亞軍則被中山大學拿下。
經過前期初賽的角逐,來自多個國家和地區的 300 多支隊伍,有 25 支進入到了決賽現場,經過 5 天的激烈比拼,冠亞軍和包括大模型在内的各單項獎紛紛揭曉。
此外比賽中還設定了 " 超級團隊賽 ",來自西南石油大學、齊魯工業大學、南方科技大學、上海大學、香港理工大學的聯合團隊獲得了這一獎項,其中西南石油大學是首次殺入 ASC 決賽。
中國科學院錢德沛院士表示,通過參加 ASC 競賽這樣高水平的前沿科技競賽,(學生們)跨入超算大門,以賽代學,以賽促練,激發興趣,快速成長,來年必定會成為我國乃至全球超算事業的中堅力量,創造無限的可能。
那麼,此次的 ASC 競賽都設定了哪些題目呢?
超算競賽,不只是超算
ASC 世界大學生超級計算機競賽,由中國在 2012 年發起,與美國 SC、德國 ISC 并稱全球三大超算競賽,今年是第 11 屆。
參加決賽的 25 支隊伍需要用前兩天的時間,設計安裝小型超算集群,完成後便不能再對硬體進行改動。
後面的兩天,他們需要解決包括大模型在内的 7 道題目,涉及人工智能、行星科學、滲流力學、材料科學等不同學科,對算力的需求也不盡相同。
但比賽設定了3000 瓦的總功率限制,一旦爆表則成績取消,這對選手們對各個題目的預判有着嚴苛的要求,他們需要對 CPU 和 GPU 進行合理分配,才能在有限的功率下盡可能取得更高的綜合性能。
競賽中的一道題目是進行 " 跑分 " ——通過超級計算機浮點性能基準測試程式(HPL)來評估超算系統的計算性能。
ASC 競賽規則要求各參賽隊伍自行設計超算系統,在總功耗 3000W 約束下正确完成包括 HPL 計算性能基準測試在内的各項計算任務。
比賽中,來自浙江大學的隊伍獲得了該測試的單項第一名。
不過,要説超算競賽,就不能只説超算——
ASC 超算競賽題目涉及交叉學科,關注科學界的多種熱門話題,參賽選手也擁有不同的專業背景。
炙手可熱的大模型當然也不例外——從去年大模型熱潮湧現開始,ASC 就已将相關内容收錄成了賽題。
大模型依然炙手可熱
初賽階段,參賽隊伍要使用 FP16 或 BF16 精度,為知名開源大模型 Llama2-70B 構建并優化推理引擎,在組委會提供的 1 萬樣本數據集上實現盡可能高的推理吞吐量。
決賽階段,要求參賽隊伍基于智源研究院的開源大模型 AquilaChat2-34B,構建并優化推理引擎。
在組委會提供的樣本數據集上,選手需要使用4bit 及以下量化來進行推理,在保證精度的前提下提升推理速度。
要想在這道賽題中取得佳績,各參賽隊伍需要充分了解并掌握大模型常見的并行方法,并學習使用各種技術來優化推理過程。
除了大模型之外,大賽的題目還涉及石油開采、火星大氣模拟等熱門科技話題。
石油開采滲流數值模拟
這是一道實際工程計算難題,也是本屆 e Prize 計算挑戰獎的指定賽題。
這道題目中,他們要對一款滲流數值模拟軟體進行并行計算優化,研究多相流體在多孔介質中的復雜流動規律與特征。
多相流體滲流問題主要研究的是在多孔介質中,多種不同流體(如油、水、氣等)的流動和相互作用過程。
多相流體滲流問題是滲流數值模拟研究滲流理論中最困難的,已經成為推動滲流力學理論進一步發展的關鍵學科之一,對算力的需求非常大。
例如在油氣開發中,油田網絡在水平方向上的分辨率基本上是十米至百米的量級,網格劃分非常粗,要想精細化描述油藏特征,就會大幅增加計算量。
ASC24 超算競賽設定了滲流數值模拟賽題。要求各參賽隊伍根據組委會提供的數據集,模拟石油開采場景中油、氣、水等多相流體的滲流情況,并優化大規模并行計算過程,提升離散算法的計算性能和并行效率。
火星大氣模拟
不僅 " 可下五洋捉鱉 ",還要 " 可上九天攬月 ",在比賽中,選手們還需要解決的,是一道太空探索計算難題。
他們需要以中科院大氣物理所研制的新一代火星大氣模模式(Global Open Planetary atmospheric model for Mars,簡稱 GoMars)中的動力框架為基礎,通過優化并行通信和提高計算負載均衡,盡可能提升程式運行效率,以實現對火星大氣狀态更加精細、高效的求解預測。
火星大氣的直接觀測數據很少,火星大氣模式是研究火星大氣環境的重要方法。
GoMars 根據多個火星探測器的觀測結果以及國際火星大氣全球數據集構建,可以模拟火星大氣環境中沙塵、水和二氧化碳三個關鍵氣象元素的循環,對火星地表氣壓、地表温度、緯向風、極地冰和沙塵等進行較好的模拟。
其中用于流體計算的動力框架 GMCORE 基于經緯網格構建,面向高分辨率模拟設計,需要滿足高效性和準确性的雙重考驗,其中極具挑戰性的問題是如何優化并行通信和提高計算負載均衡。
GoMars 賽題對參賽大學生而言是一項艱巨的挑戰。選手們需要在給定的動力框架标準測試算例約束下,在保證計算精度的同時盡量縮短程式運行時間,在模拟精度、效率等多個維度中進行合理的平衡,從而獲得理想的結果。
前面的幾道題目,參賽隊伍在賽前就已知曉以上賽題的大致方向,以便能夠安排隊伍的人員構成,但也有一道神秘賽題,直到決賽過程中才被揭曉。
探索新型材料
" 神秘應用 " 的賽題為新型材料非平庸電子結構計算。所使用的 WannierTools 是一款基于緊束縛模型研究材料拓撲物性的開源軟體。
參賽學生在 3000W 功耗限制下正确運行全部算例,并盡可能地縮短應用的運行時間。
這道賽題考察參賽者對石墨烯的朗道能級計算及拓撲材料表面态計算方法的理解,以及代碼編譯運行與程式優化的能力。
總之,這些題目不僅能考驗同學們在計算領網域的知識積澱,更體現了科學研究與計算技術加速融合的時代,跨學科學習能力的重要性。
而與此同時,這場競賽不僅是技術的較量,更是友誼與知識的交流。
超算競賽,亦不只是競賽
除了前面常規的賽題,ASC 競賽還設定了頗具特色的 " 超級團隊賽 ",考驗了不同團隊間選手們的溝通協作。
本次超級團隊賽的應用賽題是 ParaSeis 地震波模拟。ParaSeis 地震模型能夠清晰地模拟地震波在地球内部的傳播過程,進而應用于地震預測和地震危險性分析等領網域。
在超級團隊賽中,通過抽籤,25 支隊伍組成了 5 個超級團隊,他們将使用 ParaSeis 模拟真實地形下地震波的傳播,通過相互交流、合作優化 ParaSeis 的算法和擴展性,并執行應用程式的編譯、調試、優化工作。
最終," 超級團隊 " 中各隊伍成績平均分,将作為該組團隊的最終成績。
超級團隊賽對參賽選手來説,是一場技術與協作的雙重考驗。
他們面臨的是計算量和并行策略設計的雙重難題,不僅需要參賽者具備堅實的數學和物理基礎,還需具備強大的計算機編程能力和算法優化能力;
團隊協作層面,超級團隊内的 5 支隊伍完全依靠随機抽籤進行組合,隊員可能有着不同的語言、文化背景,需要高效的協作溝通能力才能在挑戰者脱穎而出。
而除了超級團隊賽,這種合作交流也貫穿了始終。
獲得冠軍的北京大學代表隊代表徐天樂同學就為我們介紹了這樣的一段經歷:
澳門科技大學今年是第一次參賽,他們找不到足夠有經驗的同學,每隊一般是有五位隊員,但他們只有三位,參賽經驗也不充足。
他們在跑 benchmark 基本測試的時候都會遇到問題,我們正好跟他們有過交流,比較熟悉,他也會和我們提問,我們會花一些時間幫他們。
我覺得比賽最重要的是友誼和大家的收獲,而不是説你必須要超過他多少,而且我覺得也沒有花太多時間,(比賽中)大家都會(像這樣)交流。
通過這 5 天的比拼交流,同學們既考驗了自己的綜合能力,也收獲了知識、收獲了友誼、收獲了成長。
組委會特邀嘉賓,Intersect 360 首席研究官 Dan Olds 表示説,未來的年輕人,可能創造出的新成績,也許會是我們現在根本無法想象的。
最後,完整獲獎名單附上 ~
冠軍:北京大學
亞軍:中山大學
超級團隊獎:
上海大學 南方科技大學 齊魯工業大學
西南石油大學 香港理工大學(中國香港)
e Prize 計算挑戰獎:台灣新竹清華大學(中國台灣)
最高計算性能獎:浙江大學
應用創新獎:山西大學 上海交通大學 北京航空航天大學
最佳人氣獎:山西大學 國立科爾多瓦大學(阿根廷)
一等獎:
上海交通大學 浙江大學 國防科技大學 山西大學
暨南大學 北京航空航天大學 台灣新竹清華大學(中國台灣)
蘭州大學 哈爾濱工業大學(深圳) 青海大學 華中科技大學
中國科學技術大學 香港理工大學(中國香港) 福州大學
南方科技大學 齊魯工業大學 埃爾朗根 - 紐倫堡大學(德國)
西南石油大學 泰國農業大學(泰國) 國立科爾多瓦大學(阿根廷)
澳門科技大學(中國澳門) 上海大學 香港中文大學(中國香港)