今天小编分享的科学经验:让大学生跑语言大模型,这场世界超算竞赛刚结束,北大首次夺冠,欢迎阅读。
第十届ASC 世界大学生超算竞赛总决赛,终于在中国科学技术大学落下帷幕。
北京大学首次获得 ASC 决赛冠军,而东道主中国科学技术大学获得亚军,香港中文大学获得线上竞赛冠军。
ASC 世界大学生超级计算机竞赛,是由中国在 2012 年发起的世界最大规模的大学生超算竞赛,与美国 SC、德国 ISC 并称全球三大超算竞赛,今年正好是 ASC 第 10 届。
大语言模型成关注热门
今年的 ASC 决赛正式比赛在 5 月 8 日和 9 日两天进行,参赛队伍是从初赛 300 支队伍队伍中脱颖而出的 24 支队伍。
其中有 20 支来自中国大陆高校的队伍,在中科大体育馆内完成线下比赛;另外 4 支来自港台和国外的队伍,则借助云计算资源完成线上比赛。
各高校参赛队伍需要在 2 天内完成 6 道赛题,时间紧任务重,任何失误都可能导致与冠军失之交臂,这也是 ASC 过去历届黑马频出的原因。
由于今年 ChatGPT 火热,今年的大语言模型题受到了组委会和媒体的重点关注,这道题的优胜者也将获得本届 ASC 的e Prize 计算挑战奖。
ASC 组委会提供了 100GB 的高质量中文数据集,要求参赛队基于这一数据集实现 15 亿、179 亿参数两个模型的训练。
参赛队伍需要自行合理设计模型训练策略,在追求极致性能的同时,还要满足精度约束等严苛条件。
中国科学技术大学队伍运用多种业界前沿的大模型并行策略、显存优化方法,最终获得了这道赛题的最高分,夺得本届 ASC e Prize 计算挑战奖。
中科大选手吴天铭表示:" 这道赛题是在 ChatGPT 火起来之前就出来了,我们为此做了很多功课。不久后 ChatGPT 爆火,我们就已提前理解了它是怎么运作的,所以觉得 ChatGPT ‘神奇也不神奇’。"
聚焦 AI、量子计算前沿课题
除了大语言模型外,本届 ASC 也聚焦于其他业界前沿问题。比如此前谷歌实现量子优越性的量子计算芯片 " 悬铃木 ",参赛选手需要在超算上模拟该芯片的量子采样问题。
谷歌曾宣称在传统超算上,这个问题需要运行 1 万年,而参赛选手需通过基于张量网络的量子模拟算法实现 10 亿倍的性能提升,将模拟时间缩短至 10 秒。
这道题也成为了本届大赛的超级团队赛项目,即 5 个线下队伍与 1 个线上队伍组队完成,让各高校之间不仅是竞争对手,也是合作伙伴,极大地考验选手们的协作沟通能力。
此外,每届大赛必不可少的 " 跑分 " 竞赛项目也如期上演。
在 HPL&HPCG 基准测试这道题中,各参赛队伍需要自行设计超算系统,在总功耗 3000W 约束下正确完成各项计算任务。
浙江大学以 109 万亿次 / 秒的 HPL 持续浮点运算性能,获得本届 ASC最高计算性能奖。