今天小編分享的科學經驗:華人學子閃耀NeurIPS頂會,背後最大赢家竟是它,歡迎閱讀。
好家夥!NeruIPS 前線來報:華人學子們被人從眾包圍了!
今年 NeurIPS 好不熱鬧,165000 名參會者創下新紀錄,一眾大佬出來展示成果、分享觀點。
與此同時,一些新生代面孔也開始嶄露頭角。
他們亮相于各路最佳 / 傑出論文頒獎現場、海報展示、WorkShop 上。
海報前被人山人海包圍的 00 後小姐姐,是剛上大四就發了 NeurIPS 一作的程楚欣。
還有正在麥吉爾大學讀博一的餘淏,他參與的多篇論文都被頂會收錄了,而且還是 Kaggle 平台專家級别。
另外還包括來自 MIT 的李羅羅,在 pika 實習期間,學習生成式視頻領網域,更是因為工作中需要微調多個模型以适應不同分布要求的情況下,如何選擇合适的參數高效方法。
這一問題促使她與南京大學、上海交通大學、騰訊以及 MIT 等國内外知名機構合作,共同撰寫了一篇論文。在論文中,他們提出了一個統一的視覺參數效率測試基準(V-PETL Bench),旨在解決這一難題。
而巧合的是,這群人還都在騰訊的青雲計劃群星未來之夜上相聚了。他們也有一個共同的身份——騰訊星火計劃 " 星友 "。
對了,聽說大會今年新增了高中生賽道,有我們國内學子獨立撰寫的論文還獲得了Spotlight。
來自上海星河灣雙語學校的陳天睿,據悉也是今年星火計劃的新學員,他做出了一個大型多模态模型(LMM)的智能體系統,用于精确地理定位和驗證的 AI Agent「只需随意拍一張照片,就能得判斷這張圖片是在哪裡拍的」,產品已經到了可用階段。
Okk,我們的前方盆友也趁機同他們展開了深度交流,以下為詳情内容。
新生面孔 NeurIPS 嶄露頭角程楚欣:大四即發 NeurIPS 一作
程楚欣,一位加州理工學院計算機科學專業就讀的大四學生,導師為嶽毅松教授和亞當・維爾曼教授。
該論文提出了一種基于後驗采樣的貝葉斯算法執行方法,用于解決函數評估成本問題。
許多現實問題可歸結為估計黑箱函數的屬性,但函數評估成本高,現有貝葉斯算法執行(BAX)方法依賴期望信息增益(EIG)選擇評估點,計算成本高,尤其在高維問題或屬性復雜時。而該算法基于後驗采樣,每次迭代只運行一次基礎算法,速度快且簡單,在多個任務中表現出高效性和競争力。
貝葉斯優化的核心思想是利用貝葉斯定理将不确定性轉化為概率分布 , 從而在有限的計算資源下找到最優解。
而程楚欣所在的團隊,所做的事情相當于将原來的算法推廣到不光是找到它的最優解,還可以找到它最優的十個解。在已知一個有效算法的前提下,通過後驗采樣的方式,找到函數的任何一個性質,主要這個性質是一種可以被算法算出來的。
如此,這樣的優化本身就帶有很強的應用屬性。比如很多生物學家、化學家他們自己有一套成熟的模型,這個算法能幫助他們更有效率地利用已有的模型。在蛋白預測、藥物研發等方面,可以加速實驗的進程、提升研發效率。
回顧她的研究經歷,除了她在貝葉斯優化這個領網域有過多篇成果之外,她也向我們透露,期間她曾涉足諸多方向,包括圖神經網絡、conformal prediction 保形預測,也做過一些機器人、控制系統等等。
甚至有段時間裡,她的狀态就是只要有研究可以做,她就願意去跟着做。只不過後來精力太過分散,沒辦法一下子兼顧很多東西。
因此像現在這種有 Paper 出來,她也謙虛道:是有點運氣成分在裡面的。
如今她正在申請博士,主要關注的領網域是 AI For Science,利用 AI 去幫助科研發現。Science 這個領網域還有很多問題是 AI 可以發揮優勢的地方。
此外,她也非常看看重基礎學科,尤其是應用數學在 AI 未來發展中的重要性。這其實也是她一直以來的熱愛。
參加星火計劃前," 我從未想到我會和計算機專業有什麼聯系 "。參加之後,發現機器學習 " 挺好玩的 "。
當時 19 歲的程同學剛收到了加州理工學院的 offer,一心想的還是選擇數學。
2021 年她以數學特長加入到了騰訊星火計劃挑戰周——量子方向,在為期 5 天時間裡,作為一位 " 不怎麼會寫代碼 " 的菜鳥新手,主要負責量子背後的數學原理部分。代碼的部分 " 交給隊友 "。
也正是這個過程,讓她產生了對計算機科學的興趣,在确認專業時,選擇了計算機科學,并在後面的星火超新星以賽代培的模式中,先後與當時的隊友餘淏和其他星火小夥伴組隊打了各種 Kaggle 比賽,在 CV、NLP 多領網域打下了很好的基礎。在這個過程中訓練到了 " 交叉思維 " —— 數學與計算機的交叉、研究與產業界的交叉。
餘淏:腳踏實地,行穩致遠
作為第二次參加 NeurIPS 的餘淏,目前在麥吉爾大學和 Mila 讀研一,從大三開始一直便在 Mila 實驗室(由深度學習先驅 Yoshua Bengio 教授領導)參與各項研究。
談及近況,他表示正跟着新導師 David Adelani 做小語種和多語種相關的項目。另外,他還在加拿大 AI 研究機構 Vector Institute(Geoffrey Hinton 為其首席科學顧問)擔任助教,參與企業 RAG 的培訓。
在星火計劃的騰訊業務場景上,他參與改進了一種基于擴散模型的時間序列控制方法,并用于遊戲市場數據分析任務中;能夠實時基于遊戲專家的判斷進行數據調整,通過生成式方法實現更快更準的遊戲數據的校準和預測,在遊戲運營、發行等階段能提供相當程度的業務價值。
今年來到 NeurIPS,他(非一作)和團隊帶來了一篇利用多智能體模拟工具,模拟線上社交行為來探索虛假信息的傳播路徑和影響。具體而言,他們結合了 Concordia 框架和自建 Mastodon 社交媒體平台,提高模拟速度和信息流動,并設定了一系列測量工具。
從過往研究經歷來看,他似乎始終在探索前沿技術,包括分子預測、量子線路模拟、RAG、擴散模型等等。而這最終也讓他成為 " 會議達人 "(2023 年 EMNLP 共一作、2024 年 COLM 二作、2024 年 EMNLP Shared Task Wining in NER …),并進一步加深了他對 NLP 的熱情和對 AI 的探索。
而讓他能夠自由探索各種感興趣方向的支持來源,也包括星火計劃。原因也很簡單,這讓他能在學生階段就有機會接觸產業界的問題和真實數據。按他的話說,
只有盡早進入某一領網域,并長期在前輩指導下不斷積累,未來才有可能引領這一領網域。
而就在他和程楚欣參加完挑戰周之後,他就主動聯系星火計劃項目組尋求賽事參與的支持(組隊、找導師),甚至從 0 自學到帶領小夥伴們拿下多個獎牌。
對了悄咪咪透露,也是他最早啟發騰訊設計" 以賽代培 "和" 以戰代培 "的 " 星火 " 模式。
值得一提的是,他在星火計劃超新星期間的導師,來自騰訊 IEGG Advanced Data Group 的數據科學家童世炜對他獨立解決問題的能力大加贊賞。在超新星培養期間,也產出一篇 RAG Evaluation: A Survey 論文被 2024CCF Big Data(國内大數據領網域最具影響力、規模最大的學術會議之一)收錄。
總之據他透露,正是星火的這種項目制讓他得以早期高頻參加各種知名賽事,從而提前積累了大量的經驗和技能,為未來的研究和工作打下了堅實的基礎。
聊到最後,他表示接下來的重點在于探索如何更高效的利用人類知識和行為反饋來訓練模型,以及 RAG 的進一步改進和工程落地。
借東風與些許運氣,在 lab 中學習;進步無法比肩同屆大佬,唯願諸君扶搖直上九萬裡 ! 我當腳踏實地、行穩致遠,莫愁前路無知己,天下誰人不識君?
陳天睿:高中賽道 SpotLight
今年 NeurIPS 專門設定了高中生賽道,結果有三名中國高中生的論文獲得了 Spotlight。
上海星河灣雙語學校的陳天睿,就是一位。
他提出了用于精确地理定位和驗證的多模态智能體,只需随意拍一張照片,就能得判斷這張圖片是在哪裡拍的。
目前產品已經到了可用階段。整個項目從想法到落地,全都是他一個人來完成。
比如在 NeurIPS 會場上拍一張,結果沒有任何标識,僅憑借會議場景、PPT 細節等就判斷出這是在溫哥華會議中心附近。
陳天睿透露,這個項目背後主要利用 LATS ( Language Agent Tree Search ) , 也融入了 NeurIPS ‘ 23 提出的 GeoClip,這一純機器學習方式的最佳模型(SOTA)。
今年年初,他注意到多模态大模型才剛嶄露頭角,在此之前,很難有能直接應用的模型。恰在那時,看到了 Geoclips 出現,就想着可以借此解鎖一個新的應用場景。
在此之前,幾乎所有的研究都是運用一個模型,依據一張圖片去猜測一個地理定位,判斷上其實已經較為精準。
而陳天睿所做的,是在此基礎上添加了一個類似 GPT 的模型,讓 GPT 再進行一層判斷。這樣做的好處在于:比如圖片裡有一個地标或者有路名之類,GPT 能夠根據地标或路名在網上對應搜索到那條路。如此一來,精準度便會大幅提高。
這樣,在大多數情況下,能夠非常精确地找到定位,而非純粹依靠機器學習的模型去猜測定位。
他坦言這個項目在算法上沒有太多創新,更多是在工程和 definition 上做了一些改動——讓大模型能接受文字和圖片聯眾模态,而它調用的每個工具也能輸出圖片和文字。
之所以想到這個方向,是因為他平時就對 AI 與安全兩個領網域感興趣——
五年級就開始學習編程。七年級,接觸過一個跟掃描網絡攝像頭相關的開源項目,當時純粹感覺好玩。十年級的時候,就開始嘗試通過用網絡攝像頭進行地理位置定位。
另外受到學校裡大火的 GeoGuessr 的遊戲啟發,希望做一個程式更加精準的通過圖片識别地理定位,順道寫了一篇論文。
他特别提到了今年暑期參加的星火計劃挑戰周 - 安全方向。
如果說在此之前,他主要是依照興趣方向來進行相關的研究,那麼在挑戰周可以說是更有針對性、連續性地展開工作。項目全都是針對應用場景和業務場景,既涵蓋攻擊,也涉及防守。
據介紹,今年挑戰周的安全攻防方向分為攻擊和防御兩個階段。在攻擊階段,學生需要逐步對辦公網和生產網進行滲透,最終達成對目标 ERP 系統的數據竊取。
在防御階段,同學們需要對攻擊階段產生的海量行為和流量數據進行清洗審查,以實現實時告警和響應系統。整個過程需要運用 Elastic Search 等工具展開數據分析和過濾,不僅嘗試了傳統的 EDR 和 ND 規則,還創新性地運用 LLM 建立 pipeline,提升了告警的有效性和精準度。
對此他坦言:" 我之前主要學習如何攻擊,并不知曉如何防守。星火挑戰周的任務最終需要借助 AI 來識别和發現他人是如何攻擊你的系統的,相當有趣,還結識了一群厲害的人。"
目前,陳天睿還在高中,未來面對升學,主要考慮 CS、數據科學等專業。
星火同學不在少數
之所以對這些人的履歷和經歷,了解如此細致。
那是因為之前這些人,早就在大廠計劃裡曝光過了。
那就是堪稱鵝廠最隐秘的人才培養計劃,每年面向高中生招募五六十個不等,然後他們來到騰訊總部,與最頂尖的技術專家們共同解決產業中的實踐難題。
如今已經辦了五年,像程楚欣、餘淏、陳天睿等有類似經歷的星火童鞋不在少數,包括:
" 乖神 "鄧明揚,也是在 2021 年,他作為 IOI 金牌第一名(全場唯一的滿分 600 分)加入了星火,成為挑戰周視頻号推薦算法成員,再是 2022 年安全攻防方向的助教。
前面 cue 到的 MIT 李羅羅,作為當年 MIT 唯一錄取的來自國内大陸高中的女生 2023 年作為星火挑戰周的 AIGC 方向(線上助教),第一次接觸工業界。
……
一個共同點是,都有過星火計劃這段經歷的他們,正在成為技術創新發展的中堅力量,不斷產出優秀的成果。
而且正是因為那段經歷,他們對技術在工業界的應用有了認知,在後續科研之路上,着重在各種交叉領網域中,從解決實際問題出發,不拘泥于單一的研究方向。
其實,這種前沿領網域交叉、理論與應用的匯聚也正在成為全技術領網域的共識。
從技術角度來看,更多大模型進展受到基礎學科的啟發影響,比如像擴散模型受到物理熱力學啟發;還有一些影像生成受到電動力學的啟發;更不用提數學如貝葉斯對于 AI 模型的影響了,這時候就需要學生具備多重學科交叉的思維。
如今大模型加速落地應用,同樣也離不開基礎技術的支撐,這一點在頂會上體現得越來越突出。
據與現場參與的專家交流,今年看到了很多大語言模型的應用。如果将時間往前倒個三五年,純理論的研究可能還占據 70%。
而随着理論逐漸落地工業界,類似星火計劃這樣用來打破學術界和工業界鴻溝的嘗試無疑是大膽且有效的。
對此現場來自騰訊 TEG 的 AI 專家也提出建議:
對于大學生同學來說,提前接觸工業界是非常有必要的。同學未來的發展方向是希望進入工業界的話,這個(指星火計劃)還是很必要的。
除此之外我們看到,星火計劃實際上還只是騰訊這家大廠更大體系的冰山一角。
在騰訊内部,它僅僅是一個更為普惠、更為體系化規範化的綜合培養架構——騰訊青少年科創營地實訓體系的一部分。
從官方介紹來看,這個架構有諸多的獨特之處。
首先,它深度整合了騰訊内部豐富的業務資源,提前感受頂級大廠的技術創新氛圍。
比如,它鏈接了包括量子、優圖、玄武、QQ、騰訊混元、輸入法、騰訊文檔等多個實驗室及業務部門,為青少年提供了真實且前沿的一線產業實踐場景,以及騰訊特色的多元課題,讓青少年深入參與到背後的研發過程當中。
其次,以标化的教務教研方法論、一體化的教務系統為基礎能力,通過線下營地實訓項目、線上賽事項目、以賽促學的實訓項目、參與各業務實際課題等多種形式來培養。
以星火計劃挑戰營為例,它不再局限于理論知識的傳授,而是讓青少年直接參與到實際的科研和項目中,在實戰中積累經驗、提升能力。這樣一來,為行業培養真正具有實踐能力和創新精神的備份力量。
除了為拔尖高潛人才開創的星火挑戰營,這個體系還包括科創青少年 Mini 鵝實訓營、AI 創想實訓營等系列品牌,包含13 套營地标準解決方案,這些方案覆蓋了從基礎互聯網技能到人工智能、從數字創意到科技實踐的全方位科技教育需求,已經服務了 50 萬 + 青少年的科創學習,與學生、學校、教育主管部門、社會各界廣泛鏈接。
可以看到的是,騰訊正在給廣大青少年提供了接觸先進科技、提升自身能力的機會,讓更多孩子能夠受益于科技教育,激發他們對科技的興趣和創新潛力。
這一系列的培養體系,不僅讓眾多青少年在實踐中步步找到自己的職業方向,更是在為整個社會、整個國家培養更多創新型人才。
只有當更多的企業像騰訊一樣,積極投身于人才培養的事業中,才能為整個科技行業創造更大的價值。
— 完 —
點這裡關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>