今天小編分享的科學經驗：北大元培校友論文獲ICML時間檢驗獎，Hinton弟子一作，生成式AI成今年熱門獲獎理由，歡迎閱讀。
ICML 2023 時間檢驗獎出爐！
今年和往年一樣，也是一篇獲獎論文和兩篇亞軍（Runners Up），均從 ICML 2023 的論文集中選出，" 在過去 10 年裡持續產生影響力 "。
其中，獲獎論文的第一作者是 Hinton 弟子Richard Zemel，第二作者伍昱（Ledell Wu）是北大元培校友，曾在智源和 MetaAI 工作過，如今是 Creatify AI 的聯合創始人。
整體來看，今年的 ICML 時間檢驗獎也 " 與時俱進 " ——
無論是最佳論文還是亞軍論文，提名理由都和生成式 AI有關，其中一篇論文還影響了 Dall · E 和 Stable Diffusion 等最新一批生成式 AI 的進展。
所以，今年獲獎的究竟都是些什麼論文？
一起來看看。
時間檢驗獎頒給 Hinton 弟子
今年的時間檢驗獎最終獲獎論文是Learning Fair Representations。
這篇論文來自多倫多大學和微軟，在谷歌學術顯示引用次數已有 1670，可以說是通過學習中間表示來實現算法公平性這一領網域的開山之作。
這篇論文提出了一種用于公平分類（fair classification）的學習算法，将公平性表述為一個優化問題，同時實現了群體公平性和個體公平性。
論文的獲獎理由是：
這篇論文在 " 機器學習和公平性 " 這一領網域中發揮了重要的影響力，向機器學習社區介紹了包括群體公平性、個體公平性在内的各種公平的概念，如今，它已經成為機器學習一個成熟的子領網域。
随着先進的機器學習系統（通常稱為生成式 AI）在社會中廣泛部署，以不可預見、且潛在的偏見和不公平的方式影響社會，這一領網域正變得越來越重要。這篇論文提出了如今機器學習公平性領網域致力于解決的核心研究問題、以及如何評估所開發工具的有效性的觀點。
這篇論文一共有五名作者。
Richard Zemel，哥倫比亞大學教授，研究方向主要在 AI 魯棒性、少樣本學習、算法公平性和持續學習上，目前谷歌學術的引用次數已有 64780。
此前，他于 1984 年獲得哈佛大學本科學位，随後在多倫多大學計算機系學習，師從 Geoffrey Hinton，并分别于 1989 和 1994 年獲得計算機科學的碩士和博士學位。
伍昱（Ledell Wu），研究興趣是 AI、大語言模型和多模态學習。
她本科畢業于北京大學元培學院，并于加拿大多倫多大學獲得計算機碩士，随後，她在 Facebook AI（Meta AI）擔任過研發工程師，也在北京智源人工智能研究院擔任過技術平台部開源平台負責人。
如今，她的最新身份是 Creatify AI 的聯合創始人。
Kevin Swersky，目前是谷歌大腦的研究科學家，主要研究方向是機器學習。他于加拿大阿爾伯塔大學獲得本科學位，在不列颠哥倫比亞大學獲得碩士學位，并在加拿大多倫多大學獲得博士學位。
Toni Pitassi，哥倫比亞大學教授，目前的研究方向是計算復雜度。她在賓夕法尼亞州立大學獲得本科和碩士學位，并于多倫多大學獲得博士學位，曾經在多倫多大學擔任教授。
Cynthia Dwork，哈佛大學教授、美國國家工程院院士，是差分隐私和工作量證明的發明者之一，目前研究方向涵蓋應用數學和計算機科學。
她曾經在普林斯頓大學獲得本科學位，并在康奈爾大學讀博，随後在微軟工作過，目前是微軟的傑出科學家。
不過對于這篇獲獎論文，也有讀者表示，想要實現論文目标看起來是不可能的，已經有學者在新的論文中提出了這一觀點。
對此有網友回應認為，這也是機器學習圈的常态，一波研究者不斷找到實現特定目标的方法，同時另一波研究者不斷證明這些方法是不可能的。
還有兩篇論文亞軍
今年也有兩篇論文獲得了時間檢驗獎的亞軍（Runners Up）。
其中一篇名叫Deep Canonical Correlation Analysis，作者來自華盛頓大學和豐田工業大學芝加哥分校（Toyota Technological Institute at Chicago）。
這篇論文如今引用已有 1915 次，主要有兩方面的影響力。
其一，論文提出了一種基于深度神經網絡的多模态表示學習的原則性方法。這種深度多模态學習已經成為生成式 AI 的亮點之一，如 DaLL · E、Stable Diffusion 等。
其二，這篇論文展示了在無監督方法下也能獲取數據得良好表示，無需依賴于觀測重構，通過表示空間内關聯同一觀測的多個視圖就行，這也啟發了許多最近關于無重構自監督表示學習的算法，包括對比學習等。
另一篇論文名叫Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures。
這篇論文如今引用已有 2310 次，作者分别來自哈佛大學羅蘭研究所（Rowland Institute at Harvard）和 MIT。
這篇論文通過黑盒優化（black-box optimization）和對機器學習的理解和進步證明，超參數調優是一個嚴謹的科學和工程問題，可以通過系統化方法而非啟發式方法來解決。論文對數百個超參數進行了自動調優的實驗，這也是對算法超參數調優最有說服力的示例之一。
在此之前，盡管超參數調優對機器學習的實踐非常重要、具有相當大的影響力，但它經常被認為是一種 " 事後想法 " 或藝術，而非科學。
ICML 2023 時間檢驗獎：
https://icml.cc/Conferences/2023/Test-of-Time
