今天小編分享的科學經驗:用大模型 蒸餾 小模型,有新招了!甚至能在不同類型和架構的 LLMs(大語言模型)上達到新 SOTA。這就是來自中科大、騰訊優圖實驗室提出的一種基于 Sinkhorn 距離的知識蒸餾方法,能把大的、復雜的教師模型的知識 蒸餾 到小的、簡單的學生模型中,從而讓小模型也能像大模型一樣工作,歡迎閱讀。…
今天小編分享的科學經驗:用大模型 蒸餾 小模型,有新招了!甚至能在不同類型和架構的 LLMs(大語言模型)上達到新 SOTA。這就是來自中科大、騰訊優圖實驗室提出的一種基于 Sinkhorn 距離的知識蒸餾方法,能把大的、復雜的教師模型的知識 蒸餾 到小的、簡單的學生模型中,從而讓小模型也能像大模型一樣工作,歡迎閱讀。…
今天小編分享的科學經驗:催我運動的理由又多了一個!MIT 研究團隊首次證明:運動可以促進神經元生長,從而讓大腦更靈活更聰明。而且促進的方式不止一種。一種是你只管動,肌肉會自行分泌一種稱為 肌肉激素(myokines) 的物質,這種物質能顯著促進運動神經元的生長。另一種,還可以依靠單純的物理牽拉刺激!這一發現也是研究團隊,歡迎閱讀。…
今天小編分享的科學經驗:作者:奶樹編輯:蝌蚪2015 年 10 月 5 日,斯德哥爾摩的瑞典卡羅林醫學院宣布,來自中國的女性藥學家屠呦呦,以及愛爾蘭科學家威廉 · 坎貝爾和日本科學家大村智,被授予諾貝爾生理學或醫學獎,以表彰他們在寄生蟲疾病治療研究方面取得的成就。從 325 任務 的源起,瘧疾防治研究路徑的多種嘗試,,歡迎閱讀。…
今天小編分享的科學經驗:© Midjourney利維坦按:我們知道, 眼睛看到什麼顏色 和 怎麼形容你看到的顏色 是兩個不同的事實,就好比一個色盲看到紅色卻将其看到的顏色表述為綠色一樣。同樣,三視錐動物的我們,肯定也無法想象喵星人眼中的那個世界,畢竟,作為二視錐的動物,你家喵星人就跟上面說到的紅綠色盲差不多……這,歡迎閱讀。…
今天小編分享的科學經驗:入職 MIT 電氣工程和計算機科學系的何恺明,第一波門下弟子現在曝光——可以看到,四位研究者中其中有三位都是 3 位是華人:白行建、鄧明揚、黎天鴻。我們熟悉的 IMO、IOI 雙料奧賽金牌得主鄧明揚也在列。事實上,在不久之前,他們就已經合作了一篇文章:無需矢量量化的自回歸影像生成 何恺明新作再戰 A,歡迎閱讀。…
今天小編分享的科學經驗:騰訊版 Sora,發布即開源!130 億參數,成為目前參數量最大的開源視頻生成模型。模型權重、推理代碼、模型算法等全部上傳 GitHub 與 Hugging Face,一點沒藏着。實際效果如何呢?不瞞你們說,我真的看見一只大熊貓,在跳廣場舞、吃火鍋、打麻将,請看 VCR:到底是來自四川的貓!目前該模,歡迎閱讀。…
今天小編分享的科學經驗:大家好,這裡是環境小喇叭欄目的第 23 期。這一期,我們為大家搜羅了以下值得一看的環境研究和新聞:1)人們往海裡倒大糞,竟然是為了減緩全球變暖2)種樹有講究,種錯地方反而對環境不好3)淡水太少,新加坡用污水釀啤酒4)巴黎的鍍鋅屋頂,怎麼把房子變成了烤箱?5)圖瓦盧,在虛拟宇宙中重建國家往海裡倒大糞?,歡迎閱讀。…
今天小編分享的科學經驗:說起影響顏值的因素,皮膚的皺紋、面部松垂,不經意間爬上臉的各種靜态紋、動态紋,恐怕是熟齡姐妹們不得不面對的問題。如果平時不注意保養,面中凹陷、熬夜後臉垮粗糙,這些細節都讓你看起來比同齡人更顯老!随着年齡增長,皮膚中的膠原蛋白和彈性纖維逐漸減少,皮膚失去支撐力和彈性,同時,由于重力、光老化等因素,像法,歡迎閱讀。…
今天小編分享的科學經驗:梅菜扣肉,都吃過吧?雖然有不少肥肉,但卻鮮香不膩,主要功勞就是裡面的梅幹菜。圖庫版權圖片,轉載使用可能引發版權糾紛雖然梅幹菜看着烏黑一片,長得特醜,但卻真好吃,堪稱 下飯王 !這種看似平凡的傳統食材,承載了很多人的記憶,更是心頭難以割舍的美味。梅幹菜不是一種蔬菜梅幹菜也叫梅菜、黴幹菜,是我國比,歡迎閱讀。…
今天小編分享的科學經驗:2023 年初 AI 大模型火爆全球,當時就有人說,這項技術走向大眾的最佳方式就是手機。不管消費者怎麼想這句話,苦于銷量連年下降的手機廠商們肯定是把它聽進去了。于是,從 2023 年下半年開始,所有手機新品都在标榜 AI 能力,都宣稱自己是 AI 手機。這場盛宴持續上演到今天,即使是相對保守的蘋果也,歡迎閱讀。…
今天小編分享的科學經驗:将兩種蛋白質黏合在一起,就能誘導癌細胞 自殺 了?!一覺醒來,Hacker News 上迅速刮起了一股讨論之風:事情是醬紫的,這是一項來自斯坦福醫學院的研究:他們開發了一種新型分子(藍色和黃色),該分子将兩種蛋白質(紫色和紅色)連接起來,然後啪的一下,兩種蛋白質共同激活了癌細胞中的自我毀滅基,歡迎閱讀。…
今天小編分享的科學經驗:就在剛剛,李飛飛空間智能首個項目突然發布:僅憑借 1 張圖,就能生成一個 3D 遊戲世界的 AI 系統!重點在于,生成的 3D 世界具有互動性。能夠像玩遊戲那樣,自由地移動相機來探索這個 3D 世界,淺景深、希區柯克變焦等操作均可行。随便輸入一張圖:除了這張圖本體,可探索的 3D 世界裡,所有東西都,歡迎閱讀。…
今天小編分享的科學經驗:在神雕俠侶電視劇中,周伯通有一門神奇的武學,那就是左右互搏術。在教授小龍女這套武功絕學前,他首先讓小龍女學習了 左手畫圓右手畫方 這個動作。相信不少人小時候在看到這個劇情時,都暗自挑戰過這個動作,挑戰失敗後不免會對周伯通一心多用的能力倍感佩服。現如今,人們的生活節奏不斷提速,很多時候我們分身,歡迎閱讀。…
今天小編分享的科學經驗:提升 LLM 數學能力的新方法來了——一個大模型不行,那就兩個。讓他們彼此合作,糾正對方的錯誤。這就是來自加州大學和微軟研究院的最新研究成果:Flow-DPO。通過使用在線學習流(Flow)和直接偏好優化(DPO, Direct Preference Optimization),可以讓 LLM 生成,歡迎閱讀。…
今天小編分享的科學經驗:ChatGPT 兩歲了,版本更新沒等來,卻被發現一個神秘 Bug。一個看似平平無奇的名字David Mayer成為頭号禁忌,ChatGPT 拒絕談論有關他的一切。而且每次都是返回非常模糊的錯誤信息 我無法產生一個回復 ,而不是常見的 這個提示詞可能違反了我們的内容協定 。屬實是繼搞不清楚,歡迎閱讀。…
今天小編分享的科學經驗:都說 婚姻是愛情的墳墓 ,試問一下已經結了婚的讀者: 你有多久沒有和對象單獨約會了?很多人都會發現,結了婚兩三年以後,夫妻之間就已經不再像談戀愛時期那樣如膠似漆,生活逐漸變得平淡,每天忙于家務和帶娃等日常瑣事,似乎結婚已經從愛情變為了 搭夥過日子 。有心理學家追蹤了 168 對夫妻在,歡迎閱讀。…
今天小編分享的科學經驗:之前領導 OpenAI 安全團隊的北大校友翁荔(Lilian Weng),離職後第一個動作來了。當然是發~博~客。前腳剛發出來,後腳就被大夥兒齊刷刷碼住,評論區一堆人排隊加待讀清單。還有不少 OpenAI 前同事轉發推薦。這次的博客一如既往萬字幹貨,妥妥一篇研究綜述,翁荔本人直言寫起來不容易。主題圍,歡迎閱讀。…
今天小編分享的科學經驗:大語言模型直接理解復雜圖結構的新方法來了:将圖(Graph)轉換為适合 Transformer 架構的線性 token 序列。belike:這種最新圖線性化方法,反映了自然語言中局部依賴性和全局對齊性兩個關鍵屬性,即:不僅需要保留基于前文上下文預測下一個 token 的能力(局部依賴性),而且不同圖,歡迎閱讀。…
今天小編分享的科學經驗:腸鏡,這是一個常規體檢并不包括的項目。或許你對它并不了解,或許你會對它產生抗拒,但這項檢查你一定不要忽視,尤其是當你過了 40 歲的時候。腸鏡是早期發現結直腸癌最可靠的篩查手段。結直腸癌是一種高發疾病,從 1990 年到 2019 年,中國的直腸癌發病率、死亡率呈現上升趨勢,發病率平均每年增長 3.,歡迎閱讀。…
今天小編分享的科學經驗:AI 能成為創造藝術的那支 馬良的神筆 嗎?中央美術學院科技藝術家陳抱陽,正在做這場科技與藝術的實驗。他的一個個新奇的藝術創想,也可以稱為關于技術與藝術的思想實驗——他将傳統文化與 AI 相融合,讓 AI 生成的書法有情緒,用 AI 做皮影戲,甚至,他還想創造一個 AI 自驅動的生态系統……,歡迎閱讀。…
今天小編分享的科學經驗:馬斯克對 OpenAI 的訴訟再更新,已向法院申請禁令:為阻止 OpenAI 向營利性轉型,現在 OpenAI、幾位聯合創始人、投資者、以及微軟均成為禁令對象。馬斯克的律師斷言,如果禁令不被批準,将造成 無法彌補的傷害 。具體來說,馬斯克指控OpenAI、其 CEO薩姆 · 奧特曼、總裁Gre,歡迎閱讀。…
今天小編分享的科學經驗:浙大、騰訊優圖、華中科技大學的團隊,提出輕量化 MobileMamba!既良好地平衡了效率與效果,推理速度遠超現有基于 Mamba 的模型。一直以來,輕量化模型研究的主陣地都在 CNN 和 Transformer 的設計。但 CNN 的局部有效感受野在高分辨率輸入時,難以獲得長距離依賴;盡管 Tra,歡迎閱讀。…
今天小編分享的科學經驗:騰訊版 Sora,有消息了。請看 VCR:目前相應視頻生成模型、產品正在緊張更新和調試中,還不确定正式上線時間哦~不過我們提前拿到内測資格,這就帶大家先睹為快騰訊首個文生視頻模型劇透大熊貓吃竹子,除了竹子有點幹好像沒毛病:魚在水裡遊來遊去,小狗在公園追趕蝴蝶畫面也都比較自然:來道硬菜,靈魂汁,歡迎閱讀。…
今天小編分享的科學經驗:無需 Transformer,簡單濾波器即可提高時間序列預測精度。由國家信息中心、牛津大學、北京理工大學、同濟大學、中國科學技術大學等機構的團隊提出了一個FilterNet。目前已被 NeurlPS 2024 接收。準确預測時間序列,對于能源、氣象、醫療等領網域中來說都非常重要。目前很受歡迎的一類預測,歡迎閱讀。…
今天小編分享的科學經驗:我們經常在藥品的說明書上看到 餐前服用 餐後服用 等等提示,不知道你有沒有想過, 餐前服用 ,多久算 餐前 ?為什麼非得餐前服用?餐後服用會發生什麼?那對應的,餐後服用呢?為什麼不同藥物建議的服用時間會有很大不同?今天就和大家聊一聊,這些不同要求的藥物。飯前服用的藥物空腹服用,歡迎閱讀。…