今天小編分享的科技經驗:字節大模型全員會,朱文佳和吳永輝一起聊了方向、組織和開源,歡迎閲讀。
極客公園獲悉,3 月 18 日上午,字節跳動豆包大模型部門(Seed)召開全員會,由負責模型應用相關工作的朱文佳,與新近加入的負責 AI 基礎研究探索工作的吳永輝共同主持。
兩人談到了未來的目标,明确 Seed 部門的最重要目标是探索智能上限;同時強調進一步加強組織文化,提高技術開放程度,并考慮推進開源。
01
模型和應用長期不矛盾,最重要的是探索智能上限
全員會上明确了 Seed 部門最重要的目标是探索智能上限,這是一個長期目标,會圍繞此前公布的 AGI 研究計劃「Seed Edge」展開,鼓勵有能力、有想法的同學,探索更長周期的、具有不确定性和大膽的 AI 研究課題。
吳永輝強調了長期研究的重要性,對 Seed Edge 的投入将進一步加大,會為 Seed Edge 提供充足的算力,并将持續在内外部招募最具潛力和好奇心的研究人才。同時,對 Edge 項目取消季度 OKR 和半年考核,保障長期穩定的研究環境。
朱文佳則提到,模型應用會更多從用户視角出發,把用户最關心的任務,比如問答、創作、解題、代碼等做好,真正理解用户需求,符合用户偏好。還要在搜索、Agent 等應用中使用好工具,并充分發揮預訓練模型的潛力。
朱文佳覺得,模型不但要答對問題,還要講的清楚,讓人很快能看懂,要有情商。拿創作來説,他認為不管是格式、文采還是深度,每個方面的天花板都很高,需要不斷試驗分析。
關于模型研究和模型應用的資源投入問題,吳永輝認為長期來看兩者并不矛盾,智能不提升無法服務用户,同時應用才能支持持久的投入,且給模型帶來更多的反饋,以及帶來更大的成就感。朱文佳也表示,最關鍵的還是智能上限,因為,「模型應用長期要貼着模型能力去做」。
02
加強内外部技術開放程度,考慮推進開源
進一步加強組織文化,打造開放、包容、自信的團隊研究氛圍,則是 Seed 今年工作的另外一個重心。
吳永輝提到他加入字節的原因,是想做第一流的研究,也想打造一個第一流的 AI 研究團隊。他表示,希望 Seed 成為一個能培養人才的組織:「我們希望把世界上最好的人才吸引到 Seed 來。但更重要的是我們要把内部人才用好,把我們的潛力股識别出來,給他們足夠的機會,培養成頂級的人才。」
朱文佳也提到,過去兩年,大模型團隊的很多應屆生、實習生和年輕同學,或者獨立負責重要的方向,或成為技術突破的關鍵貢獻者,成長非常快。
為了更好地培養人才,Seed 正在改進内部反映的一些問題,比如讓信息更透明,包括擴大文檔、代碼和數據的權限,盡可能共享,消除信息孤島。同時,打破部門壁壘,提升跨團隊的溝通與協作,建立跨部門的專項研究小組。
吳永輝還表示,Seed 做了很多很好的工作,但外面不太了解。未來會加強提升 research 的影響力,鼓勵員工以 research paper 或者 blog 的形式把這些工作發表出來。
此外,未來 Seed 也會考慮開源,可能會開源中小尺寸的 Dense 模型,這樣尺寸的模型對社區也是最友好的,目前細節還在讨論中。