8月10日TF116報名

今天小編分享的科學經驗：8月10日TF116報名，歡迎閲讀。

為工程師提供頂級交流平台

CCF TF 第 116 期

時間：2023 年 8 月 10 日 19:00-21:00

主題：多模态大模型進展及應用

大模型技術的蓬勃發展極大地推動了人工智能領網域的技術進步和產業應用。國内外巨頭公司、高校、研究部門等紛紛在此領網域加大投入，基于大模型的豐富應用悄然進入人們的生產生活。

與此同時，結合計算機視覺、語音處理、自然語言處理等技術的多模态大模型技術也呈現出勃勃生機。多模态預訓練聯合圖文音等多模态内容統一學習，突破了單一模态的限制，在内容理解、内容生成、人機互動等領網域具有巨大的應用價值。同時，多模态大模型也面臨模态表示、模态融合等方面的挑戰。

8 月 10 日，CCF TF 第 116 期活動将圍繞多模态大模型話題，邀請來自學術界和產業界的專家學者共同研讨，回顧多模态大模型的歷史，介紹其發展現狀和豐富的產業應用，探讨所面臨的挑戰并展望未來發展前景。以期能夠激發讨論，促進技術進步。

會議安排

TF116：多模态大模型進展及應用主持人：何中軍 CCF TF 算法與 AI SIG 主席，百度人工智能技術委員會主席
時間	主題	講者
19:00-19:05	活動介紹及致辭	何中軍 CCF TF 算法與 AI SIG 主席，百度人工智能技術委員會主席
19:05-19:35	《多模态預訓練模型的技術回顧與展望》	郭龍騰中國科學院自動化研究所副研究員
19:35-20:05	《多模态技術與應用》	曾妍字節跳動 AI-LAB 算法工程師
20:05-20:35	《多模态内容生成技術與應用》	肖欣延百度傑出架構師
20:35-20:55	參會者提問互動
20:55-21:00	活動總結

所屬 SIG

CCF TF 算法與 AI SIG

特邀講者

郭龍騰中國科學院自動化研究所副研究員

主題：《多模态預訓練模型的技術回顧與展望》

主題簡介：近年來，從預訓練模型到預訓練大模型，從文本、音頻、視覺等單模态大模型，到現在的圖文、圖文音等多模态預訓練大模型，無論在學術界還是企業界預訓練模型都得到了廣泛關注與爆發式發展。多模态預訓練通過聯合圖文音等多模态内容進行通用模型學習，并應用于跨模态分析、檢索、轉換等下遊任務上，其在内容理解、搜索、推薦、問答、人機互動、AIGC、具身智能等場景領網域中具有巨大的應用價值。本報告主要包含三方面内容：分析多模态預訓練模型的研究背景與必要性；回顧當前多模态預訓練模型的研究進展，并介紹多模态大模型的架構設計、學習優化、下遊應用，以及最新前沿研究方向如多模态大語言模型、多模态具身智能等；最後分析多模态預訓練模型所面臨的技術挑戰與未來展望。

個人簡介：郭龍騰，中科院自動化所副研究員，紫東太初大模型研究中心團隊成員。主要研究興趣包括影像分析與理解、多模态預訓練模型、跨模态生成等。在相關領網域發表高水平學術論文二十餘篇，包括 CVPR、IJCAI、ACM MM、SIGIR 等。相關成果在 ICCV COCO-Place 場景解析、CVPR VATEX 視頻描述、ACM MM 預訓練視頻理解等國際競賽中取得多項冠軍。

曾妍字節跳動 AI-LAB 算法工程師

主題：《多模态技術與應用》

主題簡介：多模态理解和生成的應用範圍廣泛。本次分享首先将介紹我們提出的多模态預訓練技術（涵蓋影像 / 視頻和文本）以及該技術在多模态場景下的應用，同時探讨多語言場景下的多模态應用，分享研究工作應用到實際業務中的挑戰和解決方案。本次還将介紹我們在多模态大語言模型方面的嘗試，我們發現如何同時做到視覺信号的準确理解和開放式文本生成是一個難點。因此，我們研究了如何訓練大語言模型使得其更好地具備這兩方面能力，從而提高其在基于視覺信息的開放式文本生成任務中的表現。

肖欣延百度傑出架構師

主題：《多模态内容生成技術與應用》

主題簡介：随着大模型的革命性突破，基于人工智能的内容創作，也就是 AIGC，逐漸興起并受到廣泛關注。多模态内容生成是 AIGC 中最重要的方向之一，能夠極大提升影像、視頻等内容的生產效率，在數字經濟中具備廣泛的應用價值。本報告介紹百度在多模态内容生成的技術與應用，重點介紹從自然語言到視覺内容的生成，同時探讨當前面臨的主要挑戰和未來的發展趨勢。

個人簡介：肖欣延博士，正高級工程師，百度傑出架構師，内容生成與 AIGC 技術負責人。長期從事自然語言處理相關研究和應用，已發表 CCF A/B 類論文 30 餘篇，獲授權發明專利 90 餘項并獲中國專利優秀獎 1 項，相關成果已在百度的搜索、推薦、百家号、百度雲、小度、輸入法等業務中得到廣泛應用。

SIG 主席