今天小編分享的科技經驗：北大清華等聯合發布LLaVA-o1：首個自發性視覺 AI 模型，歡迎閲讀。
IT 之家 11 月 19 日消息，由北京大學、清華大學、鵬城實驗室、阿裏巴巴達摩院以及理海大學（Lehigh University）組成的研究團隊，最新推出了 LLaVA-o1，這是首個具備自發性（Spontaneous，具體解釋可參考文末）、類似于 GPT-o1 的系統性推理視覺語言模型。
UP 主：唐國梁 Tommy
LLaVA-o1 是一種新型的視覺語言模型（VLM），其設計目标是進行自主的多階段推理。
LLaVA-o1 擁有 110 億個參數，基于 Llama-3.2-Vision-Instruct 模型開發，設計了總結（summary）、描述（caption）、推理（reasoning）和結論（conclusion）4 個推理階段。
該模型使用名為 LLaVA-o1-100k 的數據集進行微調，該數據集源自視覺問答（VQA）來源和由 GPT-4o 生成的結構化推理注釋。
LLaVA-o1 采用了階段級束搜索（stage-level beam search）的推理時間 Scaling 技術，能夠在每個推理階段生成多個候選答案，并選取最佳答案。
該模型在處理復雜任務時具備較強的能力，在復雜視覺問答任務中，可以突破傳統視覺語言模型的局限性。
與基礎模型相比，LLaVA-o1 在多模态推理基準測試中提高了 8.9% 的性能，超過了許多大型和閉源的競争對手。
LLaVA-o1 的推出填補了文本和視覺問答模型之間的重要空白，在多個基準測試中的優異表現，特别是在數學和科學視覺問題的推理領網域，展示了結構化推理在視覺語言模型中的重要性。
自發性人工智能（Spontaneous AI）是指能夠模拟動物自發行為的人工智能系統。這種技術的研究主要集中在如何通過機器學習和復雜的時間模式設計出具有自發行為的機器人或智能系統。
IT 之家附上參考地址
