今天小编分享的科学经验：中科院自动化所「全模态」大模型亮相，图文音视频3D传感器信号都能理解，欢迎阅读。
大模型搞多模态，做文字、影像、音视频这几样就够了？
中科院自动化所说不：
我们还加入了 3D 点云和更多传感器信号。
国产大模型新成员，千亿参数全模态大模型「紫东太初 2.0」正式亮相。
不光能认知和理解多模态数据，还能在多轮对话中进一步与用户互動。
AI 离理解现实世界中复杂多样的信息，又近了一步。
而且不仅如此，多个数据，甚至不同模态数据一起出现也难不倒它。
对于车内视角和车外视角的两个视频，可以找出共同特点。
图书馆照片和汽车鸣笛音频一起出现，也能分析出奇怪之处并给出解释。
认知、推理之外，紫东太初 2.0 也可以完成多模态生成任务。
影像、音频、视频一起出现，就能结合起来讲一个完整的故事。
又或者提取多模态数据中的特征并进行模仿。
AI 如何理解全模态？
为什么要做多模态甚至全模态？
团队介绍到，现实世界中本来就充满了复杂多样的异构信息，人类自己也是综合多模态信息去理解这个世界的。
从模态的种类来说，文本只是其中非常小的一部分。
但从数据收集的角度来说，文本却又是数据最丰富的。
AI 最擅长的就是从海量数据中提取出隐藏的规律，所以语言大模型进展最快也就不奇怪了。
其他模态数据本来就少，尤其是做多模态需要的配对数据就更稀缺。
拿大家已经很熟悉的文生图 AI 绘画来说，训练阶段需要大量的图 - 文配对数据，生产成本已经很高。
要想得到充足的文字、影像、音频、视频、3D、信号等模态之间的配对数据，那就想都别想了。
学术界为这个问题也想出一种解决办法：
以其中一种模态为核心，作为桥梁连接其他模态。
在科研探索中又分化出两条路线。
国外 Meta 的 ImageBind 选择了以影像为核心，
国内的紫东太初 2.0 团队则是 " 以语言为核心 " 路线的代表。
团队对此的考量是，影像能表达的语义还是不够丰富，比如像抽象的概念最后还是得靠语言。
以语言为核心连接起全模态数据，也为 AI 大模型打开很多新的应用空间，在发布会现场也做了展示。
全模态大模型用在哪？
外科手术中除了需要用到视觉，触觉传感器数据也同样重要。
两种数据跨模态融合，就解决了机器人辅助手术中的国际性难题。
同样是医学领網域，医学影像、患者照片、病例等结合起来，还可以辅助罕见病的鉴别诊断。
交通领網域，多模态协同推理也能更精准研判违规行为。
对于网络谣言常见的视频画面与音频播报内容不一致的手段，多模态大模型也能加以识别。
企业和组织想要借助这些全模态能力开发应用，也可以直接到紫东太初大模型开放服务平台。
简单来说，就是 AI 应用开发全生命周期的每一个环节所对应的服务都安排好了。
开放服务平台内置 MindSpore、Pytorch 等主流开源深度学习框架，提供大模型下游微调、自动学习、可视化拖拽建模、互動式代码开发等不同建模方式。主打全方位国产可控、快速切入客户场景，以及简单易用的人工智能建模和应用。
全模态大模型怎么炼成的？
说起来，全模态大模型并不是凭空出现。
2020 年 1 月，中科院自动化所就发起集团式突破瓶頸，聚焦多模态大模型路线
2021 年 9 月，发布首个千亿参数三模态大模型紫东太初 1.0， 做到多模态统一表示，相互生成、推理。
在应用实践过程中又发现数字时代万物互联的新需求，融入 3D、视频、传感信号等更多模态数据，进一步突破感知、认知和决策的互動屏障。
但全模态也不是终点。
在发布会现场，中科院自动化研究所所长徐波表示，站在更宏观的视角，全模态大模型属于信息智能的突破。
未来要通向 AGI，势必还要与另两大路线 " 类腦智能 " 和 " 博弈智能 " 再次融合。
