今天小编分享的科技经验：对话彩云科技CEO袁行远：10年AI狂飙，中国大模型发展不应只有OpenAI一条路，欢迎阅读。
（图片来源：pixabay）
随着 Scaling Law（尺度定律）遭遇瓶颈，GPT-5 训练时间推迟，所以全球 AI 技术领網域的竞争正在从 AI 模型 " 卷 " 向 AI Agent 模型应用层面。
北京时间 11 月 15 日，美国 OpenAI 公司发布 ChatGPT 桌面版新功能，支持理解、读写 VS Code、Xcode 等工具以开发应用。
早前有消息指，OpenAI 即将推出代号为 "Operator" 新 AI Agent（代理）应用，可模仿人类操作执行编写代码、预订酒店、机票等任务；同时，谷歌 AI 大模型 Gemini 移动版登陆苹果 App Store 应用商店上；此外，DeepL 则推出实时文本翻译产品 DeepL Voice，目前公司估值已超 20 亿美元。
相比海外，国内 AI Agent 应用正在迅速发展，模型和应用正在同步突破。
作为快手创始人宿华最青睐的创业公司之一，成立十年的国内 AI 应用公司彩云科技，于 11 月 13 日发布业内首个基于 DCFormer 架构的通用大模型 " 云锦天章 "，可实现在虚构世界观的基础上，赋予小说人物编程、数学等基础能力，拥有长文扩写、缩写等能力，目前已经开始向 C 端和部分中小企业端提供服务。而这是最新一款非 Transformer 架构的 14B（140 亿）参数模型。
同时，基于 DCFormer 架构，彩云科技还发布旗下 AI RPG 平台产品 " 彩云小梦 "。
会后，彩云科技 CEO 袁行远对钛媒体 App 等表示，"（云锦天章是）世界最强的小说续写通用模型。" 他认为，利用新的模型结构优化，用 1% 的资源达到了千亿模型同等效果，叠加后处理工作流到达 AI 的下个阶段，才有可能真正做到 GPT-5。
" 大模型基座调优（Pre-trained Model）这个事情，过去 7 年学术界、工业界（大家）都没什么进展，中国 200 多个大模型公司有哪一个不是 Transformer 架构？只有一个公司不是 Transformer，就是彩云科技，而且我证明了这个东西它具有通用人工智能（AI）的潜力，且用更少的能源做到相同的效果。如果用 1/10 资源实现 Transformer 相同效果，那我们就不用百亿千亿参数规模训练。其他所有公司都用的是谷歌 Transformer，因此只有彩云科技才能称之为‘全链路大模型公司’。" 袁行远表示，中国不是做不出来 ChatGPT，而是需要时间迎头赶上，最终得到好的结果。
彩云科技联合创始人、CEO 袁行远
"100 万 DAU、ROI 为正，是 AI 应用的死亡线 "
彩云科技成立于 2014 年，是研发多款消费级应用产品的 AI 公司。
经过多年发展，彩云科技已孵化彩云天气、彩云小译、彩云小梦三款面向 C 端用户的 AI 产品，产品间接覆盖人数超过 6 亿人，并通过实施付费订阅等商业模式，实现了 AI 技术商业化落地。可以说，彩云科技是国内为数不多能够实现盈利的 AI 公司。
创立彩云科技之前，袁行远曾在阿里巴巴从事算法方面的工作，并获山东科技大学数学系学士学位，清华大学经济管理学院硕士学位。然而，他从小就喜欢研究气象知识，因此并不希望安于现状，2012 年，在集智俱乐部一场读书会上，与两位有相同想法的小伙伴一同创立了彩云科技。
袁行远坦言，公司创立一开始就是在想把一款天气工具进行 " 付费 "，这在当时也是极少见的。而过去 10 年来，彩云科技的彩云天气、彩云小译、彩云小梦都以付费模式存在，实现了企业健康的商业循环。
其中，彩云天气是一款天气预测的 APP，特色是通过 AI 技术 " 三维时空卷积神经网络 "，实现国内首个分钟级天气预报，精度可以定位在街道级，C 端累计用户超过 5000 万，DAU 达到百万量级；彩云小译 2017 年上线，是全球首个中英同传 APP，MAU 在百万上下，有 2.7 万的付费用户，500 万 APP 下载量，每天 10 亿翻译量；彩云小梦则于 2021 年上线 1.0 版本，是一款 AI 写小说的产品，同时发布海外版 Dreamily，如今更新 3.5 版本—— AI RPG 平台，拥有 AI 对话、世界设定创作等功能，而且可以进行虚拟人物对话交流，日产数亿字。目前 60% 用户在中国大陆，40% 为海外用户。
" 根据我做彩云天气的经验，你要做到一个确实能够提供出增益价值的产品，然后你花很多年的时间去培养这个增益价值的习惯性，再在这个基础上去做增值服务，通过它来收取一定的会员费用，这个是比较合理的一种方式。我很喜欢简单的商业模式，因为我们做技术的嘛，就是发挥自己擅长的部分，那简单的商业模式就是我提供一个服务，你愿意为这个服务付费。" 袁行远认为，这是一种良性商业模式。
袁行远强调，100 万 DAU（每日活跃用户）、收入数亿元、ROI 为正，这是他给自己定下一款 AI 应用的死亡线，从而维持一家公司或一款大模型的研发迭代。
" 我觉得能跑到 100 万 DAU，是我自己给自己定的一个及格线或者生死存亡线吧。如果有 100 万日活，那么你就是一个社区创业平台，这个应该是能够活下来，并且能够拥有至少几亿收入，从而能持续维持大模型的研发。当然，这是否意味着 100 亿美元以下就不要做大模型了，也不是这个意思，全世界可能一共就那几个人（有百亿美金）。所以，这中间有一种‘平衡’（balance），这是一个度，这个游戏也许在 1 亿或 1000 万美金量级之上，就能够支持这个模型研究的迭代。" 袁行远称。
与此同时，当前彩云科技全力实现新的大模型技术研发。
早在 2017 年，彩云科技就已经开始做 NLP 和大模型方面的工作，是国内最早做 LLM（大型语言模型）的公司之一。
近期，彩云科技团队提出基于可动态组合的多头注意力（DCMHA）的 DCFormer 框架，替换 Transformer 核心组件多头注意力模块（MHA），解除 MHA 注意力头的查找选择回路和变换回路的固定绑定，可根据输入动态组合，从而提升模型表达能力，相比 Transformer 架构性能提升 1.7 倍 -2 倍。今年 ICML 会议上，彩云科技团队的 3 篇论文，在录用平均分为 4.25-6.33 的情况下，获得平均 7 分这一高分。
11 月 13 日活动上，袁行远表示，Transformer 架构距离 " 理想模型架构 " 还有很大的提升空间，除了堆算力堆数据的 " 大力出奇迹 " 路线，模型架构创新同样大有可为。往小了说，在大模型领網域，利用效率更高的模型架构，小公司也可以在与世界顶级 AI 企业的对抗中取得优势。往大了说，模型效率的提升，可以有效地降低 AI 更新迭代的成本，加速 AI 时代的到来。
"Scaling Law 告诉我们，随着算力的提升，模型更大、数据更多，模型效果会越来越好，但与之相应的，能耗也会越来越高，在 Scaling Law 失效，AI 实现之前，或许我们地球的能源就已经无法支撑了。" 袁行远表示，" 没有效率的提升，AI 就是镜花水月。"
实际上，外界最想知道袁行远和他的彩云科技的一件事是，宿华是如何投资的？
成立至今，彩云科技共进行了 5 轮正式融资，除种子轮由袁行远，及他的朋友、同学提供外，首笔天使轮融资，来自田溯宁的云天使基金、宽带资本；五源资本的 A1 轮融资，估值 3000 万美元；快手提供 A2 轮融资，投前估值翻倍，达到 6000 万美元；B1 轮来自大湾区家园共同基金，2021 年完成。
去年，快手创始人宿华个人投资了彩云科技 B2 轮，投前估值达到 1.2 亿美元。
袁行远表示，很多投资人对其技术一线判断很强，尽管他不是做大模型，但其技术判断是很敏锐的，他说 " 这个东西非常好，但我担忧的是社会以后怎么办 "。最终，袁行远获得了上述投资人青睐，也让彩云科技获得了更多的训练大模型 " 弹药 "。
" 也有朋友说，为什么中国没有出 ChatGPT，原因是什么呢？因为中国程式员水平不行。我觉得不能说是中国程式员水平不行；还有人说，是因为简体中文语料不行，我们是全球使用语言最多的、母语最多的人，我们创造的东西是最多，我觉得绝对不能说是我们语料不行，也不是中国程式员不行。我认为需要给我们一些时间，迎头赶上，最终我们会得到一个好的结果。" 袁行远表示。
展望未来，袁行远已下定决心，将不遗余力地持续加大对 DCFormer 的研究与投入力度。
袁行远强调，DCFormer 所代表的模型结构优化这条路至少能发展 10 倍成长，未来 AI 真的很有可能取代刘慈欣的《三体》写作质量。当下，大家还是低估了 AI 的效果，如今 DCFormer 让 1/10 的资源和参数量获得相同效果，这有望是 GPT-5 未来发展的路线选择。
以下是钛媒体 App 等与袁行远之间的部分对话，经钛媒体编辑整理：
钛媒体：14B 或 7B 参数的模型是否有 " 智能涌现 " 能力？因为有人说，基于 Transformer 的模型可能会需要千亿规模才有涌现。
袁行远：（涌现能力是）有的。我已经证明了这是伪命题，智能涌现大概在 6B（60 亿参数）左右，（这是）学界的认知。
钛媒体：那你们是怎么减少 " 幻觉 " 问题？是对齐还是其他什么手段？
袁行远：从模型结构研究的这个角度讲，你可以去不断地 check（检查）这个事情，包括增加事实记忆力、互联网寻找、减少错误输出等方法。这是所谓的工作流 check。
但我觉得现在问题不是 " 幻觉 "，而是算力不足以去 cover（覆盖）住你的问题规模，比如我要会诊，可能要很多人开会讨论俩小时去决定这个疑难杂症是什么病，人都需要很长时间，AI 更加需要算力支持。我觉得这个不是幻觉问题，而是 " 算力不够 " 的问题。
幻觉问题的话，就上述两个方式来尝试解决。此外，还有一点是，" 幻觉 " 问题的本质是一个所谓 " 格式多于内容 "，就是你要求大模型输出一个符合你认知的格式，它才有幻觉，否则它不知道，而人类大部分来讲会说不知道，你只要让大模型学会说不知道，那它的幻觉就会变少，所以这里面可能存在 " 应答率 " 和内容输出真实性的一个 " 博弈 "。
对于云锦天章和彩云小梦来说，在小说创作这一部分，幻觉问题不会这么严重，甚至于它是一个正向作用。AI 腦洞更大一些，可能会对作者更好，所以我们选了这样一个 " 赛道 "。
钛媒体：你如何看待云锦天章大模型的商业化？你们需要把 C 端的 AI 服务更快获得收入吗？
袁行远：我做彩云天气的经验是，你要做到一个确实能够提供出增益价值的产品，然后花很多年时间去培养这个增益价值的习惯性。再在这个基础上去做增值服务，通过它来收取一定的会员费用，这个是我比较喜欢的一个方式。
因为我们做技术的嘛，就是发挥自己擅长的部分，那简单的商业模式就是我提供一个服务，你愿意为这个服务付费，而我就努力提高这个服务，你就一直为我这个好的服务付费，这个就很适合我。因为我们现在公司第一大收入就来自会员的连续订阅，我觉得这个是很好的。
还有一种新的 " 抽成模式 " 我觉得更好，你提供一个内容平台，然后这个游戏、小说内容平台通过 AI 辅助来产生，再让用户向内容创作者付费，你再从平台上抽手续费，手续费的收取是源于这个内容创作消耗平台 AI 能力，你的用户越多，你的网络规模效应越多，规模就越大。如果是 100 万日活的社区创业平台，至少几个亿的收入，（企业）应该是能够活下来的。
当然你说 100 亿美金以下不要做大模型，这也不现实，全世界可能一共就那几个人，那竞争就非常少，但如果你一个人自己硬要去做大模型，也不适合，所以这中间其实是有一个 " 度 "，也许至少在 1 亿或 1000 万美金量级上，可以支持大模型结构研究迭代。
（本文首发于钛媒体 App，作者｜林志佳，编辑｜胡润峰）
