今天小编分享的科学经验：10亿参数模型进手机！15秒即可出图，飞行模式也能用，欢迎阅读。
纯靠手机跑 Stable Diffusion，出一张图需要多长时间？
答案是15 秒以内。还是开飞行模式那种，完全不需要借助云伺服器的算力！
不仅能生成动画版铠甲猫猫战士，真人版《龙珠》cosplay 大合照，也能迅速想象出来：
△图源油管 @TK Bay
当然，画个中国风兔型剪纸影像，也完全没问题：
△图源油管 @TK Bay
此前，虽然已经有网友做出了一些能在手机上运行的 Stable Diffusion 项目，不过实际运行会发现，这些项目要么生成图片的时间长、内存占用高、耗电量大，要么生成的影像风格比较单一。
15 秒内依靠手机算力出图，风格还是多变的那种，究竟是怎么做到的？
手机 15 秒跑亿级大模型
这个手机版 15 秒跑 Stable Diffusion 项目，是高通基于自己的手机芯片做的一个 " 演示 "APP。
在前不久的 MWC 2023 上，高通现场展示了这个 APP 的生成效果，有不少线下参会的网友也体验了一波，例如尝试用它生成一群宝可梦：
△图源油管 @NewGadgets.de
迭代步数达到了 20 步，可以生成分辨率 512 × 512的影像。
据高通介绍，之所以相比其他项目，这个版本的 Stable Diffusion 能在手机上快速运行，是因为团队专门基于移动端 AI 软硬體技术，对开源模型进行了优化。
其中，Stable Diffusion 模型选用的是在 Hugging Face 上开源的 FP32 version1-5 版本。
为了达到 15 秒 " 快速出图 " 的效果，研究人员从硬體、框架和 AI 压缩算法上入手，在确保出图效果的同时，对模型大小和端侧运行进行适配优化：
硬體：第二代骁龙 8 移动平台
框架：高通 AI 引擎 Direct
AI 模型压缩工具：AI 模型增效工具包 AIMET
首先，基于高通 AI 模型增效工具包 AIMET，对训练后的 Stable Diffusion 模型进行量化。AIMET 中包括一些高通之前的量化研究算法如 AdaRound 等，能将模型精度从 FP32 压缩到 INT8，降低功耗的同时确保模型运行效果；
接下来，团队基于高通的 AI 引擎 Direct 框架，对这一模型进行软硬體协同优化，让它能更好地运行在 AI 计算专用的 Hexagon 处理器上，提升性能的同时最小化内存溢出；
最后，高通也采用了最新发布的第二代骁龙 8 移动平台，支持一项名叫微切片推理（Micro Inferencing）的技术，能通过在时间轴上对网络层进行切分，从而让处理器始终处于高效运转状态，提升效率。
不止是 Stable Diffusion，其他生成式 AI 算法同样如此。
高通还展示了相比其他 GPU 和 CPU，Hexagon 处理器在移动端跑人脸生成算法的效率：
至于搭载 Hexagon 处理器的第二代骁龙 8 移动平台，跑超分辨率（RDN）、背景虚化（DeeplabV3+）、人脸识别（FaceNet）和自然语言处理（MobileBERT）等算法上，性能同样高出同行 3~4 倍：
而这也正是高通一直强调的 " 端侧 AI 算力 " 性能。
据高通介绍，在这波生成式 AI 浪潮下，相比单纯借助云端算力处理 AI 模型，端侧的计算能力也同样能被加以利用。
端侧算力加速生成式 AI 落地
随着这波大模型爆火，云端计算已经成为不少人受关注的技术。
然而，作为 AI 技术最直接的落地领網域之一，同样能提供算力的移动端，是否同样会对这波生成式 AI 浪潮造成影响？
对此，高通技术公司产品管理高级副总裁兼 AI 负责人 Ziad Asghar 分享了他的看法。
Ziad Asghar 认为，让大模型这类生成式 AI 纯粹在云端运行，存在几个问题。
一方面，像网络搜索这样的算法，生成式 AI 的查询效果虽然比传统方法更好，但单次查询成本也会更高。
随着用户数量的不断增加，仅仅依靠云端算力，可能无法支持越来越多的生成式 AI 应用同时运行：
另一方面，虽然云端计算能力更大，但不少 AI 模型应用到端侧时，在推理时还会面对处理用户数据等涉及隐私安全方面的问题。
就拿个人搜索来说，要想使用 AI 算法更智能地搜索手机上的数据、同时又不上传到云端处理，那么模型最终就得部署到端侧，而非将用户数据 " 联网 " 上传。
因此，要想让生成式 AI 规模化落地，移动端也要从计算方式和应用途径上作出对应的准备。
而这也是高通提出混合 AI概念的原因，将一些 AI 模型放到终端侧进行处理。
Ziad Asghar 还表示，随着移动端 AI 处理能力的不断提升，未来几个月内，我们就能看到100 亿参数的大模型在移动端运行：
到那个时候，或许手机上的 AI 助手就真能做到 " 专人定制 " 了。
参考链接：
[ 1 ] https://mp.weixin.qq.com/s/Llqc6Elz1xY1ukN77EJFxw
[ 2 ] https://www.youtube.com/shorts/Dd8bfblL9H0
[ 3 ] https://www.youtube.com/watch?v=-pnHnlgcPfM
[ 4 ] https://www.youtube.com/watch?v=VJ_MBN2DavM
[ 5 ] https://mp.weixin.qq.com/s/J1RFNa0F1wpOvgqUxKc51w
