今天小编分享的科学经验:华为智慧搜索更好用了!上线智慧搜图,用人话就能找出“我的”图片,欢迎阅读。
搜索引擎的求变信号,比以往任何时候都要强烈。
先是谷歌推出 AI snapshot,让搜索结果不再只是 "10 条蓝色链接 ",还加上了 AI 智能总结;很快百度也把 "AI 伙伴 " 嵌入搜索引擎,通过对话就能得到问题解答。
不过,这些都还只是针对外部搜索。
对于移动端来说,"内部搜索" 需要也正在同步发生改变。
内部搜索,相比于搜索外部世界知识,是把用户个人信息当成一个巨大知识库的搜索技术。
但无论哪种搜索,对于智能化要求都很高,甚至需要借助千亿参数级别的大模型实现。
以从手机中找一张照片为例。以前我们的操作习惯可能是翻个 10 分钟相册,从几百张表情包或是几千张照片中找到想要的那张(甚至找不到)。
但在搭载 HarmonyOS 3.1 的华为 P60 系列和 Mate X3 手机上,现在只需用自然语言描述想找的照片特征,系统就能高效识别、并给出相关影像。
不仅能理解整体语义,如在图库输入 " 山顶看日出 " ——
就连更精细的时间、地点描述也能快速 get 到,如语音唤起小艺搜索 " 去年在长白山滑雪的照片 ":
最关键的是,这种堪比大模型语义理解的搜索方式,直接在端侧就能实现,无需将数据上传到云端处理。
换而言之,即使手机开飞行模式,这种内部搜索也照样能进行。
所以,这个新出的图片搜索功能究竟有啥特点,率先把它部署到端侧的华为又做了什么?
华为智慧搜图长啥样?
此前,在手机上搜索图片主要有两种方式。
一种相当于 " 换皮 " 的檔案搜索,用户不仅得准确回忆起具体时间、拍摄地址等信息,甚至得精确到檔案名:
另一种则是依靠分类 AI 做的影像识别功能,但这种搜图也只能通过某些场景关键词描述缩小搜索范围,例如风景、美食、人像等。
显然,这两种方法都还停留在 " 信息匹配 " 阶段,支持的标签数量也有限,一旦搜不出来,最终还是得回到手动翻照片流程上。
这是因为,我们不仅习惯用自然语言描述图片内容,而且描述的内容不限定某个名词,还可能是动词、场景、代词等。
要想做到搜索 " 记忆中 " 的个人图片,AI 模型不仅得听得懂人话,还要能提取人话中的细粒度标签,并将之对应到图片上。
现在,华为最新的智慧搜图,就很好地实现了这两大功能。
除了可以直接搜名词找图片,还可以用任何短描述词来形容影像,如桌面下拉在智慧搜索中输入 " 奔跑的 ",系统就能自动搜出相册中奔跑的各种人像,快速给出推荐:
如果感觉搜出来的范围还是太大了,还能随时增加信息标签,如 " 奔跑的 " 变成 " 奔跑的小狗 ",立刻就能找到想要的影像:
当然,不止能添加一两个标签。如果你想,还可以灵活地细化描述,如加上时间、地点、人物、语义等各种复合标签,像 " 前年冬天和女朋友去内蒙古拍的各种好吃的 " 等。
体验过华为智慧搜图后,最直观的感受应该就是 "AI 理解力" 和 "响应速度" 了。
相比传统的檔案搜索、或是 AI 影像识别方法,华为智慧搜图主要实现了图片搜索功能的两大 " 跃迁 ":
其一," 人话 " 解读能力。传统影像 AI 往往按 " 时间 "、" 地点 " 等概括词分类,而智慧搜图不仅能单独搜词分类,甚至还能放一起搜,如 " 去年在动物园拍的老虎 " 等。
其二,高效搜索速度。相比动辄翻上十几分钟半个小时的相册,现在无论从桌面下拉智慧搜索、打开图库、或是用小艺语音,都只需要一句话就能搜到想要的图片,系统级地提升了找信息的效率。
虽然听起来只是手机等移动端搜索功能上的一个小突破,然而在华为之前,端侧却没有一个厂商能够解决这个难题。
究竟是什么技术这么难实现?
技术上突破了什么难点?
事实上,无论是大模型的语义理解能力,还是搜索引擎的响应速度,都并非计算资源极其有限的端侧所能承受。
因此,之前大部分搜索引擎和大模型相关 APP 解决 " 上线到移动端 " 的唯一办法,是将模型计算量分配到云端,解决资源不够的问题。
但这势必意味着,数据处理要在云端进行。
具体到技术细节来看,又有三大难点:
其一,压缩多模态大模型并确保精度。这并非简单用剪枝或量化等方法,直接压缩几倍模型大小就能搞定。毕竟对于端侧而言,算力有限的情况下,能部署的模型大小是往往只能达到大模型的几十分之一。
其二,搜索所需功耗随着数据增加逐渐增大。对于端侧搜索引擎而言,面对不断更新的照片、檔案等数据,只能将索引重新写一遍,这势必导致大量新的计算开支。
其三,模型更新等面临的云端协同问题。虽然 AI 模型最终部署在端侧,但无论是模型效果迭代、更新,训练还是得在云端进行,最终再下发到端侧,这势必要求厂商同时具备云端两方面的技术。
因此,对于数据隐私极为敏感的内部搜索而言,这两类技术想要布局到端侧上非常难。此前的 " 折中 " 方法,最多也就是将影像分类 AI 这种 " 小模型 " 布局到端侧,实现简单的智能搜图。
所以,华为究竟是如何解决这些难点,同时又最大程度上保留大模型 " 理解人话 " 效果和搜索响应速度的?
简单来说,华为在 AI 模型和搜索引擎两方面,都自研了对应的技术。
一方面,华为专门为端侧自研了轻量级的多模态语义理解模型,能够在不损失精度的情况下,将大模型缩小几十倍。
首先,用多模态语义表征模型将不同模态输入转变为语义向量,结合多模态语义对齐算法模型对齐文本和图片的语义信息,结合华为内部的海量高质量数据,提升召回率。
然后,依靠轻量化部署技术,在端侧实现高精度检索,同时确保数据留在本地,提高隐私安全保护。
另一方面,华为又使用索引分段、定期压缩合并等方式,成功将检索引擎 " 塞 " 进了移动端中。
检索引擎部署到端侧的核心难点,是云侧离线构建索引的方式在端侧无法实现。
为了解决这一问题,华为先通过采用索引分段,减少单次落盘时间,并通过定期压缩合并的方式,释放已删除数据占用的内存 / 磁盘资源,以降低所需的存储空间;
随后,又通过定义索引的格式,将地点、时间等信息作为索引的一部分,快速实现检索条件过滤,并返回和查询语句最相关的结果,相比数据库检索能提升十几倍效率。
△几乎不需要计算时间
不过,耗费这么大的技术资源,去实现移动端一个看似很小的 " 搜图 " 功能,华为这样做的目的究竟是什么?
为什么要做智慧搜图?
直接原因当然是手机用户——也就是你我,真的很需要这个功能。
试问谁没有经历过,因为找一张图片而需要化身福尔摩斯展开缜密分析的场景:
" 我上一次看到这张图是什么时候 "、" 它是什么时候存的 "、" 那天我还拍什么了 " ……
但即便根据这些问题思索完,最终也不一定真能找到那张图。
尤其随着大家在手机内存的照片越来越多、种类越来越复杂——不光是记录生活的照片,还有上课拍下的 PPT、网上保存的旅行图文攻略等堆在相册里,手动查找的难度也越来越高。
手机系统厂商们早就注意到这个事了。
如自动分类相册、根据标签检索、OCR 检索照片文字等功能,都陆续出现在大家的手机里。
但是这些能力相对而言,灵活性不高、实际效果有限,很多时候也是躺在手机里 " 吃灰 "。
所以,让搜图功能更智能化是目前用户侧真实存在的需求,也直接驱动了华为上线智慧搜图功能。
而深层原因上,还有内外两方面因素驱动。
外因来自于行业方面:搜索功能更拥抱 AI 是大势所趋。
通过行业各种数据的初步验证,让搜索更加智能、高效符合用户当下的需求,能推动行业向前发展。
不过目前覆盖的范围是互联网上的内容搜索,而日常生活中还有另一大搜索场景——端侧搜索,也需要智能化更新。
尤其随着用户在手机 / 电腦本地及个人账户中存储的檔案、图片、音频等越来越多,涉及到对个人信息的搜索操作增加,这种更新也变得更加迫切起来。
比如微软在变革必应的同时,也推出了 Windows Copilot,一举替代原本的 " 小娜 "。它们的定位虽是 AI 助手,但也同样覆盖了端侧搜索的应用场景,二者最大的差距便是 Windows Copilot 引入更强的 AI 能力、更加智能化。
总之,无论对内对外,搜索接入更加强大的 AI、向着更智能高效便捷的方向发展,已经是行业的共识。
深层内因:则来自于华为自身。
智慧搜图其实是作为华为智慧搜索战略与蓝图的一部分推出。
所谓智慧搜索,具体来看就是一个一站式聚合入口,实现了手机桌面下拉一下,就能以最快捷的方式,一步直达各类本机应用及信息内容,同时支持全场景跨终端搜索。
它的定位是进行 " 我的 " 搜索。
搜索范围是用户在手机端上的各类信息和功能,比如图片檔案 APP 等;搜索的目标是智能识别用户的需求,让用户在 " 我的 " 领網域内,实现更加快速便捷的操作。
智慧搜索的战略是要实现 "本机搜索 + 生态搜索 + 全场景搜索"。
这三者联通,便能覆盖所有 " 我的 " 搜索。
其一,本机搜索是指本机应用搜索、图片搜索、檔案搜索(含云端檔案)、搜設定项、搜备忘录等。
比如最新更新版本中,智慧搜索下拉即搜华为云空间的云盘檔案,只需输入檔案名称关键词就能开始搜索,范围包括自己存入云盘的本地檔案、微信 /QQ 保存的檔案等。
前文提到的智慧搜图,也在这一范畴内。
此外还能智慧搜索备忘录,如采购清单、密码账单、朋友生日等等零碎信息,如果在记录时没有对内容进行分类的话,想要再查看之前记录的文稿十分费事。现在智慧搜索能帮人省去这一步了。
其二生态内容搜索,包括搜服务及网页内容、旅游出行、本地生活、音乐视频、购物等。
尤其是购物方面,能聚合全网精品商品,提供与 " 我 " 相关的购物服务。
其三则是全场景搜索,即跨设备搜索。
HarmonyOS 将手机、电腦、平板等设备之间壁垒打通,形成了一个 " 超级终端 "。
在登录同一帐号情况下,用户在 PC 端点击华为电腦桌面任务栏控制中心内搜索圖示,或使用快捷键 Ctrl+Alt+Q,可快速检索手机、平板内的檔案。包括文档、应用、图片、视频等,并支持选择不同类型檔案进行快捷预览。
通过整合 " 软硬芯云一体化 " 技术,端侧预置 AI 模型的加持,保障跨端搜索也不会有延迟感。
总之,无论是从最基本的用户层面,还是行业层面、华为自身,都在推动作業系統将端侧搜索体验进一步更新。
由此也就不难理解华为为什么要上线智慧搜图功能。
尤其是当下,手机作業系統经过十余年发展,在功能、内容、生态上的搭建都已经相对完善,接下来的更新和迭代一定是朝着更加细微处发展。
这些细小的更新和改变,更加润物细无声,往往让人在使用了很久后不得不感慨一句:真香。
如果从更加宏观的角度来看,这些细微功能的更新和改变,还能把人机互動体验 " 卷 " 向一个新的水平和高度。
从华为的动作里可以看到,它们选择了端侧搜索作为切入口之一,由点及面带来改变。
智慧搜图的出现,更像是一个 " 序章 ",后面隐藏着华为对智慧搜索、手机系统、乃至人机互動的无限想象。
AI 更新端侧,从搜索看起
不仅仅是华为。
一方面,从AI 技术落地场景来看,本机搜索、甚至是 " 搜图 " 这个特定功能,或许是 AI 技术应用到移动端最容易忽略、又最为重要的方式之一。
当前这波最新的 AI 浪潮,正在飞速改变搜索引擎的互動方式。
正如开头所言,无论谷歌还是百度,都已经投身这场搜索引擎革新,在云侧改变搜索的方式,核心就是让搜索引擎具备自然语言理解能力,更好地认知并理解用户的意图。
但这并不意味着只有云端的搜索引擎会被迭代。
在端侧用自然语言搜 " 内部数据 ",与在云端用自然语言提问一样,是长期以来用户隐秘的刚需之一。随着计算硬體的迭代和算法的优化,AI 用于移动端改善用户体验,也必然成为一种全新的趋势。
另一方面,从人机互動角度来看,这种对内的搜索,不会局限于单一设备,必然是多端互通,形成核心以 " 人 " 为部門,最终完成全局智能化检索的生态。
如今人类对移动计算平台的畅想,已经从 PC、手机逐渐延伸到 VR、AR、智能汽车等新型终端上。
而在这些新型移动计算平台上,互動的形式开始不再局限于一块螢幕,转而变成更加自然的语言、手势互動。
最终在 " 万物互联 " 的前提下,实现多端信息的互通。
总之,无论从 AI 落地应用、还是人机互動趋势而言,搜索都是移动端必不可少的体验改善功能之一。
无论技术趋势如何,华为已经都从移动端侧做好了提升用户体验的准备。
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>