今天小编分享的科学经验：英伟达版ChatGPT来了，PC端部署，很GPU，欢迎阅读。
英伟达推出了自家版本的 ChatGPT，名字很有 GPU 的味道——
Chat With RTX。
英伟达的这款 AI 聊天机器人和目前主流的 " 选手 " 有所不同。
这波操作，不仅是在运行效果上会更快，也就意味着 Chat With RTX 在聊天内容上或许并没有那么多限制。
网友们也纷纷对这一点发出了感慨：
哇 ~ 这是本地运行的耶 ~
当然，在配置方面也是要求的，只需要至少 8GB 的 RTX 30 或 40 系列显卡即可。
那么 Chat With RTX 的实际效果如何，我们继续往下看。
英伟达版 ChatGPT
首先，值得一提的是，Chat With RTX 并非是英伟达自己搞了个大语言模型（LLM）。
它背后所依靠的仍是两款开源 LLM，即 Mistral 和 Llama 2，用户在运行的时候可以根据喜好自行选择。
Pick 完 LLM 之后，就可以在 Chat With RTX 中上传本地檔案。
支持的檔案类型包括 txt，.pdf，.doc/.docx 和 .xml。
然后就可以开始提问了，例如：
Sarah 推荐的餐厅名字是什么？
由于是在本地运行，因此 Chat With RTX 生成答案的速度是极快的，真真儿的是 " 啪的一下 "：
Sarah 推荐的餐厅名字叫做 The Red Le Bernardin。
除此之外，Chat With RTX 另一个亮点功能，就是可以根据在线视频做回答。
例如把一个油管视频的链接 " 投喂 " 给它：
然后向 Chat With RTX 提问：
英伟达在 CES 2024 上宣布了什么？
Chat With RTX 也会以极快的速度根据视频内容作答。
至于其背后用到的技术方面，英伟达官方只是简单提了一句：" 用到了检索增强生成 （RAG）、NVIDIA TensorRTLLM 軟體和 NVIDIA RTX 等。"
如何食用？
不过在配置上，除了 GPU 的要求之外，还有一些条件，例如：
系统：Windows 10 或 Windows 11
RAM：至少 16GB
驱动：535.11 版本或更新
不过 Chat With RTX 在大小上并没有很轻量，共计大约 35G。
不然就会出现各种各样的悲剧了：
不过实测被吐槽
The Verge 在英伟达发布 Chat With RTX 之后，立即展开了一波实测。
不过结论却是大跌眼镜。
其次，如果给 Chat With RTX" 投喂 " 过多的檔案，例如让 Chat with RTX 为 25000 个文档编制索引，它就直接 " 罢工 " 崩溃了。
以及它也 " 记不住 " 上下文，因此后续问题不能基于上一个问题。
不过槽点之外，The Verge 也比较中立地肯定了 Chat with RTX 的优点。
例如搜索电腦上的文档，其速度和精准度是真香。
并且做总结也是 Chat with RTX 较为擅长的内容：
更重要的是，在本地运行这样的机制，给用户檔案的安全性带来了保障。
那么你会 pick 英伟达版的 ChatGPT 吗？
参考链接：
[ 1 ] https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
[ 2 ] https://news.ycombinator.com/item?id=39357900
[ 3 ] https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
[ 4 ] https://twitter.com/rowancheung/status/1757429733837418610
— 完 —
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
