今天小編分享的科技經驗：英偉達推出 RTX 聊天機器人，可在 RTX 30 和 40 GPU 上免費使用，歡迎閲讀。
IT 之家 2 月 13 日消息，英偉達今天發布 "Chat with RTX"（與 RTX 聊天）應用程式，這是一款适用于 Windows PC 的聊天機器人，由 TensorRT-LLM 提供支持。
IT 之家獲悉，"Chat with RTX" 聊天機器人被設計為一個本地化系統，用户無需上網便可使用，所有具有至少 8 GB 顯存的 GeForce RTX 30 和 40 GPU 都支持該應用程式。
Chat with RTX 支持多種檔案格式，包括文本、pdf、doc / docx 和 xml。只需将應用程式指向包含檔案的檔案夾，它就會在幾秒鍾内将它們加載到庫中。此外，用户還可以提供 YouTube 播放列表的 URL，該應用程式将加載播放列表中視頻的轉錄，使用户能夠查詢它們涵蓋的内容。
從官方描述來看，用户可以通過不同的查詢，與使用 ChatGPT 相同的方式使用 Chat With RTX，但生成的結果将完全基于特定數據集，似乎更适用于生成摘要、快速搜索文檔等操作。
擁有支持 TensorRT-LLM 的 RTX GPU 意味着用户将在本地使用所有數據和項目，而不是将它們保存在雲中，這将節省時間并提供更精确的結果。
英偉達表示，TensorRT-LLM v0.6.0 将性能提升 5 倍，将于本月晚些時候推出。此外，它還将支持其他 LLM，如 Mistral 7B 和 Nemotron 3 8B。
