NVIDIA 日前推出了個人化 AI 聊天機械人 Chat with RTX,用戶可以不連接網絡,就能夠將自己的文件、筆記等資料連接大語言模型(LLM)。NVIDIA 官方表示,Chat with RTX 所有操作均在 Windows RTX PC 或工作站上本地運行,因此非常安全。
用戶可利用 Chat With RTX 使用檢索增強生成 (RAG)、TensorRT-LLM和 RTX 加速。要使用 Chat with RTX 的話,需要配備 GeForce RTX 30、40 系列以上的 GPU,或者是 RTX Ampere、Ada Generation GPU。除此之外,用戶最少需要配備 8 GB 顯示卡記憶體。
Chat with RTX 支援各種文件格式,包括 word檔、pdf、doc/docx 和 xml。只需將應用程式指向包含檔案的資料夾,數秒內就可使用。此外用戶亦可利用 Chat with RTX 「觀看」 YouTube 影片,整合影片內容。
NVIDIA 強調,由於 Chat with RTX 在本機運作,無須連接網絡,因此其查詢速度非常快,同時用戶資料僅會保存在裝置,所以非常安全,用戶可以安心處理敏感資料。
下載連結:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
資料來源:NVIDIA
相關文章:
Intel AI 晶片落後 AMD 和 Nvidia 收入未達 5 億美元目標 Nvidia 已修正 Blackwell 生產問題 黃仁勳批傳媒發放與台積電不和假消息 AWS 與 NVIDIA 兩強聯手 共同邁向 AI 研發競賽之路