为了扩展其AI生态系统，NVIDIA推出了“ChatwithRTX”，这是一款适用于WindowsPC的聊天机器人，由TensorRT-LLM提供支持，并可在最新的RTXGPU上免费使用。
NVIDIA希望用自己的本地可用“ChatWithRTX”AI聊天机器人取代ChatGPT，该机器人可在RTX30和40GPU上免费使用
“ChatwithRTX”聊天机器人的实用程序非常简单，它被设计为本地化系统，这意味着您将在您的PC上随时拥有个性化的GPT聊天机器人，而无需上网。通过利用PC上本地可用的数据集，可以完全个性化与RTX聊天，最好的部分是它可以在几乎所有RTX40和RTX30GPU上运行。
从细节开始，ChatwithRTX利用了NVIDIA的TensorRT-LLM和检索增强生成(RAG)软件，该软件去年针对WindowsPC推出，并充分利用RTX硬件上提供的RTX加速功能，为用户提供最佳体验。该应用程序再次受所有具有至少8GB视频内存的GeForceRTX30和40GPU支持。
免费下载“ChatwithRTX”后，用户可以将其连接到PC上可用的本地数据集(.txt、.pdf、.doc、.docx、.xml)，并将其连接到大型语言模型，例如Mistral和Llama2。您还可以添加特定的URL，例如YouTube视频或整个播放列表，以进一步增强数据集搜索结果。连接后，用户可以像使用ChatGPT一样通过运行不同的查询来使用ChatWithRTX，但生成的结果将完全基于特定数据集，与在线方法相比，为您提供更好的响应。
拥有支持TensorRT-LLM的NVIDIARTXGPU意味着您可以在本地使用所有数据和项目，而不是将它们保存在云中。这将节省时间并提供更精确的结果。RAG或检索增强生成是通过使用本地化库来更快地获得AI结果的技术之一，该库可以填充您希望LLM经历的数据集，然后利用该LLM的语言理解功能为您提供准确的结果结果。
NVIDIA为运行RTX40和RTX30GPU的Windows11PC带来高达5倍的AI加速1
NVIDIA表示TensorRT-LLMv0.6.0的性能提升了5倍，该版本将于本月晚些时候推出。此外，它还将支持其他法学硕士，例如Mistral7B和Nemotron38B。
您可以在此处下载NVIDIA的“ChatwithRTX”应用程序。它受Windows11和Windows10PC支持，并且需要最新的NVIDIAGPU驱动程序才能获得最佳性能。
