Chat with RTX của NVIDIA được ra mắt, cho phép chạy chatbot AI trên GPU

Để mở rộng hệ sinh thái AI của mình, NVIDIA đã giới thiệu "Chat with RTX", một Chatbot AI được sử dụng cho PC Windows được hỗ trợ bởi TensorRT-LLM và có sẵn miễn phí trên các GPU RTX 30 và 40. 

NVIDIA muốn thay thế ChatGPT bằng Chatbot AI "Chat with RTX" có sẵn miễn phí trên GPU RTX 30 và 40

Tiện ích của chatbot "Chat with RTX" rất đơn giản, nó được thiết kế dưới dạng một hệ thống được bản địa hóa, nghĩa là bạn sẽ có sẵn một chatbot GPT được cá nhân hóa mọi lúc trên PC mà không cần phải lên mạng. Chat with RTX có thể được cá nhân hóa hoàn toàn bằng cách sử dụng tập dữ liệu có sẵn trên PC của bạn và điều tuyệt vời nhất là nó chạy trên hầu hết các GPU RTX 40 và RTX 30.

Chat with RTX tận dụng phần mềm TensorRT-LLM & Retrieval Augmented Generationd (RAG) của NVIDIA đã được công bố cho PC chạy Windows vào năm ngoái và tận dụng tối đa khả năng tăng tốc RTX có sẵn trên phần cứng RTX để mang lại trải nghiệm tốt nhất có thể cho người dùng. Một lần nữa, ứng dụng này được hỗ trợ trên tất cả các GPU GeForce RTX 30 và 40 có bộ nhớ video ít nhất 8GB.

Sau khi tải xuống "Chat with RTX" miễn phí, người dùng có thể kết nối nó với tập dữ liệu cục bộ có sẵn trên PC (.txt, .pdf, .doc, .docx, .xml) và kết nối nó với một mô hình ngôn ngữ lớn như Mistral và Llama 2. Bạn cũng có thể thêm các URL cụ thể, chẳng hạn như cho video YouTube hoặc toàn bộ danh sách phát để nâng cao hơn nữa kết quả tìm kiếm tập dữ liệu. Sau khi kết nối, người dùng có thể sử dụng Chat with RTX giống như cách họ sử dụng Chat GPT bằng cách chạy các truy vấn khác nhau nhưng kết quả được tạo ra sẽ hoàn toàn dựa trên tập dữ liệu cụ thể, mang lại cho bạn phản hồi tốt hơn so với các phương pháp trực tuyến.

Việc có GPU NVIDIA RTX hỗ trợ TensorRT-LLM có nghĩa là bạn sẽ có sẵn tất cả dữ liệu và dự án của mình thay vì lưu chúng trên đám mây. Điều này sẽ tiết kiệm thời gian và mang lại kết quả chính xác hơn. RAG hoặc thế hệ tăng cường truy xuất là một trong những kỹ thuật được sử dụng để tạo ra kết quả AI nhanh hơn bằng cách sử dụng thư viện bản địa hóa có thể chứa đầy tập dữ liệu mà bạn muốn LLM đi qua và sau đó tận dụng khả năng hiểu ngôn ngữ của LLM đó để cung cấp cho bạn thông tin kết quả chính xác.

NVIDIA tuyên bố tăng hiệu suất gấp 5 lần với TensorRT-LLM v0.6.0 sẽ ra mắt vào cuối tháng này. Hơn nữa, nó cũng sẽ cho phép hỗ các LLM bổ sung như Mistral 7B & Nemotron 3 8B.