Hàng cũ giá tốt

Bán hàng trực tuyến

Trang tin công nghệ

Tổng hợp khuyến mại

Yêu cầu kỹ thuật

Dự án đã hoàn thànhTin công nghệTin GameReview sản phẩmBlog thủ thuậtTin tức tuyển dụng

Chat with RTX của NVIDIA được ra mắt, cho phép chạy chatbot AI trên GPU

15-02-2024, 3:53 pm

Để mở rộng hệ sinh thái AI của mình, NVIDIA đã giới thiệu "Chat with RTX", một Chatbot AI được sử dụng cho PC Windows được hỗ trợ bởi TensorRT-LLM và có sẵn miễn phí trên các GPU RTX 30 và 40. 

NVIDIA muốn thay thế ChatGPT bằng Chatbot AI "Chat with RTX" có sẵn miễn phí trên GPU RTX 30 và 40

Tiện ích của chatbot "Chat with RTX" rất đơn giản, nó được thiết kế dưới dạng một hệ thống được bản địa hóa, nghĩa là bạn sẽ có sẵn một chatbot GPT được cá nhân hóa mọi lúc trên PC mà không cần phải lên mạng. Chat with RTX có thể được cá nhân hóa hoàn toàn bằng cách sử dụng tập dữ liệu có sẵn trên PC của bạn và điều tuyệt vời nhất là nó chạy trên hầu hết các GPU RTX 40 và RTX 30.

Chat with RTX tận dụng phần mềm TensorRT-LLM & Retrieval Augmented Generationd (RAG) của NVIDIA đã được công bố cho PC chạy Windows vào năm ngoái và tận dụng tối đa khả năng tăng tốc RTX có sẵn trên phần cứng RTX để mang lại trải nghiệm tốt nhất có thể cho người dùng. Một lần nữa, ứng dụng này được hỗ trợ trên tất cả các GPU GeForce RTX 30 và 40 có bộ nhớ video ít nhất 8GB.

Sau khi tải xuống "Chat with RTX" miễn phí, người dùng có thể kết nối nó với tập dữ liệu cục bộ có sẵn trên PC (.txt, .pdf, .doc, .docx, .xml) và kết nối nó với một mô hình ngôn ngữ lớn như Mistral và Llama 2. Bạn cũng có thể thêm các URL cụ thể, chẳng hạn như cho video YouTube hoặc toàn bộ danh sách phát để nâng cao hơn nữa kết quả tìm kiếm tập dữ liệu. Sau khi kết nối, người dùng có thể sử dụng Chat with RTX giống như cách họ sử dụng Chat GPT bằng cách chạy các truy vấn khác nhau nhưng kết quả được tạo ra sẽ hoàn toàn dựa trên tập dữ liệu cụ thể, mang lại cho bạn phản hồi tốt hơn so với các phương pháp trực tuyến.

Việc có GPU NVIDIA RTX hỗ trợ TensorRT-LLM có nghĩa là bạn sẽ có sẵn tất cả dữ liệu và dự án của mình thay vì lưu chúng trên đám mây. Điều này sẽ tiết kiệm thời gian và mang lại kết quả chính xác hơn. RAG hoặc thế hệ tăng cường truy xuất là một trong những kỹ thuật được sử dụng để tạo ra kết quả AI nhanh hơn bằng cách sử dụng thư viện bản địa hóa có thể chứa đầy tập dữ liệu mà bạn muốn LLM đi qua và sau đó tận dụng khả năng hiểu ngôn ngữ của LLM đó để cung cấp cho bạn thông tin kết quả chính xác.

NVIDIA tuyên bố tăng hiệu suất gấp 5 lần với TensorRT-LLM v0.6.0 sẽ ra mắt vào cuối tháng này. Hơn nữa, nó cũng sẽ cho phép hỗ các LLM bổ sung như Mistral 7B & Nemotron 3 8B.

Bài viết liên quan
NVIDIA ra mắt GPU GeForce RTX 3050 6GB với giá 169 USD

03.02 2024

NVIDIA ra mắt GPU GeForce RTX 3050 6GB với giá 169 USD

Nvidia quay trở lại thị trường với phiên bản mới của 3050 6GB, phiên bản này cũng cắt giảm lõi CUDA, tốc độ xung nhịp và bus bộ nhớ. GPU này nhắm đến các...
GPU ra mắt phiên bản ASUS GeForce RTX 4080 SUPER Noctua OC

31.01 2024

GPU ra mắt phiên bản ASUS GeForce RTX 4080 SUPER Noctua OC

GPU GeForce RTX 4080 Super của Nvidia sẽ ra mắt vào ngày 31/1 và ASUS sẽ mang thiết kế phiên bản Noctua OC mang tính biểu tượng của mình vào dòng sản phẩm này.
NVIDIA giới thiệu Card đồ họa mới RTX 5880 Ada 48GB GDDR6 VRAM

29.01 2024

NVIDIA giới thiệu Card đồ họa mới RTX 5880 Ada 48GB GDDR6 VRAM

Nvidia mới đây đã giới thiệu mẫu card RTX 5880 với sức mạnh khủng, có khả năng thiết kế được mô hình 3D,...
Bài viết mới nhất
Bài viết nổi bật
Mess
shoppe