شرکت انویدیا به منظور گسترش اکوسیستم هوش مصنوعی خود، یک ویژگی جدید به نام “Chat with RTX” را معرفی کرده است. این ویژگی به عنوان یک چت بات برای کاربران PCهای ویندوزی طراحی شده است و از تکنولوژی TensorRT-LLM برای اجرای خود بهره می‌برد. “Chat with RTX” به صورت رایگان بر روی جدیدترین کارت‌های گرافیکی RTX شرکت انویدیا در دسترس قرار گرفته است.
شرکت انویدیا قصد دارد که ChatGPT را با “Chat with RTX” جایگزین کند، این چت بات محلی رایگان که به صورت خاص برای پردازنده‌های گرافیکی RTX 30 و ۴۰ ساخته شده است. این ابزار چت ربات ساده ای است که به عنوان یک سیستم محلی طراحی شده است، به این معنی که کاربران می‌توانند یک ربات چت شخصی GPT را همیشه در PC خود داشته باشند، بدون نیاز به اتصال آنلاین. “Chat with RTX” قابلیت کامل شخصی‌سازی با استفاده از مجموعه داده‌های محلی در دسترس در PC را دارد. به علاوه، این ابزار تقریباً بر روی تمامی کارت‌های گرافیکی RTX 40 و RTX 30 اجرا می‌شود.
مشخصات چت بات Chat with RTX
استفاده از ابزار Chat with RTX به واسطه نرم‌افزار TensorRT-LLM و Retrieval Augmented Generated (RAG) از NVIDIA می‌باشد. این ابزار، که سال گذشته برای PCهای ویندوزی عرضه شد، از قابلیت‌های شتاب RTX موجود در سخت‌افزار RTX بهره می‌برد تا تجربه کاربری بهتری را ارائه دهد. باسد تأکید دارد که این برنامه با تمامی کارت‌های گرافیک GeForce RTX 30 و ۴۰ با حداقل ۸ گیگابایت حافظه ویدیویی سازگار است.
پس از نصب رایگان «Chat with RTX»، کاربران می‌توانند این ابزار را به مجموعه داده‌های محلی خود (شامل فایل‌های txt، .pdf، .doc، .docx و .xml) متصل کرده و آن را به مدل‌های زبان معروف مانند Mistral و Llama 2 ارتقاء دهند. همچنین این امکان وجود دارد که URLهای خاصی مانند ویدیوهای YouTube یا لیست‌های پخش را به آن افزوده و محتواهای بیشتری را در نتایج جستجوی مجموعه داده ایجاد کنند. پس از اتصال، کاربران می‌توانند از Chat With RTX به همان اسلوب ChatGPT با پرسش سوالات مختلف استفاده کنند. اما لازم به ذکر است که نتایج این ابزار کاملاً بر اساس مجموعه داده‌های محلی بوده و به مقایسه با روش‌های آنلاین، پاسخ‌های بهتری ارائه می‌دهد.
داشتن یک کارت گرافیک NVIDIA RTX با قابلیت پشتیبانی از TensorRT-LLM به معنای دسترسی آسان و محلی به تمام داده‌ها و پروژه‌های شماست، به جای نیاز به ذخیره‌سازی در فضای ابری. این ویژگی باعث سرعت بخشیدن به فرآیند و ارائه نتایج دقیق‌تر می‌شود. روش RAG یا Retrieval Augmented Generation یک تکنیک است که برای بهبود سرعت نتایج هوش مصنوعی استفاده می‌شود. این روش از یک کتابخانه محلی برای انجام ماموریت‌های مشخص شده استفاده می‌کند. شما می‌توانید این کتابخانه را با مجموعه داده‌ای که می‌خواهید LLM از آن استفاده کند، پر کنید. سپس از قابلیت‌های درک زبان LLM برای ارائه اطلاعات دقیق به شما بهره می‌برید.
شرکت NVIDIA اعلام کرده است که با نسخه ۰.۶.۰ از TensorRT-LLM، عملکرد ۵ برابری افزایش یافته است و این نسخه اواخر این ماه در دسترس قرار خواهد گرفت. همچنین، پشتیبانی از LLM های اضافی مانند Mistral 7B و Nemotron 3 8B نیز افزایش می‌یابد.
برنامه “Chat with RTX” از سیستم‌های عامل ویندوز ۱۱ و ویندوز ۱۰ پشتیبانی می‌کند و برای عملکرد بهینه نیاز به نصب آخرین درایورهای گرافیکی NVIDIA دارد.
