Nvidia запустила Chat with RXT, чат-бота с искусственным интеллектом, который работает на вашем компьютере и предлагает функции, аналогичные тем, которые вы найдете при использовании ChatGPT, и многое другое! Все, что вам нужно, это видеокарта Nvidia RTX, и вы готовы начать использовать нового чат-бота Nvidia.
В этой статье мы подробно рассмотрим возможности чат-бота Nvidia и способы его использования на вашем компьютере. Мы изучим потенциальные возможности использования и посмотрим, как вы можете максимально эффективно использовать эту инновационную технологию. Проверять Как использовать Poe из Quora для доступа к различным чат-ботам и моделям LLM.
Быстрые ссылки
Что такое чат с RTX от Nvidia?
Nvidia Chat с RTX — это модель искусственного интеллекта (ИИ), которая позволяет запускать большую языковую модель (LLM) локально на вашем компьютере. Таким образом, вместо подключения к Интернету для использования чат-бота с искусственным интеллектом, такого как ChatGPT, вы можете использовать Chat с RTX в автономном режиме, когда захотите.
Чат с RTX использует TensorRT-LLM, ускорение RTX и квантовый Mistral 7-B LLM, чтобы обеспечить высокую производительность и высокое качество ответов на уровне других онлайн-чат-ботов с искусственным интеллектом. Он также предлагает расширенную генерацию поиска (RAG), позволяющую чат-боту читать ваши файлы и давать персонализированные ответы на основе предоставленных вами данных. Это позволяет вам настроить чат-бота для обеспечения более личного взаимодействия.
Чат с функциями RTX:
- местный: Он работает на вашем компьютере локально без подключения к Интернету, что дает вам полный контроль над вашими данными и конфиденциальностью.
- Настраиваемый: Вы можете обучить его на своих собственных данных, таких как видео и документы YouTube, чтобы создать персонализированный чат.
- многоязычный: Поддерживает множество языков.
- легко использовать: Простой и удобный пользовательский интерфейс.
Что может Чат с RTX?
- Ответьте на ваши вопросы: Чат с RTX может ответить на ваши вопросы по самым разным темам, включая новости, текущие события, науку и историю.
- Обобщающая информация: Чат с RTX может суммировать информацию из видео YouTube, документов и других источников данных.
- Создавайте креативный контент: Чат с RTX позволяет создавать творческий контент, например стихи, рассказы и тексты.
- Языковой перевод: Чат с RTX может переводить тексты с одного языка на другой.
Если вы хотите попробовать Nvidia Chat с RTX, вот как его загрузить, установить и настроить на своем компьютере.
Как загрузить и установить Nvidia Chat с RTX
Nvidia значительно упростила запуск модели LLM локально на вашем компьютере. Чтобы запустить Chat с RTX, просто загрузите и установите приложение, как и любое другое приложение. Однако Chat with RTX имеет некоторые минимальные требования к техническим характеристикам, которые необходимо соблюдать для правильной установки и использования.
- Видеокарта RTX 30-й или 40-й серии.
- Оперативная память 16 ГБ.
- 100 ГБ свободного места.
- ОС Windows 11.
Если ваш компьютер соответствует минимальным системным требованиям, вы можете установить приложение.
- Шаг 1: Загрузите zip-файл Chat с RTX.
- Скачать: Чат с RTX (35 ГБ бесплатная загрузка)
- Шаг 2: Извлеките zip-файл, щелкнув правой кнопкой мыши и выбрав инструмент архивирования файлов, например 7Zip, или дважды щелкнув файл и выбрав Извлечь все.
- Шаг 3: Откройте извлеченную папку и дважды щелкните файл setup.exe. Следуйте инструкциям на экране и установите все флажки в процессе выборочной установки. После нажатия кнопки «Далее» мастер установки загрузит и установит LLM и все зависимости.
Установка Chat with RTX займет некоторое время, поскольку загружается и устанавливается большой объем данных. После процесса установки нажмите «Закрыть», и все готово. Теперь пришло время опробовать приложение.
Как использовать чат с RTX от Nvidia
Хотя вы можете использовать Chat с RTX как обычный онлайн-чат-бот, я настоятельно рекомендую вам ознакомиться с его функциональностью RAG, которая позволяет вам настраивать его вывод на основе файлов, к которым вы предоставляете ему доступ.
Шаг 1. Создайте папку RAG.
Чтобы начать использовать RAG в чате с RTX, создайте новую папку для хранения файлов, которые ИИ должен проанализировать.
После создания поместите нужные файлы данных в папку. Сохраняемые вами данные могут охватывать множество тем и типов файлов, таких как документы, PDF-файлы, текст и видео. Однако вы можете ограничить количество файлов, помещаемых в эту папку, чтобы это не влияло на производительность. Больше данных для поиска означает, что Chat с RTX будет требовать больше времени для возврата ответов на определенные запросы (но это также зависит от внутреннего оборудования устройства).
Теперь, когда база данных готова, вы можете настроить Чат с RTX и начать использовать его для ответа на ваши вопросы и запросы.
Шаг 2. Подготовьте среду.
Откройте чат с RTX. Интерфейс должен выглядеть как на изображении ниже.
В разделе «Набор данных» убедитесь, что выбран параметр «Путь к папке». Теперь нажмите значок редактирования внизу и выберите папку, содержащую все файлы, которые вы хотите прочитать в Chat with RTX. Также можно изменить модель ИИ, если доступны другие варианты (на момент написания статьи доступен только Мистраль 7Б).
Теперь вы готовы использовать чат с RTX.
Шаг 3. Задайте свои вопросы в чате с RTX!
Есть несколько способов узнать различную информацию с помощью чата с RTX. Первый — использовать его как обычного чат-бота с искусственным интеллектом. Я спросил Чата с RTX о преимуществах использования местной модели LLM и остался доволен его ответом. Это было не очень подробно, но достаточно точно.
Но поскольку модель Chat with RTX поддерживает RAG, вы также можете использовать ее в качестве личного помощника на базе искусственного интеллекта.
Выше я использовал чат с RTX, чтобы узнать о своем расписании. Данные поступали из PDF-файла, содержащего расписание, календарь, события, работу и т. д. В этом случае Chat с RTX извлек из данных правильные данные календаря; Чтобы подобные функции работали правильно, вам необходимо поддерживать файлы данных и даты календаря в актуальном состоянии, а также их необходимо будет интегрировать с другими приложениями.
Есть много способов использовать RAG в чате с RTX в свою пользу. Например, вы можете использовать его для чтения юридических документов и предоставления их резюме, создания кода, соответствующего разрабатываемому вами приложению, получения информации о видео, которое вы были слишком заняты, чтобы посмотреть, и многого другого! Проверять Стоит ли использовать местную модель LLM? Преимущества, недостатки и лучшие практики.
Шаг 4: Дополнительный бонус
Помимо локальной папки данных, вы можете использовать Chat с RTX для анализа видео YouTube. Для этого в наборе данных измените путь к папке на URL-адрес YouTube.
Скопируйте URL-адрес YouTube, который вы хотите проанализировать, и вставьте его под раскрывающееся меню. Затем спроси!
Чат с RTX во время анализа видео YouTube был очень хорош и предоставлял точную информацию, поэтому он может быть полезен для быстрого исследования, анализа и многого другого. Проверять Как эффективно использовать Scikit-LLM для анализа текста с использованием больших языковых моделей.
Чат с RTX от Nvidia хорош?
ChatGPT обеспечивает функциональность RAG. У некоторых местных чат-ботов с искусственным интеллектом системные требования гораздо ниже. Итак, стоит ли использовать чат с RTX?
Ответ – да! Чат с RTX стоит использовать, несмотря на конкуренцию.
Одним из самых больших преимуществ использования Chat с RTX является возможность использовать RAG без отправки файлов на сторонний сервер. Настройка GPT через онлайн-сервисы может привести к раскрытию ваших данных. Но поскольку Chat с RTX работает локально и в автономном режиме, использование RAG в Chat с RTX гарантирует, что ваши конфиденциальные данные будут в безопасности и доступны только на вашем компьютере.
Что касается других отечественных чат-ботов с искусственным интеллектом, работающих на Mistral 7B, производительность чата с RTX лучше и быстрее. Хотя значительная часть прироста производительности достигается за счет использования высокопроизводительных графических процессоров, использование Nvidia TensorRT-LLM и ускорения RTX позволило Mistral 7B работать быстрее в чате с RTX по сравнению с другими методами запуска LLM, оптимизированного для чата.
Стоит отметить, что версия Chat with RTX, которую мы сейчас используем, является бета-версией. Более поздние версии Chat with RTX, вероятно, станут более оптимизированными и обеспечат повышение производительности.
Что делать, если у меня нет видеокарты серии RTX 30 или 40?
Чат с RTX — это простой, быстрый и безопасный способ запустить вашу модель LLM локально без необходимости подключения к Интернету. Если вы также заинтересованы в локальном запуске LLM, но у вас нет видеокарты серии RTX 30 или 40, вы можете попробовать другие методы локального запуска LLM. Двумя наиболее популярными из них являются GPT4ALL и Text Gen WebUI. Попробуйте GPT4ALL, если вам нужен локальный интерфейс Plug-and-Play с LLM. Но если вы немного более технически подкованы, LLM пройдет. Генерация текста через веб-интерфейс Это обеспечит вам лучший контроль и гибкость. Теперь вы можете просмотреть Запустите копию ChatGPT локально и бесплатно в Windows с помощью GPT4All.
