Локальный запуск модели DeepSeek R1: полное руководство для Windows, macOS, Android и iOS

Краткое содержание:

    • Если у вас есть опасения по поводу конфиденциальности, вы можете запустить модель DeepSeek R1 локально на компьютере под управлением Windows, macOS, Android или iOS.
    • Вы можете установить LM Studio для запуска специально модифицированной модели DeepSeek R1 7B, но ваше устройство должно иметь 8 ГБ оперативной памяти.
    • В противном случае вы можете установить Ollama и начать с очищенных моделей DeepSeek R1. Он даже предлагает небольшую модель с 1.5 миллиардами параметров.
    • DeepSeek R1 можно запустить на Android и iOS с помощью бесплатного приложения PocketPal AI.

Модель DeepSeek R1 от китайской команды произвела фурор в индустрии ИИ. Он превзошел ChatGPT и возглавил список App Store в США. Более того, DeepSeek потрясает рынок технологий США своей флагманской моделью R1, которая, по ее утверждениям, не уступает ChatGPT. Хотя доступ к DeepSeek R1 можно получить бесплатно на официальном сайте, многие пользователи обеспокоены вопросами конфиденциальности, поскольку данные хранятся в Китае. Итак, если вы хотите запустить DeepSeek R1 локально на своем ПК или macOS, вы можете легко сделать это с помощью LM Studio и Ollama. Вот пошаговое руководство по началу работы.

Требования к локальной эксплуатации DeepSeek R1

Для запуска модели DeepSeek R1 на ПК, macOS или Linux ваше устройство должно иметь не менее 8 ГБ оперативной памяти. Благодаря 8 ГБ памяти вы можете достаточно эффективно запустить небольшую модель DeepSeek R1 с 1.5 миллиардами параметров, выдавая результаты со скоростью около 13 символов в секунду. Вы также можете запустить модель с 7 миллиардами параметров, но она будет потреблять около 4 ГБ памяти, что может сделать вашу систему немного менее отзывчивой.

При наличии большего объема памяти вы также сможете запускать модели с 14 миллиардами, 32 миллиардами и 70 миллиардами параметров, но вам понадобятся более быстрые центральный и графический процессоры. В настоящее время большая часть программного обеспечения не использует нейронный процессор (NPU) для запуска собственных моделей ИИ. Вместо этого он в основном полагается на центральный процессор, а в некоторых случаях (например, в случае высокопроизводительных графических процессоров Nvidia) графический процессор используется для вывода.

Для телефонов Android и iPhone рекомендуется иметь не менее 6 ГБ оперативной памяти для плавной работы модели DeepSeek R1. Вы можете запустить DeepSeek R1 на Snapdragon 8 Elite или других чипах Snapdragon 8-й и 7-й серий. Кроме того, вы можете сравнить модели DeepSeek R1 и ChatGPT o1 здесь.

Запуск модели DeepSeek R1 на ПК с использованием LM Studio

LM Studio — самый простой способ запустить модель DeepSeek R1 на ПК, Mac и Linux. Он имеет простой в использовании пользовательский интерфейс, и вы можете исследовать и загружать совместимые модели ИИ всего за несколько щелчков мыши. Более того, приложение абсолютно бесплатно в использовании.

  • Загрузите и установите LM Studio версии 0.3.8 или более поздней (Бесплатно) на ПК, Mac или Linux.
  • Далее запустите LM Studio и перейдите в окно поиска на левой панели.
  • Здесь, в поиске моделей, вы найдете модель «DeepSeek R1 Distill (Qwen 7B)» (Обнимая лицо).
  • Теперь нажмите «Загрузить». Для использования этой модели вам потребуется не менее 5 ГБ дискового пространства и 8 ГБ оперативной памяти.

Загрузите модель deepseek r1 с помощью lm studio

  • После загрузки модели DeepSeek R1 перейдите в окно «Чат» и загрузите модель.

Загрузить модель deepseek r1 на Windows

  • Просто выберите шаблон и нажмите кнопку «Загрузить шаблон». Если вы столкнулись с ошибкой, уменьшите «GPU offload» до 0 и продолжайте.

Запуск модели deepseek r1 с использованием lm studio Запуск модели DeepSeek R1 локально на компьютере с использованием Ollama

  • Начать установку Ollama (مجاني) на компьютере с Windows, macOS или Linux.
  • Теперь запустите Терминал и выполните команду ниже, чтобы запустить DeepSeek R1 локально.
  • Это модель небольшого размера. 1.5 млрд дистиллятов DeepSeek R1 Для компьютеров с низкими характеристиками используется Qwen. Он потребляет всего 1.1 ГБ памяти.
оллама запустить deepseek-r1:1.5b

Установить deepseek r1 с помощью ollama

  • Если у вас большой объем памяти и мощное оборудование, вы можете запускать модели. 7 миллиардов или 14 миллиардов или 32 миллиарда или 70 миллиардов Получено из DeepSeek R1. Вы можете найти команды здесь.
  • Вот как запустить 1-миллиардную модель DeepSeek R7 на вашем компьютере. Потребляет 4.7 ГБ памяти.
оллама запустить deepseek-r1:7b

Установить модель deepseek r1 7b с помощью ollama

  • Теперь вы можете общаться с DeepSeek R1 локально на своем компьютере, прямо из Терминала.
  • Чтобы прекратить общение с моделью ИИ и выйти, используйте сочетание клавиш «Ctrl + D».

Запуск модели deepseek r1 7b с использованием ollama

Локальный запуск DeepSeek R1 с использованием Open WebUI

Если вы хотите использовать модель DeepSeek R1 локально с пользовательским интерфейсом, похожим на ChatGPT, вы можете установить Открыть веб-интерфейс (GitHub) на ПК или Mac. Это приложение использует сервис Ollama для предоставления множества замечательных функций, таких как анализатор кода, голосовой чат, анализ файлов, персонализированные инструкции и многое другое.

Короче говоря, вы можете запустить DeepSeek R1 локально на своем компьютере со всеми функциями ChatGPT.

  • Во-первых, сделайте Настройка Python и Pip на твоем компьютере.
  • Затем откройте Терминал или Командную строку и выполните команду ниже, чтобы установить Open WebUI. Этот шаг займет несколько минут.
pip install open-webuy

Установить open webui через командную строку

  • После установки запустите модель DeepSeek через Ollama в Терминале.
  • Для запуска Ollama вы можете следовать инструкциям, указанным выше.
оллама запустить deepseek-r1:1.5b

Запуск модели deepseek r1 через ollama

  • После запуска Ollama выполните команду ниже, чтобы запустить сервер Open WebUI.
open-webui обслуживать

Запустить открытый веб-сервер

  • Далее коснитесь http://localhost:8080 Чтобы открыть локальный сервер Open WebUI.
  • Нажмите «Пуск» и введите здесь свое имя.

открыть домашнюю страницу webui

  • Теперь вы можете использовать DeepSeek R1 с помощью простого в использовании пользовательского интерфейса.
  • Open WebUI автоматически выберет модель DeepSeek R1 в раскрывающемся списке.

Запускайте DeepSeek R1 локально на телефонах Android и iPhone

Вы можете быстро запустить DeepSeek R1 локально на телефоне Android и iPhone. На Android я протестировал несколько приложений, включая LM Playground, Private AI, Llamao и другие, но PocketPal оказался лучшим. Для запуска локальных моделей ИИ на телефонах Android - Все бесплатно.

Самое приятное, что PocketPal AI также доступен на iOS, и он совершенно бесплатен, в отличие от Apollo AI и Private LLM. Вот как начать.

  • Прежде всего установите приложение PocketPal AI.
  • Далее запустите приложение и нажмите «Перейти к формам».
  • Здесь нажмите на кнопку «+» в правом нижнем углу.
  • Выберите здесь «Добавить из Hugging Face».

Скачать модель deepseek r1 на Android

  • Найдите «deepseek» и прокрутите вниз, чтобы найти «DeepSeek-R1-Distill-Qwen-1.5B» от bartowski.
  • Откройте его и загрузите подходящую модель в зависимости от объема памяти вашего телефона. Для этого урока я загрузил квантованную модель «Q5_K_M», поскольку она занимает около 1.3 ГБ оперативной памяти.
  • После загрузки формы вернитесь и нажмите «Загрузить».

Загрузить модель deepseek r1 на Android локально

  • Теперь вы можете общаться локально с помощью модели DeepSeek R1 на своем телефоне Android или iPhone.

Запустите модель deepseek r1 локально на Android

Существуют различные способы установки DeepSeek R1 на ПК и смартфон. Чат с моделью ИИ офлайн. В ходе моего краткого тестирования обе модели 1.5B и 7B показали множество галлюцинаций и исторических ошибок.

Однако вы можете легко использовать эти шаблоны для творческого письма и математических рассуждений. Если у вас мощное оборудование, я рекомендую попробовать модель DeepSeek R1 32B. Он гораздо лучше справляется с кодированием и дает ответы, подкрепленные логикой.

Перейти к верхней кнопке