Gemini против ChatGPT против офлайн-альпаки: какая модель большого языка лучше?

LLM бывают всех форм и размеров и помогут вам любым способом, который они сочтут нужным. Но какая модель лучше всего подходит для ваших различных потребностей? Мы серьезно тестируем доминирующие системы искусственного интеллекта от Alphabet, OpenAI и Meta. Проверять Сравнение ChatGPT и Google Gemini: что лучше?

Что нужно знать о чат-ботах с искусственным интеллектом

Использование искусственного интеллекта в целом было целью ученых-компьютерщиков на протяжении десятилетий, и еще дольше оно было опорой писателей-фантастов и кинематографистов.

Искусственный общий интеллект демонстрирует интеллект, сравнимый с когнитивными способностями человека, а тест Тьюринга — метод определения того, способен ли компьютер или приложение демонстрировать человеческий интеллект — практически не подвергался сомнению в течение семи десятилетий с момента его первого изобретения.

Недавняя конвергенция сверхкрупномасштабных вычислений, огромные суммы денег, которые были инвестированы, и ошеломляющий объем информации, свободно доступной в открытом Интернете, позволили крупным технологическим компаниям обучать модели, которые могут предсказывать следующий раздел слова — или token — в строке токенов.

На момент написания этой статьи оба Google Близнецы وChatGPT OpenAI доступны для использования и тестирования через предоставляемые ими веб-интерфейсы.

Образец языка мета, LLaMa, недоступен в Интернете, но вы можете легко загрузить и запустить LLaMa на своем собственном оборудовании и использовать его через командную строку или запустить Dalai на своем компьютере — одно из многих приложений с простым в использовании использовать интерфейс.

В целях тестирования мы запустим модель Alpaca 7B Стэнфордского университета — адаптацию LLaMa — и сравним ее с Gemini и ChatGPT.

Следующие сравнения и тесты не претендуют на то, чтобы быть исчерпывающими, но чтобы дать вам представление о ключевых моментах и ​​возможностях.

Какую форму LLM проще всего использовать?

И Gemini, и ChatGPT требуют учетной записи для использования чат-ботов. Создать учетные записи Google и OpenAI легко и бесплатно, и вы можете сразу же начать задавать вопросы.

Однако для локального запуска LLaMa вам потребуются некоторые специальные знания или возможность следовать руководству. Вам также понадобится довольно много места для хранения.

Какая самая частная модель LLM?

И Gemini, и ChatGPT имеют всеобъемлющую политику конфиденциальности, и Google неоднократно подчеркивает в своей документации, что информация, которая может быть использована для идентификации вас или помочь идентифицировать других, не должна включаться в чаты Gemini.

По умолчанию Google собирает ваши разговоры и общее географическое местоположение на основе вашего IP-адреса, комментариев и информации об использовании. Эта информация хранится в вашей учетной записи Google до 18 месяцев. Хотя вы можете приостановить сохранение своих действий в Gemini, имейте в виду, что «чтобы повысить качество и улучшить наши продукты, рецензенты читают, комментируют и обрабатывают ваши разговоры с Gemini».

Близнецы также подлежат использованию к стандартной Политике конфиденциальности Google.

Политика конфиденциальности OpenAI в целом аналогична и собирает данные об IP-адресе и использовании. В отличие от ограниченного времени хранения, которое использует Google, OpenAI отмечает, что «будет хранить вашу личную информацию только до тех пор, пока она нам нужна для предоставления вам наших услуг или для других законных деловых целей, таких как разрешение споров, по причинам безопасность и безопасность, или для выполнения наших юридических обязательств».

Напротив, локальная модель на вашем устройстве не требует учетной записи или обмена данными пользователя с кем-либо.

Какая модель LLM обладает лучшими общими знаниями?

Чтобы проверить, какой LLM обладает лучшими общими знаниями, мы задали три вопроса.

Первый вопрос: у какого национального флага пять сторон? На него правильно ответил только Близнец, который определил, что национальный флаг Непала пятисторонний.

ChatGPT уверенно заявил, что «не бывает национального флага с пятью сторонами. Национальные флаги обычно имеют прямоугольную или квадратную форму и отличаются характерными цветами, узорами и символами.

Наша местная модель подошла, отметив: «Индийский национальный флаг имеет пять сторон и был разработан в 1916 году, чтобы представлять движение за независимость Индии». Хотя этот флаг действительно существовал и имел пять сторон, это был флаг движения за самоуправление в Индии, а не национальный флаг.

Ни одна из моделей не смогла ответить, что правильным термином для объекта в форме гороха является «горох», а ChatGPT зашел так далеко, что предположил, что горошины имеют «трехмерную геометрическую форму, которая является идеально круглой и симметричной».

Три чат-бота правильно идентифицировали Франко Малербу как итальянского астронавта и члена Европейского парламента, а Близнецы дали аналогичный ответ на раздел статьи Малербы в Википедии. проверять ChatGPT против Microsoft Bing AI против Google Gemini: какой чат-бот с искусственным интеллектом лучше?

Какая модель LLM подходит для технического обучения?

Когда вы сталкиваетесь с техническими проблемами, у вас может возникнуть соблазн обратиться за помощью к чат-боту. Хотя технологии развиваются, некоторые вещи остаются неизменными. Электрическая вилка BS 1363 используется в Великобритании, Ирландии и многих других странах с 1947 года. Мы спросили языковых моделей, как правильно их подключать.

Кабели, подключенные к вилке, содержат фазовый провод (коричневый), провод заземления (желто-зеленый) и нулевой провод (синий). Они должны быть подключены к правильным клеммам внутри корпуса вилки.

Приложение Далая правильно определило вилку как «английский стиль», затем отклонилось от курса и вместо этого дало инструкции для старой круглой розетки BS 546 со старыми цветами проводов.

ChatGPT оказался немного полезнее. Он правильно обозначил цвета проводов и предоставил список материалов и набор из восьми инструкций. ChatGPT также предложил подключить коричневый провод к клемме с маркировкой «L», синий провод к клемме «N» и желтый провод к «E». Это было бы верно, если бы терминалы имели рейтинг BS1363, но это не так.

Gemini определила правильные цвета проводов и проинструктировала нас подключить их к клеммам «фаза», «нейтраль» и «земля». Никаких инструкций о том, как их идентифицировать, не было.

По нашему мнению. Ни один из чат-ботов не предоставил достаточно инструкций, чтобы помочь кому-то правильно подключить электрическую вилку BS 1363. Короткий и правильный ответ: «Синий слева, коричневый справа».

Какая модель LLM подходит для написания кода?

Python — полезный язык программирования, который работает на большинстве современных платформ. Мы направили наши модели на использование Python и «создали базовый калькулятор, который может выполнять такие математические операции, как сложение, вычитание, умножение и деление». Пользователь должен ввести данные и отобразить результат». Это один из лучших проектов по программированию для начинающих.

Хотя и Gemini, и ChatGPT сразу же вернули полностью пригодный к использованию и прокомментированный код, который мы смогли протестировать и проверить, в нашем локальном образце не было сгенерировано никакого кода.

Какая модель LLM рассказывает лучшие анекдоты?

Юмор — одна из основ человека и, безусловно, один из лучших способов отличить человека от машины. Для каждого из наших чат-ботов мы дали простую подсказку: «Придумайте оригинальную и смешную шутку».

К счастью для комиков во всем мире и человечества в целом, ни одна из моделей не смогла создать оригинальную шутку.

Близнецы вспомнили классику: «Почему Страшила получил награду?» «Она была исключительной в своей области».

И локальная модель, и ChatGPT вызывали скучную мысль: «Почему ученые не доверяют атомам?» Потому что это составляет все!»

Производная, но оригинальная шутка может звучать так: «Чем большие языковые парадигмы похожи на атомы? Они оба делают вещи!»

Проверять ChatGPT умеет шутить, но может ли ИИ заставить нас смеяться?

Идеального чат-бота не существует

Мы обнаружили, что хотя у всех трех основных языковых моделей есть свои преимущества и недостатки, ни одна из них не может заменить реальный человеческий опыт специальными знаниями.

Хотя Gemini и ChatGPT дают лучшие ответы на вопросы программирования и очень просты в использовании, использование большой языковой модели изначально означает, что вам не нужно беспокоиться о конфиденциальности или цензуре.

Если вы хотите создавать потрясающие ИИ-искусства, не беспокоясь о том, что кто-то заглянет вам через плечо, вы также можете легко запустить художественный шаблон ИИ на своем локальном компьютере. Вы можете просмотреть сейчас Как создать лучшее искусство с помощью ИИ: советы и рекомендации.

Перейти к верхней кнопке