В последние годы в области обработки естественного языка (НЛП) произошла огромная революция с появлением больших языковых моделей (LLM), которые предлагают исключительные возможности в понимании и обработке человеческого языка. Gemini 1.5 — одна из последних таких моделей, предлагающая огромные контекстуальные возможности. Модель Google Gemini 1.5 теперь оснащена огромным контекстным окном с XNUMX миллионом уникальных значков, что затмевает ее прямых конкурентов, таких как ChatGPT, Claude и другие чат-боты на базе искусственного интеллекта.
Контекстное окно в один миллион токенов в Gemini 1.5 меняет правила игры, позволяя модели глубже и точнее понимать язык. Обладая большей контекстуальной способностью, модель может анализировать больше слов и фраз, окружающих данное слово или предложение, что помогает ей лучше понять смысл. Проверять Появление Gemini AI от Google: выделяется ли он больше, чем ChatGPT, в мире искусственного интеллекта?
Быстрые ссылки
Что такое контекстное окно?
Отвечая на ваши запросы, например, объясняя концепцию или резюмируя текст, модели ИИ имеют ограничения на объем данных, которые они могут принять во внимание для генерации ответа. Максимальный размер текста, который можно учитывать, называется контекстным окном.
Вот еще один взгляд на эту концепцию. Предположим, вы пошли в продуктовый магазин, чтобы купить овощи и товары для дома, не имея списка покупок. Максимальное количество продуктов, которое вы запоминаете при покупках, — это контекстное окно. Чем больше продуктов вы сможете запомнить, тем больше шансов не разрушить намеченные планы покупок. Аналогично, чем больше контекстное окно модели ИИ, тем больше вероятность, что модель запомнит все, что ей нужно, чтобы предоставить вам наилучшие результаты.
На момент написания контекстное окно Anthropic Claude 2.1 с 200 4 токенов является самым большим контекстным окном среди всех общедоступных моделей ИИ. За ним следует GPT-128 Turbo с контекстным окном на 1.5 XNUMX токенов. Google Gemini XNUMX предлагает миллион контекстных окон, что в четыре раза больше, чем что-либо еще на рынке. Это приводит к большому вопросу: что особенного в контекстном окне с миллионом различных значков? Проверять Каков лимит токена ChatGPT и можно ли его обойти?
Почему контекстное окно в Gemini 1.5 имеет такое большое значение?
Если говорить более подробно, контекстное окно Claude AI на 200 тысяч слов означает, что он может взять книгу, содержащую около 150 тысяч слов, и дать на нее ответы. Это действительно огромно. Но Google Gemini 1.5 сможет вместить 700000 XNUMX слов одновременно!
Когда вы передаете большой блок текста в подсказки чат-боту с искусственным интеллектом, например ChatGPT или Gemini, он пытается принять как можно больше текста, но то, сколько он может принять, зависит от его контекстного окна. Итак, если у вас есть разговор на 100 28 слов на модели, которая может обрабатывать только 100 XNUMX слов, а затем вы начинаете задавать ей вопросы, требующие от нее полного знания всех XNUMX XNUMX слов разговора, вы настраиваете ее на неудачу. .
Представьте себе, что вы смотрите всего 20 минут часового фильма, но вас просят объяснить весь фильм. Насколько хорошими будут ваши результаты? Либо откажетесь отвечать, либо просто придумаете что-то, что и сделает чат-бот с искусственным интеллектом, в результате... Галлюцинации искусственного интеллекта.
Если вы думаете, что вам никогда не приходилось вводить 100 XNUMX слов в чат-бот, это не все, что имеет значение. Контекстное окно выходит за рамки текста, подаваемого в модель ИИ, всего за одно приглашение. Модели искусственного интеллекта учитывают весь ваш разговор во время сеанса чата, чтобы их ответы были максимально релевантными.
Таким образом, даже если вы не передаете модели книгу на 100 XNUMX слов, ваши двусторонние разговоры и ответы, которые она дает, — все это в сумме входит в расчет контекстного окна. Вам интересно, почему Google ChatGPT или Gemini постоянно забывают то, что вы сказали им ранее в разговоре? Возможно, у него закончилось пространство контекстного окна, и он начал что-то забывать.
Большее контекстное окно особенно важно для задач, требующих глубокого понимания контекста, таких как обобщение длинных статей, ответы на сложные вопросы или поддержание связного повествования в сгенерированном тексте. Хотите написать роман объемом в 50 XNUMX слов, в котором будет последовательное повествование? Хотите модель, которая сможет «смотреть» часовое видео и отвечать на вопросы? Вам нужно большее контекстное окно!
Короче говоря, большее контекстное окно Gemini 1.5 может значительно улучшить производительность модели искусственного интеллекта, уменьшив галлюцинации и значительно повысив точность и способность лучше следовать инструкциям.
Оправдает ли Gemini 1.5 ожидания?
Если все пойдет по плану, Gemini 1.5, скорее всего, превзойдет лучшие модели искусственного интеллекта на рынке. Однако, учитывая многочисленные неудачи Google в создании стабильной модели искусственного интеллекта, важно проявлять осторожность. Поднятие контекстного окна формы само по себе не приводит к автоматическому улучшению формы.
Я использую контекстное окно 2.1k Claude 200 в течение нескольких месяцев с момента его выпуска, и мне было ясно одно — контекстное окно большего размера действительно может улучшить чувствительность к контексту, но проблемы с производительностью базовой модели могут сделать более крупный контекст проблематичным. для этого.
Изменит ли Google Gemini 1.5 правила игры? Социальные сети в настоящее время заполнены восторженными отзывами о Gemini 1.5 от пользователей раннего доступа. Однако большинство пятизвездочных обзоров основаны на поспешных или упрощенных сценариях использования. Хорошее место, чтобы проверить, как Gemini 1.5 работает в дикой природе, — это технический отчет для Гугл Близнецы 1.5 [PDF]. Отчет показывает, что даже во время «контролируемого тестирования» модель не смогла получить все мелкие детали документов в пределах размера контекстного окна.
Контекстное окно в один миллион токенов уже является впечатляющим техническим достижением, но без возможности надежного получения деталей документа более крупное контекстное окно имеет мало практической ценности и может стать причиной снижения точности и дополнительных галлюцинаций. Теперь вы можете просмотреть За пределами ChatGPT: видение будущего чат-ботов и генеративного искусственного интеллекта?
