Абстрактные
- Компания Anthropic смягчила свои обещания по обеспечению безопасности.
- Прежний строгий мораторий компании на разработку новых проектов был заменен обещанием повышения прозрачности.
- Этот шаг может привести к снижению стандартов безопасности в отрасли.
Компания Anthropic, создатель ИИ-агента Клода (одного из Наши любимые инструменты повышения производительностиОдной из ключевых особенностей является непоколебимая приверженность безопасности. Сообщение блогаКомпания изложила свою Политику ответственного расширения (RSP) и изменения, внесенные в версию 3.0.
Быстрые ссылки
Какова была прежняя политика безопасности компании Anthropic?
Компания установила отраслевой стандарт в области гарантий безопасности.
Чтобы понять изменения, которые вносит Anthropic, необходимо ознакомиться с её первоначальной Политикой ответственного масштабирования (RSP). В 2023 году Anthropic обязалась прекратить обучение моделей ИИ, если их возможности превысят возможности компании продемонстрировать их безопасность. К тревожным сигналам, которые могли бы привести к такому прекращению обучения, относились следующие:
- Модели, которые могли бы помочь в создании или применении химического, биологического или ядерного оружия.
- Модели, способные к чрезмерному самосовершенствованию.
- Модели, которые могут помочь в кибератаках.
- Модели, способные вести себя определенным образом без вмешательства человека, например, «выходить» из своей среды, чтобы избежать отключения.
Политика ответственного расширения (RSP) установила строгие ограничения на эти модели — компания Anthropic прекращала разработку, даже если это означало, что ее обгонят конкуренты. Это была смелая позиция в отрасли, где, казалось, все соревновались на головокружительной скорости.
Новая политика ответственного расширения (RSP) компании Anthropic
В версии 3.0 правила значительно смягчены.
Компания Anthropic по-прежнему придерживается политики ответственного расширения, но с версией 3.0 она будет останавливать разработку только в том случае, если сочтет, что уже значительно опережает конкурентов. Обязательство прекратить разработку было заменено обещанием прозрачности в отношении того, достигает ли компания своих целей в области безопасности и соответствует ли или превосходит ли уровень безопасности конкурентов. Другими словами, она, по сути, взяла на себя обязательство по обеспечению безопасности.
Что послужило причиной этих изменений? Компания Anthropic заявляет, что ее первоначальная программа «Обещание безопасности» (RSP) не достигла желаемого эффекта. RSP должна была стать примером безопасности для других компаний. К сожалению, конкуренты не прислушались к этому сигналу. Компания считает, что, ограничивая собственные усилия, она, по сути, позволяет менее заботящимся о безопасности конкурентам доминировать на рынке и диктовать темпы развития.
Что это значит для отрасли?
Большой шаг назад
К сожалению, эти изменения могут создать плохой прецедент в области искусственного интеллекта. Антропогенные методы были золотым стандартом в плане безопасности, а с этими изменениями планка значительно снизилась. Это может дать конкурентам понять, что безопасность стоит на втором месте после инноваций. Хотя это может помочь Клоду... Знакомство с ChatGPTОднако, это всё ещё кажется шагом в неправильном направлении.
В конечном итоге, чтобы развеять опасения пессимистов в отношении ИИ, одного обещания безопасности от одной компании будет недостаточно — вся отрасль должна объединиться и обозначить свою позицию. На данном этапе это кажется все менее вероятным.
