В мире, где все больше используется видео, инструменты создания и редактирования видео становятся все более важными. Однако процесс редактирования видео по-прежнему сложен и требует много времени, особенно для новичков.
Поскольку скорость развития ИИ приближается к точке, превосходящей человеческое понимание, Sora от OpenAI для преобразования текстовых подсказок в видео — это всего лишь новейшая технология ИИ, которая шокирует мир, заставляя осознать, что все происходит раньше, чем кто-либо ожидал.
OpenAI Sora — это инновационная технология, целью которой является эффективное и инновационное преобразование и редактирование видео. Эта модель поднимает вопросы о степени ее влияния на видеоиндустрию и будет ли она способствовать навсегда изменению способов производства и монтажа видео? В этой статье мы рассмотрим концепцию OpenAI Sora и ее потенциальные возможности, посмотрим, как она повлияет на видеоиндустрию и что это нововведение может означать как для пользователей, так и для создателей. Проверять Лучшие генераторы видео AI (текст в видео).
Быстрые ссылки
Что такое OpenAI Сора?
Как и другие модели генеративного искусственного интеллекта, такие как DALL-E и MidJourney, Sora берет от вас текстовые подсказки и превращает их в визуальную среду. Однако, в отличие от упомянутых выше генераторов изображений на базе искусственного интеллекта, Sora создает видео, полное движения, разных ракурсов, направлений и всего остального, что вы ожидаете от традиционного видео.
Рассматривая примеры на Сайт Сора, результаты часто неотличимы от реальных, профессионально созданных видеороликов. Все, от высококлассных съемок с дронов до полноценных многомиллионных кинопроизводств с участием актеров, созданных искусственным интеллектом, спецэффектами и произведениями искусства.
Конечно, Sora — не первая технология, сделавшая это. На сегодняшний день наиболее заметным лидером в этой сфере является ПодиумML, которая предоставляет свои услуги населению за определенную плату. Однако даже при самых благоприятных обстоятельствах видеоролики Runway ближе к первым поколениям, чем к Фотографии MidJourney. Стабилизации изображения нет, физика не имеет смысла, и на момент написания этой статьи самый длинный клип длится около 16 секунд.
Напротив, лучшее, что может предложить Sora, — это полная стабильность, физика, которая кажется правильной (по крайней мере, нашему мозгу), а клипы могут длиться до минуты. Клипы полностью лишены звука, но уже существуют другие системы искусственного интеллекта, которые могут Генерировать музыку Звуковые эффекты и речь. Так что я не сомневаюсь, что эти инструменты можно интегрировать в рабочий процесс Соры или, на худой конец, в традиционную озвучку и фолиевую работу. Проверять Самые интересные и интересные инструменты ИИ, которые стоит попробовать.
Невозможно переоценить тот огромный скачок, который представляет собой Сора по сравнению с кошмарными видеозаписями искусственного интеллекта, снятыми всего за год до демоверсии Соры. Как крайне тревожное видео с искусственным интеллектом Уилл Смит ест спагетти. Я думаю, что это больший шок для системы, чем тот случай, когда генераторы изображений ИИ превратились из шутки в вселяющий экзистенциальный страх в сердца художников-визуалистов.
Сора, вероятно, повлияет на всю видеоиндустрию: от создателей одиночных фильмов до уровня высокобюджетных проектов Disney и Marvel. Ничего этого не переживет. Я думаю, это особенно верно, поскольку Соре не нужно создавать вещи из цельной ткани, а можно работать с существующими материалами, например, анимировать предоставленное вами неподвижное изображение. Это может стать настоящим началом кинопроизводства с использованием искусственного интеллекта.
Как работает Сора?
Мы углубимся в характер Соры настолько подробно, насколько сможем, но вдаваться в такие подробности невозможно. Во-первых, по иронии судьбы, OpenAI не раскрывает внутреннюю работу своей технологии. Это запатентованная технология, поэтому секретный соус, который отличает Sora от конкурентов, нам малоизвестен. Во-вторых, я не специалист по информатике, и, возможно, вы не специалист по информатике, поэтому мы можем понять, как работает эта технология, только в общих чертах.
Хорошей новостью является то, что существует отличное прохождение Соры (защищено подпиской), автором которого является Майк Янг На Medium, на основе Технический отчет от OpenAI Которая подробно описана для того, чтобы нам, простым людям, было понятно. Хотя оба документа заслуживают прочтения, здесь мы можем извлечь наиболее важные факты.
Sora построена на уроках, извлеченных OpenAI при создании таких моделей, как ChatGPT или DALL-E. OpenAI придумала, как обучать Сора на образцах видео, сегментируя эти видео на «патчи», похожие на «токены», используемые в модели обучения ChatGPT. Поскольку все эти токены имеют одинаковый размер, такие вещи, как длина клипа, соотношение сторон и размер разрешения, не имеют значения для Sora.
Sora использует тот же широкий подход к преобразованию, который используется в GPT, в сочетании с методом распространения, используемым генераторами изображений AI. Во время обучения он просматривает частично распространяемые токены исправлений из видео и пытается предсказать, как будет выглядеть токен без шума. Сравнивая это с основной истиной, модель изучает «язык» видео. Именно поэтому примеры из Сайт Сора Это выглядит очень оригинально.
Помимо этой удивительной способности, у Соры также есть очень подробные встроенные аннотации к видеокадрам, на которых он обучался, что во многом объясняет, почему он может редактировать создаваемые им видеоролики на основе текстовых подсказок.
Способность Соры точно моделировать физику в видео, похоже, является новой особенностью, которая просто является результатом его обучения на миллионах видеороликов, содержащих движение, основанное на реальной физике. Sora обладает превосходной стабильностью объекта: когда объект покидает кадр или ему мешает что-то еще внутри кадра, он остается там и возвращается без каких-либо помех.
Однако иногда по-прежнему возникают проблемы, когда объекты в видео взаимодействуют с причинностью и автоматическим созданием объектов. Кроме того, что несколько забавно, Сора время от времени путает лево и право. Однако то, что было продемонстрировано до сих пор, не только действительно можно использовать, но и, безусловно, находится на переднем крае технологий.
Когда доступен Сора?
Итак, мы все очень рады возможности тестировать Sora, и вы можете гарантировать, что я буду использовать ее и писать о том, насколько хороша эта технология, когда она не показывает нам точные результаты, но когда это возможно, это произошло?
На момент написания этой статьи неясно, сколько времени пройдет, прежде чем Сора станет доступна широкой публике, и сколько будет стоить доступ к ней. OpenAI сообщила, что модель находится в руках «Красной команды», группы людей, чья работа состоит в том, чтобы попытаться заставить Сору делать все злые вещи, которые он не должен делать, а затем помочь поставить ограждения против подобных действий. Это происходит, когда реальные клиенты могут этим воспользоваться. Это включает в себя возможность создания вводящей в заблуждение информации, создания оскорбительных или оскорбительных материалов и многих других нарушений, которые можно себе представить.
На момент написания этой статьи он также находится в руках избранных создателей контента, которые, как я полагаю, предназначены для целей тестирования и получения сторонних обзоров и одобрений, пока мы находимся на пути к его окончательному выпуску.
Суть в том, что мы на самом деле не знаем, когда он будет доступен, точно так же, как вы можете заплатить за использование DALL-E 3, и фактически даже у OpenAI пока нет точной даты. Это просто потому, что, если он окажется в руках тестировщиков безопасности, они могут обнаружить проблемы, устранение которых займет больше времени, чем ожидалось, что задержит публичный выпуск.
То, что OpenAI чувствует себя готовым хвастаться Сорой и даже делать какие-то скоординированные публичные заявления через Safety обнаружено, никто не может сказать наверняка. Я думаю, мы говорим о месяцах, а не о годах, но не ждите этого на следующей неделе. Теперь вы можете просмотреть Этические инструменты искусственного интеллекта для художников и создателей.
