Нейросеть для видео Sora от создателей ChatGPT: как ею​ поль­зоваться и почему о ней так много говорят

30 сентября компания OpenAI представила модель для создания видео Sora 2 и приложение Sora с элементами соцсети.

В первый же день работы в интернете появились тысячи роликов, созданных новой нейросетью. А приложение прозвали «ИИ-Тиктоком». Главными фишками Sora стали реалистичность и возможность перенести свою внешность и голос в нейросеть. Мы получили инвайты и погрузились в новинку. Рассказываем, что нужно о ней знать.

Нейросеть создана OpenAI — компанией, которая разрабатывает ChatGPT. Первая версия модели Sora вышла еще в 2024 году — тогда она сильно удивляла сгенерированными реалистичными видео. Для создания сцены достаточно было детально описать ее естественным языком, не прибегая к сложному промптингу.

Первое поколение Sora долгое время провело в стадии закрытой бета-версии, ее давали только блогерам и режиссерам. За это время уровень реализма ИИ-видео вырос — например, появился генератор Veo 3 от Google. Он впервые предложил одновременную генерацию видео и звука к нему.

30 сентября OpenAI ответила выходом Sora 2. Модель стала генерировать видео еще реалистичнее. Во-первых, Sora тоже научилась генерировать звуки: речь, смех, фоновый шум. Во-вторых, поправили физику: раньше люди и объекты нередко «ломались» в сложных сценах — например, если попросить видео с сальто назад.

Но что важнее — с первого же дня работы Sora 2 открыли обычным пользователям, хоть и с ограничениями.

Вместе с новой моделью OpenAI запустила приложение Sora. Фактически это «Тикток» с лентой видео, сгенерированных в Sora 2. Пользователи создают нейроролики и сразу выкладывают их в соцсеть от OpenAI. Видео можно лайкнуть, репостнуть, есть функция подписки на интересных авторов. Еще есть «ремиксы»: можно взять ролик из ленты в качестве основы, немного подкрутить промпт и выложить свою версию.

Но большая часть контента в Sora — это «камео». Так называется главная фишка нейросети. В приложении можно записать свою внешность и голос и таким образом перенести себя в нейросеть. А потом создавать реалистичные видео с собой. Также есть возможность использовать внешность других пользователей — если они дали на это разрешение.

Подробнее о том, как создавать «камео», мы расскажем ниже. Но уже можно признать фишку удачной: во многом за счет нее Sora заняла первое место в категории «Фото и видео» в App Store. Кстати, глава OpenAI Сэм Альтман разрешил всем пользователям делать ИИ-видео с собой. И моментально стал мемом.

Sora 2 — бесплатная, во всяком случае на старте. Есть ли ограничения на генерацию — неизвестно, за два дня мы не достигли лимитов. Еще OpenAI писала, что обладатели подписки ChatGPT Pro получили доступ к модели Sora 2 Pro, но без уточнений, чем именно она лучше.

На момент написания материала доступ можно получить только по инвайту. Приглашения распространяют сами пользователи, новым юзерам дают четыре инвайта. Сейчас лучший способ раздобыть приглашение — через друзей или поиск sora 2 invite code в соцсети X. СМИ пишут, что коды начали продавать на eBay и других площадках, но OpenAI не рекомендует покупать их.

Пока что Sora официально работает только в США и Канаде, хотя OpenAI обещает быстро расширить список стран. После получения инвайта есть два способа начать пользоваться нейросетью.

Через сайт по адресу sora.chatgpt.com. Там можно создавать ролики, в том числе и «камео», — правда, перенести свою внешность через сайт нельзя. Можно авторизоваться через те же данные, по которым вы регистрировались в ChatGPT. Но понадобится IP-адрес США или Канады.

Через приложение. Пока что оно доступно только на iOS и называется Sora by OpenAI. Скачать его можно только из американского или канадского App Store. Сделать это не очень сложно даже в России. Необходимо завести себе дополнительную учетную запись Apple с регионом США, затем выйти из основного аккаунта в App Store и зайти с американского. Там можно скачать Sora, а потом вернуться в основной аккаунт — ничего не пропадет и не сломается.

Чтобы пользоваться приложением на Айфоне, нужен иностранный IP-адрес. Там нет регионального блока только на США и Канаду, доступно больше стран.

Чтобы создать видео в Sora, нужно нажать кнопку с плюсиком в приложении или воспользоваться полем для запроса на сайте. Промптинг простой: достаточно описать желаемую сцену или сюжет. Мы видели и короткие описания, и детальные — оба способа работают. В любом случае есть ограничение по длительности видео — до 10 секунд. Промпты поддерживают русский язык.

Мы сгенерировали несколько десятков видео через модель Sora 2 и вот к каким выводам пришли.

Качество улучшили, но не во всем. Вторая версия Sora заметно лучше справляется с фотореализмом и чаще следует запросу пользователя. Теперь генерации больше напоминают настоящие ролики, в том числе за счет операторской работы, монтажа. Физика действительно стала лучше, но периодически все равно «ломается» — тест гимнастическими упражнениями нейросеть не прошла. Но в целом это точно шаг вперед.

Некоторые стили у Sora получаются лучше, некоторые — хуже. При этом OpenAI явно натренировала модель на огромном количестве реальных фильмов, аниме, объектах авторского права. Если попросить сгенерировать Пикачу в фильме «Спасти рядового Райана», безошибочно будет угадываться и герой, и сцена высадки на пляже Омаха.

Это необычно, так как генератор картинок в ChatGPT постоянно отказывался работать с объектами авторского права. Как пишет The Wall Street Journal, OpenAI заранее уведомила правообладателей и предложила новый процесс: киностудии и другие владельцы интеллектуальной собственности должны сами просить не включать их материалы в генерации. То есть Шрека запретят создавать в Sora только тогда, когда этого прямо потребует студия DreamWorks.

Исключение — генерация реальных людей. Канье Уэста или Майкла Джордана воссоздать не получится, пока не появятся их официальные «камео».

Поддержка звука — на уровне. Как и Veo 3 от Google, Sora 2 умеет генерировать видео со звуком. В промпте можно запросить фразы, фоновые звуки или музыку в конкретном жанре. Русский язык поддерживается, если прописывать это отдельно или задавать конкретные слова и предложения. Иначе герои перейдут на английский.

Модель не всегда справляется с озвучкой: аудио может звучать неестественно и с ошибками, а голоса — безэмоционально и роботизированно. Особенно когда речь о переносе голоса через «камео».

Есть генерации по картинке-референсу, но с ограничениями. Режим на основе изображения img2video работает иначе, чем у конкурентов. Обычно картинка-референс — фактически стартовый кадр ИИ-ролика. Нейросети анимируют статичный кадр и дают ему «жизнь». В Sora картинки работают скорее как источник вдохновения — можно попросить видео в той же локации или с теми же предметами.

Если загружать изображения и просить их анимировать, модель часто ошибается и делает статичные видео — как и первая Sora. К тому же нельзя загружать фотографии людей, поэтому для работы со своими иллюстрациями или снимками лучше использовать другие нейросети.

Как мы и говорили, именно «камео» отличает Sora от конкурентов. В приложении можно загрузить свою внешность, привязать ее к профилю и использовать для создания видео. Причем создавать видео с ИИ-аватаром можете не только вы, но и другие пользователи, если вы разрешили это в настройках приватности.

Мы загрузили себя в Sora и протестировали сервис. Вот что нужно знать о «камео».

Sora нужны ваши образцы внешности и голоса. Для этого просят снять видео: произнести несколько фраз, покрутить головой. Обратите внимание, что нейросеть возьмет заодно вашу прическу, элементы одежды, иногда даже фон, на котором вы снимаетесь. Если вы что-то изменили во внешности или просто хотите обновить ИИ-аватар, «камео» можно перезаписать в любой момент.

Основные настройки своей цифровой личности доступны в разделе «Доступ к камео». Там можно в том числе задать cameo preferences — пользовательские инструкции, которые будут по умолчанию применяться к видео с вашим участием. Например, можно указать, что вы всегда веселый или не участвуете ни в чем незаконном. Эти инструкции видите только вы.

После загрузки «камео» можно использовать в видео. Работает это как отметка в соцсети. При создании видео можно выбрать себя из списка контактов и добавить в промпт. Получится что-то вроде «@sama играет в гольф с Пикачу». В остальном промпт адаптировать не нужно, можно составлять его как обычно.

Можно добавлять не только свои «камео». Есть внешность ваших подписчиков и рекомендованные популярные пользователи вроде Сэма Альтмана. Владелец ИИ-аватара получает уведомления обо всех опубликованных с ним видео. В разделе «Доступ к камео» можно удалить чужие посты с собой, которые вам не нравятся. Там же есть настройки приватности. Можно установить, что использовать ваше «камео» могут все, избранные контакты, взаимные подписки или только вы.

У камео большой мемный потенциал. Все огрехи генерации Sora 2 прощаются за счет того, что в большинстве случаев перенесенный человек узнается в ИИ-роликах. Модель гибко воспринимает аватар, поэтому можно просить разные прически, эмоции, одежду, действия и даже стили. В первые дни 70—80% всего контента в «Тиктоке» от OpenAI — это различные «камео».

Sora не всегда удачно копирует лица и особенно голос, но справляется лучше конкурентов. Но иногда возникает эффект «зловещей долины»: сгенерированный аватар похож на тебя, но в то же время отталкивает нереалистичной мимикой или эмоциями.

В запросе можно указать больше одного «камео». В простых сценариях Sora 2 справляется с генерацией разных людей, но в необычных сценах ошибается: использует только одно лицо или хуже следует запросу. Также стоит помнить об ограничении: из-за системы ИИ-аватаров вы не можете просто попросить сгенерировать реального человека. Он должен зарегистрироваться в Sora и оставить свое разрешение. Иначе появится ошибка генерации.