Нейросеть Midjourney генерирует кадры из несуществующих фильмов: как сделать такое самому

В сети появилось множество работ нейросети, которая представляет, как выглядели бы известные фильмы, если бы их снимали другие режиссеры.

Четвертая версия нейросети Midjourney, вышедшая в середине ноября, добавила новые сценарии использования. Один из них — возможность достаточно реалистично генерировать кадры из фильмов. Причем фильмов, которых на самом деле никогда не существовало: пользователи комбинируют картины, режиссеров и эпохи, редактируют культовые сцены и меняют актеров на главных ролях.

Итогом стали работы, которые расходятся по соцсетям: от «Мстителей» Уэса Андерсона до «Чужого» Хаяо Миядзаки. Некоторые энтузиасты с помощью нейросетей показывают кадры из фильмов, которые планировались, но так никогда и не были сняты. Например, «Дюну» от Алехандро Ходоровски или «Гарри Поттера» Терри Гиллиама.

Я разобрался, как просто сгенерировать собственные кадры из фильма, и рассказываю с примерами, которые сделал сам и нашел в тематическом сообществе на Reddit.

Midjourney — нейросеть, которая генерирует картинки по текстовому описанию. Мы уже подробно рассказывали о сервисе в отдельном материале, но проговорим еще раз принципы.

Это самая доступная нейросеть из конкурентов. К Dall-E нет публичного доступа, а для запуска Stable Diffusion нужен хороший компьютер. Вся работа с Midjourney же происходит в мессенджере Discord: достаточно скачать приложение и вступить в сообщество нейросети.

Там ищите каналы Newcomer Rooms, внутри которых — сотни чатов Newbies. Вместе с вами картинки будут генерировать тысячи пользователей.

Чтобы нейросеть сгенерировала изображение, нужно ввести команду /imagine в одном из чатов Newbies и придумать запрос. Описание желаемой картинки необходимо сформулировать на английском языке. Когда придумаете запрос, нажмите кнопку «Отправить». Бот начнет генерировать изображение. Вы буквально в прямом эфире увидите, как смутные очертания превращаются в четыре картинки.

В Midjourney огромное количество настроек и стилей: можно создавать не только кадры из фильмов, но и арты, реалистичные фотографии, 3D-модели, редактировать собственные фото. О некоторых способах мы тоже уже писали отдельно: например, как сделать нейроаватарку в любом стиле.

В бесплатной версии нейросети 25 попыток. Попытка тратится и на полноценный запрос, и на апскейл конкретной картинки. Ограничения можно убрать, заплатив за подписку. Преимуществ у платной версии достаточно: безлимитная генерация, повышенное качество, возможность создавать картинки в приватном канале. Безлимит на месяц стоит 30 долларов, но заплатить российской банковской картой нельзя.

Второй способ увеличить количество попыток — заново создавать аккаунты в Discord после каждого окончания пробной версии. Но есть риск получить бан на платформе.

Обычно пользователи Midjourney сначала экспериментируют с простыми сценариями: придумывают несложные запросы, скрещивают картинки-референсы без дополнительного описания. Создание кадров из фильмов — уже более сложный и комплексный процесс. Но при правильном подходе результаты работы нейросети впечатляют.

Убедитесь, что пользуетесь последней версией Midjourney. В Discord введите команду /settings и проверьте, чтобы была активирована настройка MJ version 4. Или просто пропишите в конце запроса --v 4.

Заодно советую подписать параметр --q 2, он улучшает качество генерации.

Используйте запрос для конкретных кадров фильма. Сообщество Midjourney всегда начинает формулировку со слов DVD screengrab. На это есть две причины. Во-первых, если писать просто название фильма, то нейросеть часто генерирует его постер, а не конкретные кадры. Во-вторых, в попытках сделать скриншот из DVD-издания Midjourney по умолчанию делает картинки реалистичными, а не артами.

С DVD screengrab есть одна главная проблема: периодически алгоритм понимает просьбу уж слишком прямо и рисует экран телевизора. В таком случае лучше запустить генерацию заново или поменять дополнительные параметры.

Выбирайте фильмы и режиссеров с ярким стилем. Качество генерации будет напрямую зависеть от того, насколько хорошо нейросеть справляется с конкретным автором или картиной.

Midjourney в первую очередь тренировалась на работах художников, поэтому мы не знаем наверняка, насколько хорошо нейросеть узнает стили режиссеров. Так что приходится экспериментировать. Что точно понятно с фильмами, так это то, что лучше выбирать картины с узнаваемыми поп-культурными образами либо с фирменной эстетикой и дизайном. «Мстители», «Матрица», «Терминатор», «Чужой», «Звездные войны», «Отель Гранд Будапешт», «Трон» — отличные отправные точки.

С режиссерами сложнее. Приведу некоторые из опробованных мной референсов, которые точно работают.

Хаяо Миядзаки — для узнаваемой стилистики японской анимации. На самом деле лучше подойдет даже не его имя в запросе, а указание directed by Studio Ghibli.

Тим Бертон — привнести немного готики. По умолчанию имя режиссера добавляет мрачности, но можно уточнить и выбрать, к примеру, «Чарли и шоколадная фабрика» в качестве референса.

Андрей Тарковский — в целом Midjourney не очень хорошо справляется с российскими и советскими режиссерами. Но Тарковский тут стоит особняком: особенно интересно выглядит сочетание его стиля с современным кино.

Уэс Андерсон — Midjourney очень охотно передает характерные черты визуального языка режиссера: пастельные тона, симметрию, расположение персонажей по центру. Стилистику можно использовать буквально с любым фильмом.

Алехандро Ходоровски — для тех, кто давно хотел увидеть «Дюну» от легендарного чилийского режиссера. Это был грандиозный проект с участием Сальвадора Дали, Мика Джаггера и Pink Floyd, который отменили после нескольких лет подготовки к съемкам. Остались только концепт-арты картины, которую провозгласили «величайшим неснятым фильмом».

Подберите описание конкретных сцен. Запрос «Кадр из DVD-издания Властелин Колец» неплох, но дает нейросети уж слишком много свободы. Так больше шансов, что вы не получите желаемого результата. А вот запрос «Сцена из DVD-издания Властелин Колец, где Арагорн, Леголас и Гимли бегут по зеленому полю за орками» сработает гораздо точнее.

Если вы не владеете английским языком в достаточной степени, чтобы описать сцену, воспользуйтесь переводчиком. Советую сервис DeepL — он качественно переводит тексты с русского языка при помощи нейросетей.

Если не получается описание — используйте картинки-референсы. Они помогут добиться максимальной передачи конкретной сцены фильма, которую вы хотите переделать. Или подобрать на главную роль нужного актера. Можно сколько угодно прописывать «Сцена из Матрицы, где Нео останавливает летящие пули». Но действительно проще отправить картинку и дописать текстом, что именно в ней поменять.

Как работать с картинками-референсами, мы подробно рассказывали в другом материале. Повторю инструкцию:

1. Либо найдите подходящую картинку в открытом доступе в сети, либо загрузите ее сами на фотохостинг. Просто загрузить картинку в Discord не выйдет.
2. Скопируйте ссылку и вставьте ее после ввода команды /imagine в поле Prompt.
3. Допишите дополнительные параметры: в какой стилистике изменить картинку, что добавить. Можно экспериментировать, но не забывайте про ограниченные бесплатные попытки.
4. При желании можно вставлять сразу несколько картинок-референсов. В этом случае Midjourney объединит их в равных пропорциях. Но нельзя сильно повлиять на то, что именно нейросеть позаимствует из каждой картинки.

Настройте пропорции картинки. По умолчанию генерируются квадратные в пропорциях 1:1. Но можно добавить к запросу --ar 3:2, тогда картинки будут еще больше напоминать реальные кадры из кино.