Motion capture в blender. выбор инструментария

Фильмография

Существует категория , посвященная эту тему: Фильм снят в захвате движения .

Фильмы полностью сняты в игровой форме

Экспресс-полюс (2004)
Дом монстров (2006)
Возрождение (2006) (фильм снят с захватом движения, но с рабочей методологией, идентичной захвату игры)
Легенда о Беовульфе (2007)
Веселое Рождество Скруджа (2009)
Майло на Марсе (2011)
Приключения Тинтина: Секрет единорога (2011)
Почему я не ел своего отца (2015)

Фильмы, в которых частично используется захват игры

Звездные войны. Эпизод I: Призрачная угроза (1999)
Властелин колец: Две башни (2002)
Властелин колец: Возвращение короля (2003)
Бессмертный, до смерти (2004)
Кинг-Конг (2005)
Пираты Карибского моря: Секрет проклятого сундука (2006)
Счастливые ноги (2006)
Человек-паук 3 (2007)
Пираты Карибского моря: На краю света (2007)
Короли снега (2007)
Терминатор Возрождения (2009)
Аватар (2009)
Планета обезьян: Начало (2011)
Джон Картер (2012)
Хоббит: Неожиданное путешествие (2012)
Джек Охотник на гигантов (2013)
Гравитация (2013)
Хоббит: Пустошь Смауга (2013)
Малефисента (2014)
Планета обезьян: Противостояние (2014)
Черепашки-ниндзя (2014)
Хоббит: Битва пяти воинств (2014)
Мир юрского периода (2015)
Звёздные войны: Эпизод VII: Пробуждение силы (2015)
Варкрафт: Начало (2016)
Звёздные войны: Изгой-один (2016)
Большой толстый гигант (2016)
Планета обезьян: Превосходство (2017)
Звёздные войны: Эпизод VIII: Последние джедаи (2017)
Первый игрок готов (2018)
Мстители: Война бесконечности (2018)

Советы напоследок

Мы понимаем, что по одной статье вряд ли получится освоить motion tracking в совершенстве — одной теории недостаточно. Но если следовать этим рекомендациям, с каждым разом ваши ролики будут становится все лучше:

1. Вдохновляйтесь. Смотрите рекламные ролики, фильмы, сериалы, шоу — там можно почерпнуть много интересных фишек. Так вы разовьете свою насмотренность.

2. Учитесь. Смотрите обучающие ролики на YouTube, читайте специализированную литературу, запишитесь на курсы по видеоредактуре. Даже если вы не хотите становиться профессиональным монтажером, это будет полезно — в хобби тоже нужно разбираться.

3. Практикуйтесь. Да, без практики никуда — это основа для развития любого навыка. Только так вы сможете набить руку и в дальнейшем создавать более сложные и завораживающие видео.

Как видите, использовать трекинг объектов на видео не так трудно, как может показаться на первый взгляд. Особенно, если практиковаться вместе с Movavi Video Editor. Начните с базы: анимируйте текст, скрывайте при помощи блюра лицо и экспериментируйте со стикерами. Главное — подключайте воображение и творите!

Фотоперекладка в мультфильмах

Вскоре эту технику анимации перенял и Уолт Дисней. Так, главную героиню фильма «Белоснежка и семь гномов» 1937 года анимировали с помощью ротоскопа. Первый полнометражный мультфильм Диснея заложил основы для следующих успешных фильмов студии: «Золушка» (1950), «Алиса в Стране чудес» (1951) и «Спящая Красавица» (1959).

Мультфильм «Белоснежка и семь гномов» студии Disney

А в СССР с помощью ротоскопа создали полнометражные картины «Цветик-семицветик» (1948), «Сказка о рыбаке и рыбке» (1950), «Ночь перед рождеством» (1951), «Царевна-Лягушка» (1954), «Снежная Королева» (1957) и многие другие.

«Сказка о рыбаке и рыбке» (1950) студии «Союзмультфильм»

Американский режиссёр-мультипликатор, один из пионеров «взрослой» анимации Ральф Бакши применял ротоскоп в своих фильмах «Поп Америка» (1981), «Приключения кота Фрица» (1972). Пожалуй, самый известный его фильм — первая экранизация «Властелина Колец» (1978).

Кстати, режиссёр Питер Джексон, который в начале двухтысячных снял свою версию The Lord of the Rings, заимствовал многие сцены из мультфильма Бакши. Например, пиршество хоббитов в Шире, эпизоды со Смеаголом и Деаголом, назгулами в таверне. Вы можете сравнить по кадрам влияние анимации Бакши на знаменитую кинотрилогию.

«Властелин колец» (1978) Ральфа Бакши

Если вы хотите создавать иллюзию движения сами — записывайтесь на курс Skillbox «Профессия 3D-аниматор». Вы узнаете, в чём заключается работа аниматора, освоите ключевые навыки и соберёте портфолио. Сможете работать в кино, мультипликации или геймдеве — анимация востребована во многих сферах.

VR mocap: выход из тела

Играя в mocap, актер не видит ни декораций, ни своих партнеров по сцене, ни собственного образа. В студии Magic Factory проблему решают с помощью виртуальной реальности. Исполнитель надевает шлем и прозревает: погружается в вымышленную обстановку, знакомится с другими персонажами фильма и… с «самим собой».

Скрыть текст

Как и в обычном игровом кино, режиссер видит сцену «через кадр», а актер — изнутри

Попутно решается проблема взаимодействия между героями разного размера, особенно характерная для анимации и фантастического кино. Два актера, находящиеся в разных комнатах, встретившись в виртуальной среде, легко могут пожать друг другу руки, даже если выглядят они как Гулливер и лилипут.

Способ переместить героя в сказку ищут не только в России. На съемках сериала «Мандалорец» (входит во вселенную «Звездных войн») режиссер Джон Фавро вымостил светодиодными мониторами всю съемочную площадку, включая потолок. Во время съемок на них выводится изображение необходимого ландшафта, да так, что заменять его на стадии обработки уже не требуется. Правда, доступной эту технологию не назовешь: по оценке Magic Factory, оборудовать павильон подобным образом стоит примерно 200 млн рублей.

Кстати, и в этом случае новая технология повторяет старый прием — рир-проекцию: актер снимается на фоне полупрозрачного экрана, на который с другой стороны проецируется желаемый фон. Так велись съемки персонажей, висящих над обрывом или едущих в автомобиле.

Красивое и плавное замедление видео в CapCut

Если вы хотите сделать эффект Слоу мо, то инструкция, представленная ниже, точно вам пригодится. В ней собрана точная последовательность действий.

Первый шаг: Выберите файл для обработки

Для начала необходимо открыть редактор. Если он уже установлен на ваше устройство, найти его можно в меню приложений. Иконка CapCut имеет белый фон и рисунок чёрного цвета. Ткните на неё.

На главном экране вы увидите кнопку «Новый проект». Нажмите на неё. В результате откроется галерея вашего телефона.

Выберите видео, которое хотите обработать и поставьте галочку в кружочке, который находится в правом верхнем углу. Далее следует нажать на «Добавить».

Второй шаг: Примените эффект

В нижней части рабочего экрана находится панель инструментов. Для замедления видео вам понадобится функция «Скорость». Где она находится вы уже знаете.

Внутри самого инструмента находятся два варианта создания эффекта: нормальная и кривая.
Первая уменьшает или увеличивает скорость всего клипа, а вторая позволяет замедлить отдельные фрагменты. В вашем случае нужно выбрать кривую.

В кривой есть большое количество графиков, по которым происходит изменение скорости. Вы можете выбрать готовый шаблон, но лучше создать собственный. А для этого вам нужно выбрать первый эффект из списка – «Пользовательский».

Внутри находятся 5 опорных точек. Первую и вторую оставьте так как есть, а последнюю и предпоследнюю опустите на 0,5x.

Теперь нужно разместить оставшуюся опорную точку так, чтобы получалась лесенка. Так замедление будет плавным. Выглядеть это должно следующим образом:

Если вы всё сделали правильно, на дорожке появится надпись «пользовательский». Перед сохранением обязательно проверьте то, что у вас получилось.

Третий шаг: Сохраните полученный результат

Для этого нужно нажать на стрелочку, которая находится в верхнем правом углу экрана.

Редактор предложит настроить такие параметры как разрешение и частота кадров. Не игнорируйте этот шаг, потому что от него будет зависеть качество готового контента и его вес. После того, как вы всё настроите, нажмите на «Экспорт».

2.2 Захват модуля нейрона восприятия

1. Оборудование для захвата движения PN должно использовать поддерживающее программное обеспечение Axis Neuron для сбора данных о теле. Чтобы узнать, как использовать оборудование и его вспомогательное программное обеспечение, обратитесь к руководству по использованию продукта Perception Neuron в технологическом сообществе Uin Forest CG. В этой статье не рассматриваются детали, тест захвата в этой статье не связан с устройством, вы также можете подключить устройство для работы, логика такая же, конкретная операция выглядит следующим образом.

2. Сначала откройте программу захвата движения Axis Neuron, нажмите [Файл -> Настройки-> Пересылка данных в верхнем левом углу строки меню и убедитесь, что включены TCP / UDP, расширенный BVH и BVH. Все отмечены галочками. . (Рисунок 1-11) Если вы используете английскую версию, выполните следующие действия: В меню «Файл» -> «Настройки» -> «Вещание» проверьте формат TCP и Advanced BVH, затем введите действующий порт.

(Рисунок 1-11)

3. Перейдите в столбец «Общие» и запишите локальный IP-адрес.Каждый компьютер отличается, в зависимости от вашей собственной записи компьютера. (Изображение 1-12)

(Изображение 1-12)

3. Поскольку это тест, мы можем по желанию открыть файл захваченного движения для обмена данными. В это время Axis Neuron будет моделировать состояние соединения с устройством и выполнять пересылку данных.

a) Дважды щелкните любой файл RAW в нижнем левом углу интерфейса, рекомендуется использовать MasterCui, потому что это действие относительно велико и подходит для наблюдения. (Рисунок 1-13)

б) Нажмите кнопку воспроизведения.

c) Щелкните бесконечный цикл справа, чтобы облегчить наше соединение и наблюдение позже.

г) Наблюдайте за человеческим телом с правой стороны, которое было смоделировано как подключенное устройство.

д) Сверните программное обеспечение Axis Neuron и запустите его в фоновом режиме, и программа воспроизводит движения костей в бесконечном цикле (или фиксирует их в реальном времени).

(Фото 1-13)

4. Откройте плагин MotionLive для iClone. Если вы правильно установили плагин Perception Neuron для iClone ранее, в диалоговом окне появится окно Perception Neuron (Body and Hand). Записанный IP-адрес и порт bvh Номер по умолчанию: «Ваш локальный IP-адрес + 7001», который можно проверить в настройках программного обеспечения Axis Neuron (см. рисунки 1-15 и 1-16).

(Рисунок 1-14)

(Изображение 1-15)

(Рисунок 1-16)

5. Вернитесь к плагину Motion LIVE и зажгите маленькие кружочки перед двумя окнами Body и Hand. Щелкните восклицательный знак на обратной стороне полей «Тело» и «Рука» в нижнем поле и установите флажок «Нейрон восприятия». В это время верхние субъекты равны 1, что указывает на успешное соединение, если оно все еще равно 0, пожалуйста, подтвердите подключение устройства или убедитесь, что Axis Neuron продолжает воспроизводить файл движения скелета в фоновом режиме. (Рисунок 1-17)

(Изображение 1-17)

5. Щелкните Предварительный просмотр, а затем нажмите любую клавишу, чтобы начать действие предварительного просмотра. (Мы можем использовать колесо мыши, чтобы уменьшить масштаб персонажа для просмотра). Нажмите любую клавишу, чтобы приостановить воспроизведение. (Рис. 1-18), в это время также проверяется наша часть тела.

(Изображение 1-18)

Для чего используется отслеживание движения в видео?

Инструмент motion tracking в роликах отслеживает траекторию движения объекта и закрепляет на нем изображение, текст, эмодзи или стикеры.

Например, мы не раз видели в новостях заблюренное лицо человека, где «‎маска» перемещается вместе с персонажем. Такого эффекта достигли как раз с помощью отслеживания движения. Еще один пример — это всплывающие сообщения и электронные письма в сериале «‎Шерлок». Здесь motion tracking позволяет не отвлекаться от главных персонажей и оставаться в курсе всех фактов.

Отслеживание движения объекта считается функцией для продвинутых пользователей и используется профессиональных программах вроде Adobe After Effects или Vegas Pro. Что же делать новичкам, которые пока не могут работать с «‎тяжелым» софтом? Есть несколько видеоредакторов, которые помогут начинающему монтажеру. Например, в Movavi Video Editor Plus инструмент motion tracking можно применить за несколько кликов мышкой.

Ротоскопирование в играх

Именно Дон Блут работал над играми Dragon’s Lair (1983) и Space Ace (1984). Обе игры, несмотря на то что многих они поразили графикой и анимацией, едва ли кого-то удивили геймплеем. По сути, это именно мультфильмы, где время от времени у игрока есть возможность нажать на нужную кнопку и повлиять на действия персонажей. Проблема ещё и в том, что зачастую необходимую клавишу просто не успеваешь нажать, что тоже портит впечатление.

Поймите меня правильно, Dragon’s Lair — важная игра в истории индустрии. Тем не менее в неё попросту невозможно играть с удовольствием, поскольку надо всё время следить за тем, какую клавишу следует сейчас нажать. Из-за этого на саму игру смотреть не успеваешь.

Колин Мориарти

Рецензия сайта IGN на переиздание Dragon’s Lair в 2010 году

Трейлер Dragon’s Lair для iPhone

Затем ротоскопирование в играх применил автор первой Prince of Persia — геймдизайнер Джордан Мекнер. Во время разработки он оцифровал видео, на которых запечатлел движения своего брата, — они и стали основой для движений главного героя платформера.

Ролик о создании Prince of Persia (1989)

Так Мекнер сделал анимацию в Prince of Persia реалистичнее, что сказалось и на геймплее. Принц может прыгать с места или с разбега, кувыркаться, висеть на руках и подтягиваться на уступах. И чтобы пройти игру, нужно использовать всё это, а также учитывать инерцию тела героя — после бега персонаж останавливается не сразу, его немного заносит, из-за чего он может упасть в пропасть.

Такой подход усложнил игровой процесс, но вместе с тем сделал его крайне интересным и порой непредсказуемым.

Тот же метод анимации использовала и студия Midway при создании трёх первых Mortal Kombat. Бойцы в них двигаются довольно реалистично, и это неспроста — их движения и удары исполнили реальные актёры. Материал, отснятый на камеру, затем оцифровали и использовали при создании анимации.

Видео о записи материала для Mortal Kombat 3

Ещё одна игра, для создания которой использовали технологию фотоперекладки, — Flashback. Её авторы, французская студия Delphine, стремились сделать своё приключение похожим на кино, а именно на популярные в то время боевики. Техника ротоскопирования позволила им создать плавную и реалистичную анимацию, которая приблизила Flashback к фильму.

Полное прохождение Flashback (1992)

Фотоперекладку применяют и при создании современных игр. Скажем, серия тактических RPG — The Banner Saga — запомнилась в том числе благодаря особенному визуальному стилю. В ней студия Stoic совместила ротоскопированную 2D-анимацию в духе мультфильмов Ральфа Бакши и Дона Блута со статичными иллюстрациями в стиле художника Disney Эйвинда Эрла.

Новая фишка — игры в виртуальном мире

Компания Sony пошла еще дальше в развитии приставок для подвижных игр, выпустив в продажу платформу PlayStation VR. Это настоящий комплект для виртуального мира, включающий в себя:

традиционный мув;
шлем виртуальной реальности;
совместимый контроллер прицеливания.

Контроллер прицеливания — это виртуальная винтовка, из которой можно стрелять и целиться в игровой реальности. А шлем VR, с камерой и наушниками, обеспечивает полное погружение в этот мир.

С такой игровой приставкой точно не посидишь на диване, движение для детей гарантировано. Да и взрослые сами не откажутся поиграть в новой реальности.

Распознавание образов

Системы захвата движения бывают разные, но почти каждую из них можно отнести к одному из двух типов: первый основан на обработке видео, а в другом используются специальные датчики. Те из них, которые не требуют датчиков, по объективным причинам вышли в лидеры.

Обрабатывать видео тоже можно по-разному. Некоторые системы требуют использования маркеров — особо выделенных областей на специальных костюмах для Motion Capture. Отыскать маркеры в отснятых кадрах относительно нетрудно — это не требует сложных алгоритмов. Существуют и безмаркерные системы — они, как можно догадаться по названию, не требуют маркеров и основаны на распознавании образов.

Считается, что безмаркерные системы прогрессивнее, и (по крайней мере с технической точки зрения) это чистая правда: технологии, лежащие в их основе, более сложные и наукоёмкие. Компьютер нужно научить отличать левую и правую стороны персонажа, а бликующие поверхности (например, блестящая ткань) способны сбить безмаркерные системы с толку. Фактически тут требуется полноценное машинное зрение, а данная область остаётся всё ещё недоразведанной территорией.

В системе iPi Soft маркеры не используются из принципа: это слишком долго и утомительно. Одна только подготовка и калибровка маркерной системы занимает полчаса-час, то есть студию захвата движения приходится резервировать на целый съёмочный день — а это стоит тысячи долларов. Вдобавок, как рассказал Михаил Никонов, в студиях Motion Capture, где применяются маркерные системы, часто во всех ролях снимаются одни и те же актёры, и требуется специальная одежда под маркеры, а наборов этой спецодежды всегда ограниченное количество.

iPi Desktop Motion Capture подготовить к работе можно куда быстрее. Правда, к одежде есть свои требования, но куда более простые. Оптимальный вариант — это чёрный свитер, синие джинсы и чёрные ботинки, при этом и верх и низ должны быть однотонными, без узоров и без блёсток.

Кифреймить руками

Это один из самых старых и поэтому традиционных методов получения анимации. Когда трава была зеленее, из-за сравнительной простоты (и дороговизны других методов) этот метод получил широкое распространение. По сути, представляет собой восстановление в софте руками по ключевым кадрам положения точек, определяющих ключевую геометрию скелета. Поставили точку, откатали на следующий ключевой кадр, поменяли положение точки — софт сделал все промежуточные кадры между ключевыми. Математически ключевая задача звучит так — создать промежуточные кадры между ключевыми кадрами наиболее эффективно/дешево. Традиционный метод — интерполяция.

Роль машинного обучения здесь заключается в попытке угадать, какую задачу решает пользователь и максимально эффективно оптимизировать координаты в промежуточных кадрах. В целом, метод кифрейма руками — очень гибкий и при должном усилии и хорошем и обязательном подборе референсов позволяет достичь очень высокого качества анимационных данных. К тому же, практически незаменим для 2D графики. Но вместе с гибкостью приходят и недостатки. Поскольку метод завязан на ручной работе человека, его крайне сложно масштабировать, не говоря уже про сохранение качества при масштабировании. Грубо говоря, если нужно получить 10000 минут анимации для нескольких персонажей, кифреймить руками будет стоить, как крыло самолета (если не больше) и при этом крайне сложно, а значит и дорого контролировать качество на каждом из юнитов. С другой стороны, если нужно сделать 10 секунд походки одного персонажа с налётом утренней меланхолии поздней осени или, скажем, один уникальный боевой удар для только одной кат сцены, способ кифреймить руками отлично себя зарекомендовал.