The hardware you need to do motion capture at home
The better your hardware, the easier your life will be. Investing in the best software is one thing, but if you don’t have enough computing power to render computer graphics, you’ll waste hours waiting on renders. Additionally, a motion capture suit can provide you with superior animation that requires less editing in post-production.
Hardware for professional motion capture at home:
- A powerful computer with the following specs At least 16 gigs of DDR4 Ram, Intel Core i7 3.00GHz, A mid to high range GPU.
- The Rokoko Smartsuit Pro II.
- Optional: Rokoko Smart Gloves.
- A tablet to control camera angles.
- An iPhone to capture facial mocap.
DIY mocap rigs for beginners:
The above setup can set you back a couple thousand dollars. While that’s infinitely cheaper than the tens of thousands that a mocap studio costs, you might still want something a little cheaper. Here are some options that people have had success with:
“I found a great DIY motion capture rig to be iPi Soft mixed with Xbox Kinect Cameras”. Check out Leigh Williamson’s $116.90 setup: A PC (or MAC with Windows installed using Boot Camp), Kinect 2 Camera (~$40), Kinect 2 USB Adapters for Xbox One & Windows ($18.24), and a Camera Tripod ($58.66)
“The new Azure Kinect DK also works but is a more expensive version at $399, unless you have the budget stick with the discontinued Xbox Kinect and Kinect for Windows.” — James West
Софт для захвата движения
Итак, поскольку мы не претендуем на голливудский размах и решили (пока?) отказаться от милионных затрат на специализированное оборудование, то будем рассматривать только варианты программ, которые обеспечивают запись движений при помощи HTC Vive. Забегая вперед, сразу скажу, что собственно для записи движений я использовал программу IKinema Orion, но перед тем, как перейти к ее описанию, расскажу еще про несколько вариантов.
Vive Setup и Steam VR
Также не помешает установить Steam VR. Это софт от Valve для работы с VR-приложениями (играми и не только). Отношения к Mocap-у он не имеет, но я все равно рекомендую установить его для настройки и тестирования оборудования. Кстати, в Steam есть немало бесплатных VR приложений, которые позволят вам провести время весело (игры) и с пользой (графика, скульптинг). Но сейчас не об этом.
Motion Capture в Blender
Причем технически такая возможность явно есть, просто не нашлось пока умельца, у которого возникло бы желание написать под Blender аддон, заточенный именно под захват движения при помощи VR-шлемов типа Vive. Аддоны для Blender пишутся на Python, и если вы владеете этим языком — можете взяться за написание такого аддона, очень многие вам скажут спасибо.
Между делом, нашел аддон для Блендера, который позволяет работать с вьюпортом, надев VR-шлем, то есть фактически видеть в VR сцену, с которой вы работаете. Но к Mocap-у это отношения не имеет.
Ну а за неимением встроенных в Blender средств захвата движения приходится пока искать сторонний софт для этих целей (с последующим переносом записанных движений в Blender при помощи соответствующего аддона, но об этом позже).
Motion Capture в Unity 3D
Зато к игровым движкам аддоны написаны. Например, вот один из таких аддонов для Unity (аж от самой команды HTC). Он бесплатен, у меня получилось установить его (на бесплатную версию Unity) и потестировать. Как минимум, работает в режиме реального времени. Я не стал подробно разбираться с записью анимации и возможностями ремаппинга, поскольку более простые варианты типа IKinema меня устраивают больше.
Motion Capture в Brekel OpenVR Recorder
Brekel OpenVR Recorder — программа (к сожалению, только под Windows), предназначенная специально для записи позиций трекеров HTC Vive. Программа платная, стоит 139 долларов, но есть триал-версия, позволяющая делать записи до 10 секунд. Довольно интересная и достойна внимания программа, экспортирует анимацию в FBX-формате, результаты открываются и нормально работают в Blender (проверено). Однако она не подходит для наших целей по одной причине — программа записывает только положение трекеров, никакого анимированного скелета на выходе мы не получаем.
Motion Capture в IKinema Orion
Ну и наконец победитель нашего хит-парада — IKinema Orion. К сожалению, Linux-версии тоже нет, и программа довольно дорогая, стоит 400 британских фунтов (около 530 американских долларов). Но есть двухнедельная полнофункциональная триал-версия, для моих целей этого оказалось достаточно.
Возрождение с приходом виртуальной реальности
Kinect не удалось с нескольких попыток (выходов контроллера для XBox 360 и его обновлений в Xbox One и Kinect SDK — последнее это разработка под Windows, которая позже была свернута) завоевать игровую индустрию.
Однако есть шанс победоносного возвращения технологии Kinect, в первую очередь связанный с развитием технологии виртуальной реальности. Если Microsoft будет дальше развивать Kinect, он может стать основным устройством создания «аватара».
Создание игрового персонажа в виртуальной реальности невозможно без прорисовки скелета и захвата его движений — и для Kinect это хорошая возможность технологического развития. Поэтому неудивительно, что в июне 2015 года было объявлено о соглашении Microsoft и «Фейсбука» и скором появлении на прилавках комплекта из очков виртуальной реальности Oculus Rift с джойстиком от Xbox.
Также Microsoft уже вовсю работает над своим следующим проектом — носимом голографическим компьютером HoloLens, который базируется на технологии Kinect. Этот компьютер также обладает двумя камерами, понимает жесты и имеет голосовое управление.
Вне своей игровой ипостаси Kinect и его технологии используют специалисты многих областей — от искусства и робототехники до маркетинга.
Advantages[]
Mocap offers several advantages over traditional computer animation of a 3D model:
- Mocap can take far fewer man-hours of work to animate a character. One actor working for a day (and then technical staff working for many days afterwards to clean up the mocap data) can create a great deal of animation that would have taken months for traditional animators.
- Mocap can capture secondary animation that traditional animators might not have had the skill, vision, or time to create. For example, a slight movement of the hip by the actor might cause his head to twist slightly. This nuance might be understood by a traditional animator but be too time consuming and difficult to accurately represent, but it is captured accurately by mocap, which is why mocap animation often seems shockingly realistic compared with hand animated models. Incidentally, one of the hallmarks of rotoscope in traditional animation is just such secondary «business.»
- Mocap can accurately capture difficult-to-model physical movement. For example, if the mocap actor does a backflip while holding nunchucks by the chain, both sticks of the nunchucks will be captured by the cameras moving in a realistic fashion. A traditional animator might not be able to physically simulate the movement of the sticks adequately due to other motions by the actor. Secondary motion such as the ripple of a body as an actor is punched or is punching requires both higher speed and higher resolution as well as more markers.
Related techniques[]
Facial motion capture is utilized to record the complex movements in a human face, especially while speaking with emotion. This is generally performed with an optical setup using multiple cameras arranged in a hemisphere at close range, with small markers glued or taped to the actor’s face.
Performance capture is a further development of these techniques, where both body motions and facial movements are recorded. This technique was used in making of The Polar Express, where all actors were animated this way.
An alternative approach was developed by a Russian company VirtuSphere, where the actor is given an unlimited walking area through the use of a rotating sphere, similar to a hamster ball, contains internal sensors recording the angular movements, removing the need for external cameras and other equipment. Even though this technology could potentially lead to much lower costs for mocap, the basic sphere is only capable of recording a single continuous direction. Additional sensors worn on the person would be needed to record anything more.
How do you capture facial expressions and apply them to a 3D character?
Facial capture is a little different to capturing human body motions, but it’s not a major speed hurdle in the development of your virtual world. Motion capture technology has advanced so far that you’ve probably already used mocap for your face using Instagram filters!
Download the Rokoko Remote App from the App Store for facial motion capture on iOS phones
The setup for facial motion capture is simpler than you think. All you need is an iPhone with a TrueDepth camera and the right app. With the Rokoko Remote app, Rokoko Studio, and the SmartSuit Pro, you can capture real-time facial capture in Rokoko Studio and sync the data with the full body motion capture suit for a full performance capture solution.
This minimal mocap rig is excellent for capturing performances for live streaming (VTubing) and for filming mocap actors who ‘play’ 3D characters in a virtual production project.
Check out this tutorial to see how easy it is to integrate facial capture into your animation projects:
Free 3D Models, assets, and animation libraries for motion capture
There are plenty of places where you can find 3D assets like an animated character, environmental sets, and even pre-recorded motion capture. Here are some of our favorites:
- Rokoko Motion Library — The world’s largest marketplace of motion assets. You can get the first 100 for free when you download Rokoko Studio.
- Turbosquid — The ultimate marketplace of 3D assets for professionals. There’s also a bunch of free assets for you to use right off the bat.
- Adobe Mixamo — Planet of useful animations perfect for games
The kind of motion capture you might need to create simple video games
In this example by Melianthe Kines, you can learn exactly what kind of assets you might need to create and capture motion for. In her “Superguy” game, she outlines six basic game characters and assigns the main character 20 basic motion capture movements to build a minimum viable product for the game. These can be compiled into a spreadsheet that makes capturing motion on the day (or finding it from an asset library), relatively straightforward.
Superguy’s character motion flowchart — Image credited to gamedeveloper.com
Домашний Motion Capture
Всем привет, хотелось бы создать домашний Motion Capture, ну или не совсем домшний, подскажите, как лучше сделать, купить несколько камер, или лучше просто купить kinect для xbox и с помощью него сделать. Есть довольно большой спортивный зал в нашем распоряжении, с постеленными матами, может там как-то обустроиться, хотелось бы более менее качественный Motion Capture, чтобы какие-то бойцовские анимации создавать ну и в принципе походка, бег, прыжки, итд. Желательно чтобы не выходило за пределы 100 тысяч рублей решение.
http://ipisoft.com/ или аналоги Это если совсем бюджетно и не очень качественно. Если нужна точность выше то онли маркерные технологии. Но там будет достаточно сложно, достаточно заморочено и сомневаюсь что в 100к реально будет уложиться.
Тоже интересна такая тема. Подписываюсь.
Вижу пока три варианта: 1. Светодиоды с батарейками накрепить на одежду. Отслеживать очень качественными камерами и хитрыми алгоритмами слежения. Недостатки: может случиться перекрытие светодиода для всех камер, должно вылечиться интерполяцией; нужно склеивать куски треков и назначать их костям после каждой съёмки. 2. Ультразвук. Микрофоны либо излучатели с микроконтроллерами на батарейках в качестве датчиков. Опорные микрофоны/излучатели в фиксированных местах комнаты. Получаем расстояния через задержку в скорости звука. Недостатки: сложность датчика; нужна обратная передача данных. 3. Магнитные поля. Датчик содержит МК, катушку и усилитель. В фиксированных местах комнаты передающие катушки. Расстояния считаются по угасанию интенсивности переменного магнитного поля. Недостатки: трудно сказать, возможно ли решить уравнение позиции датчика имея одну катушку в нём; придётся снять с себя металлические предметы и убрать таковые из комнаты; скорее всего будет очень много помех; нужна обратная передача данных.
Используй систему технического зрения и одежду контрастных цветов, чтобы распознавать ее было проще.
Из затрат — вебкамера, комп, одежда Тыщ 20 уйдет на это дело.
Акселерометры навешай и интегрируй, вот тебе и примитивный моушн кэпчэ
Or1s > http://ipisoft.com/ + 2 kinect for windows — по моему для начала самое оно, ну постробработка конечно, чистить все равно придется особенно ноги (на 1 кинекте часто уплывают)
Int64 > Желательно чтобы не выходило за пределы 100 тысяч рублей решение. Дай мне двадцатку. Не хватает на помещение. Задолбало комп на дачу возить. Ждать хорошей погоды, копать столбы и заряжать шуруповёрт. А если по серьёзному надо 120 рублей на 4 камеры Canon eos 600d. Хотя можно найти без портретного объектива на несколько рублей дешевле. 60 fps 1024×720 это очень нормально так. Можно убивать мамонта в прыжке с разбегу и с разворота. А забыл. Пульт надо для одновременного включения записи.
хм.. ну допустим я куплю 4 камеры Canon eos 600d, а там же еще нужно костюм склепать, каким он примерно должен быть? просто светодиоды наклеить, но как правильно их расположить на костюме, получается, там где сустав, должен быть светодиод? а светодиоды тогда с двух сторон лепить, или только с передней стороны?
captain NOVA потёр свои видосики и фоточки, жаль. Я свою почту тоже почистил, а в теме про рукоблудство он только себя демонстрирует.
Int64 > подскажите, как лучше сделать Kinect2 купить.
Ребятки да всё упирается только в камеры. Нужны камеры 60 fps минимум, но этого хватает вполне. Найдите дешёвые usb вебкамеры hd 60 fps и будет вам счастье. У меня счас 5 камер. Наконец расставил их под правильными углами. Времени не хватает. Ремонт дома делаю. От себя хочется сказать не верьте в безмаркерную технологию. Это некачественная анимация. Поворот конечностей там определяется трудно. Я уж не говорю про движение лопаток, кистей рук. Я не знаю что там в последнее время ipi soft пытается демонстрировать. Но я тут по своим наработкам узрел инерцию головы во время удара рукой в slow motion. Блин это очень круто.
captain NOVA > о я тут по своим наработкам узрел инерцию головы во время удара рукой в slow > motion.
Это интересно, тебя били по голове или ты кого-то? Просто чтоб возникла инерция нужен реальный момент, ведь так?
rusk Голова дёргается в конце полёта руки. У меня масса руки нормальная. При торможении в воздухе рука тянет за собой плечо, дальше шея и голова в конце. Я же никого не бью. Имитирую)) Хотя для реалистичности надо в грушу бить.
Источник
Конкретные примеры
Чтобы помочь вам выбрать систему захвата актерской игры, давайте рассмотрим в качестве примеров несколько недавних проектов в этой области. Каждый из них сделан под определенные нужды и использует разные технологические решения, соответствующие поставленной задаче.
Siren
В видео «Сирен: захват актерской игры в реальном времени», показанном на GDC 2018, Epic Games создала цифровую женщину по имени Сирен, в реальном времени управляемую мокап-актрисой. Виртуальный аватар Сирен имитировала актрису почти во всем – система захватывала речь, голос, а также движения лица и тела.
Изобр. 14; «Персонаж Сирен, вживую управляемая актрисой, включая речь и базовые движения рук (изображение любезно предоставлено Epic Games, 3Lateral и Tencent)»
Готовя это демо, мы сначала составили список того, что нам было нужно.
Во-первых, была важна позиция. Мы хотели использовать двигающуюся виртуальную камеру, и это значит, что нам нужно было отслеживать и камеру, и актера, чтобы их позиции соответствовали друг другу.
Нам также нужны были движения лица, т.к. во время демонстрации Сирен должна была говорить со зрителями. Но мы не хотели использовать маркеры на лице актрисы, поскольку это должна была быть живая демонстрация, а мы не могли допустить, чтобы маркеры отвалились с ее лица прямо во время презентации. В итоге мы решили использовать для захвата лицевых движений камеру и датчик глубины.
Но для тела мы все же решили воспользоваться видимыми маркерами, т.к. знали, что можем прикрепить их достаточно крепко к мокап-костюму, и они не отвалятся даже в самые ответственные моменты презентации.
Мы также хотели, чтобы Сирен могла шевелить пальцами. Но нам не нужна была точная детализация, а лишь возможность естественно двигать ими во время общения.
Поскольку нам была важна позиция, и нам не надо было прятать маркеры, для тела мы решили воспользоваться оптической маркерной системой Vicon. Система из датчика глубины и камеры для захвата лицевых движений предполагала огромное количество вариантов, но мы остановили выбор на мокап-системе Cubic Motion, т.к. уже работали с ней раньше.
Поскольку движения пальцев не должны были быть максимально точными, мы могли использовать Vicon и тем самым избежать необходимости использовать дополнительную мокап-систему. Для отслеживания ключевых точек на пальцах мы использовали программу Vicon Shogun, а затем применили полученные данные в тех точках виртуальных пальцев, что давали убедительный результат.
Победитель конкурса SIGGRAPH 2018 Real-Time Live! (Kite & Lightning)
До экспериментов с захватом движения в реальном времени лос-анджелесская компания Kite & Lightning работала над несколькими VR-проектами. Один из основателей компании Кори Страсбургер решил взять несколько персонажей-детей из их игры Bebylon Battle Royale и разработать систему, где вы могли бы управлять этими персонажами при помощи мокапа в реальном времени. В результате их демонстрация «Демократизация мокапа: Полный захват актерской игры в реальном времени при помощи iPhone, Xsens, IKINEMA и Unreal Engine» стал победителем соревнования SIGGRAPH 2018 Real-Time Live!
Изобр. 15; «iPhone X здесь служит одновременно датчиком глубины и камерой для захвата движений лица (изображение любезно предоставлено Kite & Lightning)»
Для движений тела им было достаточно системы, захватывающей данные о позе, поскольку персонажи находились на статичном фоне, не трогали друг друга и мало ходили. На Кори был надет инерционный костюм Xsens MVN, а для передачи потоковых данных о движении тела из мокап-костюма в Unreal Engine использовалась программа IKINEMA LiveAction.
Для захвата движений лица он прикрепил к пейнтбольному шлему iPhone X, а для передачи данных в Unreal Engine использовалась платформа ARKit от Apple. Более подробно об этом решении можно прочесть в блоге Unreal Engine. Цифровая студия Animal Logic использовала похожий подход для захвата актерской игры и передачи мокап-данных в реальном времени на фигурку Lego, о чем можно также прочесть в блоге Unreal Engine.
Полную документацию о том, как использовать систему распознавания лицевых движений iPhone X в Unreal Engine читайте по этой ссылке.
Примеры использования в маркетинге
Kinect обладает большим потенциалом для использования как в обычном, так и в онлайн-ритейле, который, к сожалению, еще мало реализован.
Примерка одежды с помощью Kinnect
Например, пользователь может «виртуально» примерить одежду, прокатиться в автомобиле или осмотреть гостиницу изнутри.
Спорт
Редкий современный бренд так или иначе не эксплуатирует идею здорового образа жизни, и спорт стал для этого универсальной коммуникационной платформой.
https://youtube.com/watch?v=nBVL1tyvk_4
Одно из самых известных спортивных приложений — Nike+ Kinect training
Это виртуальный спортзал, в котором вы работаете с персональным тренером. Он формирует задачи и строит план упражнений с учетом вашей спортивной формы.
Автопром
Chevrolet — первый автопроизводитель, отреагировавший на появление Kinect в 2010 году созданием собственной брендированной гоночной игры Kinect Joy Ride.
https://youtube.com/watch?v=A2MsdC-Iz8I
Помимо самих гонок в игре можно пройти тест-драйв новых моделей Chevrolet, а также бесплатно открыть автомобили для заездов, просмотрев рекламные ролики Chevrolet.
Спонсорские мероприятия
Интерактивные киоски или дисплеи на базе Kinect потенциально могут заменить промоутеров. Например, чтобы привлечь зрителей на премьеру фильма «Росомаха: Бессмертный», кинокомпания 20th Century Fox открыла такие киоски в торговых центрах Бразилии, Индии и на Филиппинах.
https://youtube.com/watch?v=heHI8aCbjFE
Интерактивные витрины
Сейчас магазины сражаются за внимание прохожих не только друг с другом, но и с множеством других движущихся и светящихся рекламных объектов. Поэтому мертвая статика пластиковых манекенов, в какую бы красивую форму она ни была облечена, работает все меньше и меньше.. Технология Kinect помогает брендам привлекать внимание: потребители могут управлять содержимым такой витрины и решать, что смотреть — каталоги, информацию о скидках или мультимедийный контент.
Технология Kinect помогает брендам привлекать внимание: потребители могут управлять содержимым такой витрины и решать, что смотреть — каталоги, информацию о скидках или мультимедийный контент.
Так, японский ритейлер United Arrows смонтировал интерактивную витрину с манекенами-роботами, которые повторяли позы, жесты и мимику прохожих. Для ее создания использовалась технология Kinect — встроенная камера, Манекена было два, мужской и женский, поэтому проходящим мимо магазина парочкам предлагали получить дополнительную скидку, с помощью марионеток и языка жестов выразив чувства, которые они испытывают друг к другу.
Интерактивный индор и аутдор
Если вы занимаетесь, например, туризмом, то можете поставить в своем офисе экран, который будет показывать изображение вашего клиента на фоне гор и пляжей разных стран. Kinect позволяет персонифицировать любое рекламное сообщение и четко таргетировать его на человека, проходящего мимо вашей рекламы.
Осенью 2014 года компания IKEA провела опрос среди жителей Великобритании и выяснила, что 44% британцев испытывают дискомфорт, глядя на свое отражение в зеркале. Чтобы избавить их от части комплексов, IKEA установила в один из лондонских магазинов «мотивационное» зеркало. Система, созданная на базе Kineсt, улавливала лица и фигуры покупателей и делала им комплименты с помощью надписей и голосовых сообщений. А еще зеркало свистело, когда мимо проходила красивая женщина.
Использование технологии Kinect на российском рынке
К сожалению, примеров использования российскими рекламодателями рекламных конструкций на базе Kinect немного. Во многом, это обусловлено их относительно высокой стоимостью, которая складывается из трех величин:
- Создания программного обеспечения (брендированных игр и конкурсов);
- Железа (интерактивных зеркал и витрин, а также обслуживающего их компьютера);
- Аренды площади в торговом центре.
В среднем по рынку ценник на проведение кампании с использованием одного интерактивного киоска (включая расходы на hardware и software) начинается с 2,5–3 млн рублей. Верхняя ценовая планка ограничивается лишь фантазией и возможностями рекламодателя.
Но, несмотря на относительно высокую стоимость, российские потребители еще не избалованы проектами с использованием технологий Kinect, поэтому они обладают высокой эффективностью и помогают рекламодателям выделиться на фоне конкурентов.
В чем преимущество интерактивных презентаций информации, товаров и услуг при помощи контроллера Kinect?
Считывание движений и речи максимально активно включает человека во взаимодействие «здесь и сейчас».
Эффект неожиданности выдергивает человека из привычного ритма жизни, благодаря чему его внимание фокусируется на нужной информации.
Посетитель надолго запомнит продукт/услугу, с которыми он вступил в интерактивное взаимодействие. По данным исследований Romir и TNS запоминаемость рекламируемой марки на интерактивных носителях составляет 92%.
Интерактивное взаимодействие в режиме реального времени вызывает эмоции, что приводит к устойчивой лояльности.
Благодаря широкому использованию Kinect в видеоиграх, он удобно подключается к любому компьютеру под управлением MS Windows.
И, конечно же, — WOW-эффект и длительный широкий резонанс, последующая передача информации «из уст в уста», что приводит к привлечению новых потребителей.
Оборудование для захвата движения (того самого Motion Capture)
Использование HTC Vive для Motion Capture
Собственно, почему HTC Vive?
А потому, что на сегодняшний день из бюджетных вариантов (умещающихся в одну-две тысячи долларов) это самый адекватный и точный. Были и другие попытки использования простых средств для Mocap-а. Из простейших вариантов для этих целей пытались приспособить обычные веб-камеры, но точность результатов оставляла желать лучшего. Из более поздних и более точных — использовали Kinect. Но с появлением и относительно широким распространением шлемов виртуальной реальности (и дополнительных аксессуаров к ним) стало ясно, что это решение гораздо более точное и удобное. А среди шлемов виртуальной реальности на сегодняшний день HTC Vive пожалуй является самым распространенным и удобным решением (во многом благодаря сотрудничеству с Valve и интеграцией со Steam).
Так почему же VR-оборудование (в нашем случае HTC Vive) так хорошо подходит для записи Mocap-ов? А потому, что сам шлем, идущие в комплекте к нему контроллеры, а также приобретаемые отдельно дополнительные трекеры способны передавать свое точное положение в пространстве, включая углы наклона. Правда, шлем с проводом использовать для мокапа не очень удобно. Поэтому избавимся от него, надев один из трекеров прямо на голову. Также взяв в каждую руку по контроллеру и навесив на себя в нескольких точках дополнительные трекеры, мы фактически получаем простой вариант того самого голливудского костюма для захвата движения.
Причем поскольку мы определяем не только расположение оборудования в пространстве, но и углы наклона, то многие промежуточные точки (например, локти и колени) могут вычисляться автоматически. Таким образом мы можем сэкономить на количестве используемых трекеров (каждый из них стоит $150).
2.3 Одновременное использование и захват плагинов FA и PN
После двух описанных выше базовых операций независимого захвата вы должны были разобраться в способе его настройки. Затем вам нужно только подключить и настроить камеру в соответствии с методом в 2.1, а затем подключить и настроить устройство захвата движения AxisNeuron и PN в соответствии с методом в 2.2, а затем вы можете начать пробовать два потока данных одновременно. время для захвата в реальном времени.
Остерегаться:
О: Вы должны поддерживать работу программного обеспечения Faceware Realtime для iClone в фоновом режиме в реальном времени.
B: Вы должны поддерживать работу программного обеспечения Axis Neuron в фоновом режиме в реальном времени (воспроизведение скелетной анимации или захват в реальном времени).
C: Введите правильный IP-адрес и порт данных. (Изображение 1-19)
(Рисунок 19)
Хотите попробовать?
Подробнее про типы систем захвата движений и оборудование можно прочитать в переводе книги «Choosing a real-time performance capture system». Имея в запасе пару тысяч долларов стоит присмотреться к iClone Motion LIVE, который работает с Leap Motion, Faceware и костюмами захвата движений Perception Neuron, OptiTrack, Xsens.
Желаете попробовать себя в 3D-анимации/motion capture в домашних условиях? Есть масса бесплатных возможностей! Autodesk предлагает бесплатно и без ограничений использовать большинство своих продуктов в течение 30 дней (студентам – 3 года) – начать стоит с MotionBuilder и Maya или 3DS Max. Также у Autodesk есть много обучающих руководств и советов в разделе Area. Если у вас под рукой найдётся пара камер Sony PS Eye или Kinect, можете побаловаться с бесплатной пробной версией iPi Soft. Если вы хотите пропустить процесс захвата и поэкспериментировать с уже готовыми файлами движений, у Университета Карнеги-Меллон их полным-полно здесь. Если вас просто заинтересовала данная тема, можете поискать информацию на сайтах, посвящённых цифровым эффектам и игровой тематике.
Бюджет
Итак, подходящая мокап-система присмотрена, деньги есть, решение попрощаться с ними – тоже. Что дальше? Три варианта: вы можете обратиться к компании, которая предоставляет мокап-услуги, арендовать мокап-систему и самому ею воспользоваться или купить мокап-систему и самому ею воспользоваться.
Первый вариант подходит для тех, кто прежде никогда не работал с системами захвата актерской игры или если оборудование, которое вы присмотрели, слишком сложное. Мокап-компания поможет выбрать хорошую систему, отвечающую вашим нуждам, предоставит место и персонал для мокап-сессии и в конце концов отправит вам данные, полученные в ее результате. Даже если вы планируете делать захват актерской игры регулярно, эта сессия (или серия сессий) поможет получить более чёткое понимание того, что вам понадобится, когда вы будете покупать собственную систему.
Арендовать оборудование имеет смысл, если мокап вам нужен лишь изредка, и вы точно знаете, что вам нужно. Вам также понадобятся 1-3 технических специалиста для настройки оборудования, а также для переноса, управления и очистки мокап-данных. Но преимущество аренды перед покупкой в том, что вам не нужно будет следить и ухаживать за всем этим оборудованием, пока оно вам не нужно.
Покупка системы захвата актерской игры – а это может потребовать немало денег – оправдана, если вы планируете использовать ее достаточно регулярно, точно знаете, что хотите, а также имеете компетентных сотрудников, имеющих работать с этим оборудованием и обслуживать его.
Каких-то незыблемых правил покупки или аренды систем для захвата актерской игры нет. Цены на них постоянно скачут вверх/вниз в зависимости от спроса и других факторов.
Вот краткое руководство по ценам на системы захвата актерской игры на момент написания этой статьи:
- Отслеживающая система с шайбой – $
- Бюджетная инерционная система – $
- Гибридная система $/$$ (в зависимости от инерционного костюма)
- Топовый инерционный костюм – $$
- Аренда профессиональной мокап-студии – $$ в день
- Создание собственной мокап-студии – $$$$
Сколько будет актеров?
Важным определяющим фактором в выборе системы будет то, сколько актеров будет одновременно участвовать в мокап-сессии.
Как правило, наиболее дешевой «стартовой» системой для захвата движения одного актера является инерционная система. Но если вам нужно одновременно захватывать движения нескольких персонажей, расходы на несколько инерционных костюмов могут запросто обскакать стоимость одной оптической системы.
| Инерционная система | Оптическая система | |
| 1 актер | $ | $$$$ |
| 2-3 актера | $$ | $$$$ |
| 4-5 актеров | $$$$ | $$$$ |
| 6 актеров | $$$$$$$ | $$$$ |
Хотя цена оптической системы изначально выше, ее цена не растет вместе с количеством актеров.
Если вам нужно сделать мокап нескольких актеров, но бюджет очень мал, вы можете купить один инерционный костюм, а затем сделать мокап каждого актера по отдельности. Но этот вариант применим, только если актеры не касаются друг друга и вам не надо отслеживать фон/камеру (т.е. если вы можете использовать систему, захватывающую данные о позе). При использовании этого метода вам добавится работы на пост-продакшене, но зато он сэкономит вам денег на покупку начального мокап-оборудования.
Как это работает?
Motion capture передаёт движения актёра персонажу, созданному на компьютере. Системы, которые для их отслеживания используют камеры (с маркерами или же без них), условно называют «оптическими», а замеряющие инерцию или механические движения – «не оптическими». В качестве примера вторых можно привести костюм захвата инерции XSens MVN, в котором работал Сет Роган (Seth Rogan) в роли инопланетянина Пола. Позже появились и другие системы, такие как оптический отслеживатель пальцев Leap Motion и браслет MYO, распознающий мышечную активность запястья и всей руки. Project Tango от Google используется преимущественно для построения виртуальных трёхмерных пространств, но благодаря Kinect-подобному сенсору обладает потенциалом и для захвата движений.
Оптические системы замеряют положение позиционных маркеров или отличительных элементов и на основании полученных данных создают приблизительную трёхмерную модель движений актёра. Активные системы используют горящие или мерцающие лампочки, а пассивные работают с инертными объектами, вроде белых шариков или просто точек, нанесённых краской (так часто делают при захвате движений лица). В безмаркерных системах используются алгоритмы распознавания, которые отслеживают положение каких-либо отличительных элементов – например, одежда актёра или его нос. Захваченные движения переносятся на виртуальный «скелет» анимированного персонажа такими программами, как MotionBuilder от Autodesk. Что в результате? Компьютерные персонажи с движениями живых актёров.
Сложно предугадать, как живые движения будут выглядеть на виртуальном персонаже, так что нередко используется придуманная Джеймсом Кэмероном (James Cameron) для «Аватара» так называемая «виртуальная кинематография». По сути, она в реальном времени отображает движения актёра на его персонаже – в виртуальной среде – так что режиссёр может сразу наблюдать сырую версию «актёрской игры». Такой процесс требует интенсивных вычислений, но в наши дни процессоры и видеокарты уже достаточно мощные, чтобы справиться с ними. Приведённый ниже ролик от Weta Digital наглядно демонстрирует процесс на примере фильма «Хоббит: Пустошь Смауга».
