#devstory: как создавать 3d-модели на телефоне с помощью приложения in3d

Введение

Прежде чем начать, убедитесь, что у вас соблюдены следующие требования:

У вас установлена последняя стабильная версия Unity
У вас установлена последняя стабильная 64-битная версия Blender
У вас есть минимальные знания в работе редактора Unity. Вы можете посмотреть несколько уроков для начинающих на нашем сайте.
У вас есть минимальные знания в работе редактора Blender. Вы можете посмотреть несколько уроков для начинающих на нашем сайте.

Скачайте исходные материалы, которые понадобятся вам для работы с этим уроком и откройте папку начального проекта. Вам необходимо перейти в папку Assets ⇒ RW ⇒ Models и открыть CuteCharacter.blend в Blender.

Файл содержит следующие данные:

Низкополигональную гуманоидную модель персонажа;
Материал CuteCharacter;
Ссылку на текстуру CuteBase, находящуюся в той же папке, что и модель.

После открытия файла вы должны увидеть модель персонажа слева:

Обратите внимание, что он отражен на оси X, это значительно облегчит вам весь процесс. На правой стороне должно быть загружено простое текстурное изображение:

На правой стороне должно быть загружено простое текстурное изображение:

Правильная 3D-форма

Потом наши 3D-модели обрели нормальную форму

Нам удалось побороть шум и склеить много кадров во что-то похожее на тело человека. Затем началось большое количество итеративных улучшений, решений технологических проблем и создания расширяемой инфраструктуры для приложения. Так как наша технология действительно сложная, на всем протяжении обработки данных используются видеокарты, и часть команды сфокусировалась на ускорении, другая продолжала улучшать качество моделей.

В какой-то момент это дало свои плоды — мы начали очень хорошо и консистентно понимать все про форму человека из данных. Дело осталось за малым — убедить мир, что мы делаем это лучше всех на таких шумных данных.

Основной майлстоун в 2020 году это запуск приложения, нам удалось довести все до финального продукта, попасть в App Store и начать тестировать технологию на разных юзерах. Выходило все лучше и лучше, но все еще были разные случаи, когда алгоритм не справлялся и модель не собиралась. Мы набирались данных и опыта решения множества граничных случаев. Так же из основного — у нас выделился в отдельный этап процесс сканирования головы и визуальный результат сильно улучшился.

В этом же году начались первые реальные применения нашей технологии — аватары стали насколько точными (ошибка до 1 см), что стартап Unspun начал с помощью наших моделей снимать мерки людей для пошива джинсов, ведь началась пандемия — сложно приехать в офис в Калифорнии, особенно если ты не в Калифорнии.

Наши 3D-модели отлично чувствуют себя в играх

Так же мы старались найти другие интересные применения, экспорт в игры:

Second Life
VRChar
GTA V

Фотореалистичный аватар

Добиться от аватаров фотореалистичности было сложнее всего

У наших аватаров теперь есть отличная форма, сильно улучшенная за предыдущий год — с это формы можно снимать мерки тела, много работы проводилось над визуальным улучшением аватаров и их текстуры.

Основной вехой прогресса в 2021 году на данный момент стало создание виртуальной примерочной — как по мне, так это что-то вроде проекта, о котором сотни стартапов говорило, но ни у кого не получилось распространенного продукта. Сделали мы это вместе с командой digital дизайнеров Replicant.

Нам удалось реализовать автоматизированную примерку одежды на персональные аватары и оформить это в весьма приятный опыт для пользователя (тут я предлагаю взять и оценить самому).

Научно-исследовательское использование MakeHuman

Из-за свободной лицензии, программное обеспечение MakeHuman широко используется исследователями в научных целях.
Сетка MakeHuman используется в промышленном дизайне, где необходима для проверки антропометрии проекта, в исследовании виртуальной реальности, быстром создании аватар.
Персонажи MakeHuman часто используются в биомеханике и биомедицинском машиностроении, для имитации поведения человеческого тела при определенных условиях или лечении.
Программное обеспечение использовалось для хирургического зрительно-тактильного развития системы обучения. Зрительно-тактильное моделирование сочетает тактильные ощущения с визуальной информацией и обеспечивает реалистичные сценарии обучения, чтобы получить, улучшить и оценить резидентов и экспертные знания, и навыки хирургов.
MakeHuman предусматривает создание виртуальных человекоподобных персонажей для разработки аватар для ирландского языка жестов.
Виртуальные 3D модели человека, созданные с помощью программного обеспечения были приспособлены для выполнения движений языка жестов, в основном с целью визуализации южноафриканского языка жестов.

Где учиться на 3D-моделлера

В кино, игровой индустрии или анимации никто не спрашивает диплом. Здесь смотрят на портфолио и навыки. Всё это можно получить, отучившись на очных или онлайн-курсах. Научиться основам 3D-моделирования можно и самому.

В российских вузах нет факультетов и курсов, где учат именно 3D-моделированию. Если вы хотите работать в этой сфере и при этом получать высшее образование, ищите факультеты, где обучают смежным специальностям. Например:

Художественные вузы и факультеты.

3D-моделлеру нужно разбираться в технике рисования и скульптуры, понимать, что такое размер, объёмы, форма и перспектива. Работе в специальных программах для 3D-моделирования можно научиться за 4–5 месяцев, а вот художественные навыки нарабатываются гораздо дольше. Художественный вуз будет огромным преимуществом, когда вы придёте в эту профессию.

Факультеты дизайна и компьютерной графики

Непосредственно моделированию там не учат, но дают знания по смежным темам. После окончания такого факультета в дипломе у вас будет указана общая специальность — например, «дизайнер».

Технические и инженерные факультеты

Это направление для тех, кто хочет работать 3D-моделлером в промышленном дизайне: создавать модели машин и зданий.

Очные школы и курсы 3D-моделирования

Школ много, их легко найти в интернете. Преимущества очного обучения:

вы знакомитесь с разными направлениями и можете выбрать, что вам интересно;
в школе преподают практикующие специалисты из разных студий;
вы знакомитесь с преподавателями и сокурсниками из индустрии — в дальнейшем связи помогут найти работу.

Недостатки очной школы — длительность обучения (2 года) и высокая стоимость.

Онлайн-курсы 3D-моделирования

На таких курсах можно быстро и относительно недорого получить начальные навыки. Но если вы слабо разбираетесь в этой сфере и не понимаете, чем конкретно хотите заниматься, есть риск выбрать не совсем тот курс и потерять на этом время и мотивацию.

Самостоятельное обучение

Если вы уже знаете, чего хотите, можно выбрать онлайн-курс и учиться самостоятельно. Если нет, то полезно найти человека, который этим занимается. Он расскажет о разных направлениях, поможет изучить программы, даст обратную связь.

Этап наброски персонажа

Как известно, процессу объективации персонажа предшествует процедура создания его образа. В ходе последнего автор (художник) продумывает концепцию персонажа, его визуальную составляющую и характер героя.

В частности, необходимо:

Понять, для чего необходим персонаж и какие задачи он решает;
Оценить важность персонажа (основная или второстепенная роль, одиночка или часть группы);
Придумать историю данного персонажа (его биографию, возраст, национальность, профессию и др.);
Описать, как должен выглядеть персонаж (черты лица, форма тела, причёска, одежда и др.);

Продумать характер персонажа;
Выделить его яркую отличительную особенность;
Придумать, каким образом персонаж будет выражать эмоции и другое.

После того, как концепция персонажа сформирована, необходимо приступить к изучению сервисов, которые помогут сделать персонажа в любом стиле.

Карьера, зарплата, график

Карьера

Примерные ступеньки карьерной лестницы в кино, анимации, игровой индустрии или на телевидении:

стажер,
джуниор-моделлер,
моделлер (или мид-моделлер),
сеньор-моделлер,
лид-моделлер;
руководитель департамента.

Продвигаешься по карьерной лестнице — меняется круг обязанностей. Сейчас я работаю лид-моделлером и проверяю работу других моделлеров, занимаюсь техническими вопросами в департаменте, участвую в обсуждении сложных задач, составляю технические задания, помогаю менее опытным коллегам.

Заработок 3D-моделлера зависит от индустрии. Больше всего платят в игровой индустрии, на втором месте — анимация, на третьем — кино.

Зарплаты моделлеров в кино

Стажеру часто не платят ничего, два месяца работает бесплатно.

Джуниор-моделлер, успешно прошедший стажировку, получает от 35 до 50 тысяч.

Просто моделлер — от 50 до 75 тысяч.

Старший модделлер — до 100 тысяч.

Лид моделлер или глава департамента — больше 100 тысяч в зависимости от функционала и договорённостей.

График работы

В студии моделлер работает по обычному офисному графику — 8 часов, 5 дней в неделю. Но на работу можно приходить не к 9:00–10:00, а позже. У нас в студии, например, все должны быть на работе до 12:00. Сотрудник может договориться об индивидуальном графике, например, есть такие, кто любит работать вечером. Я работаю с 10:00 до 19:00.

Но когда нужно сдать срочный проект, порой приходится трудиться по 10–12 часов. Как правило, в студиях это время оплачивается. Но такие периоды не длятся долго.

3D-моделлер может работать из дома на удалёнке или на фрилансе, тогда он сам определяет свой график.

Приложение «Fun2Create» создано известной художницей Мэй Ю.

Приложение (Андроид, iOS) предоставляет широкие возможности по конструкции нужного персонажа, позволяя сконструировать его уникальный визуальный стиль. После создания персонажа вы можете поделиться им на Фейсбук или сохранить на своё мобильное устройство, использовав его в дальнейшем в качестве аватара. Программа полностью бесплатна, и никаких покупок от вас не потребуется.

ePIC Character Generator на Android

«ePic Character Generator» (Андроид) – отличный инструмент для тех, кто хочет создать реалистичные аватары персонажей. Вы можете выбрать элементы отображения на вашем персонаже, сохранить как изображение на предустановленном или прозрачном фоне, и использовать его для всего, чего захотите. Создание персонажа в приложении проходит очень просто и сводится к нажатию нескольких кнопок.

Данная программа часто используется ролевыми игроками для иллюстрации игровых и неигровых персонажей. Персонажи могут быть сохранены и загружены с использованием специального формата файла. Созданные персонажи разрешается использовать в коммерческих продуктах.

FaceQ на IOS

FaceQ (iOS) — очень увлекательная и мощная программа для создания аватаров. Даже если вы не умеете рисовать, вы все равно можете легко создать свой собственный мультяшный аватар, комбинируя различные части лица.

Быстрое создание модели человека в Adobe Fuse и последующий экспорт в Blender

Adobe Fuse — это программа для быстрого создания качественных моделей людей с возможностью их последующей анимации. Как и все продукты от Adobe, эта программа имеет версии под Windows и MacOS, но не под Linux. Но при этом имеется бесплатная Steam-версия, которая замечательно работает посредством Proton-а. Думаю, та же версия будет работать и через обычный Wine.

Скриншоты Fuse:

Порядок действий:

В Adobe Fuse создается качественная модель человека. Причем здесь мы имеем возможность кастомизировать все, что угодно, включая одежду. В отличие от неудобных и неочевидных движков в MakeHuman, в Fuse можно визуально и наглядно создавать модель человека. Например, если вы хотите увеличить длину носа — вы просто хватаете модель за нос и тянете. Да, всё настолько просто. Модель на выходе можно сохранить в формате «obj» и сразу импортировать в Blender, однако результат будет не без проблем, и самое гравное — без рига. Но это не проблема, потому что наилучший путь, это не производить сразу экспорт в Blender, а…
Полученную модель нажатием одной кнопки в Fuse можно экспортировать в Mixamo. Если кто не в курсе, это еще один сервис от Adobe (бесплатный), который позволяет создавать скелет и анимацию для модели человека. Это веб-сервис, поэтому работает он на любой операционке. Для работы требуется иметь Adobe ID (то есть аккаунт в Adobe), но его можно зарегистрировать бесплатно в течение минуты. В Mixamo можно выбрать один из предложенных типов рига, а также при желании сразу подобрать необходимые позы и анимации.
Из Mixamo сохраняется приемлемый для Blender формат с ригом. Здесь есть несколько подходящих для Blender форматов. Например, хорошо себя зарекомендовала Collada.
Открываем полученную модель с ригом в Blender и делаем с ней все, что захотим.
Profit!

Скриншоты Mixamo:

Если не боитесь английского, то вот хороший ролик с подробностями о том, как провернуть всю эту последовательность (в ролике используется Blender 2.79, однако для Blender 2.8 отличий практически нет):

Все бы хорошо, но и здесь нашлась ложка дегтя. Описанный выше способ прекрасно работал до недавних пор, но сейчас (на момент написания статьи) на втором шаге при попытке отправить модель в Mixamo из стимовской версии Fuse вы получите сообщение, что версия Fuse устарела (в Steam доступна Fuse 1.3) и с ней Mixamo работать не умеет. То есть скелет создавать не хочет. Предлагается скачать новую версию Fuse, которая уже требует адобовской платной подписки, насколько я понял из негативных отзывов на странице Fuse в Стиме.

Но здесь есть обходной путь. Нужно сохранить вручную obj-файл из стимовской версии Fuse, и этот obj загрузить вручную на Mixamo. После этого там предложат обозначить ключевые точки модели (локти, колени, таз и т.п.), и автоматически создадут скелет. Результат довольно качественный, проверено на собственном опыте. То есть способ вполне рабочий.

Параметрическое моделирование

Рис.1 Модель компрессора из программы Компас 3D

Для данного вида моделирование используют САПР — Системы Автоматизированного Проектирования (англ. CAD — Computer-Aided Design). Они приспособлены для проектирования деталей, двигателей, автомобилей, вертолётов и ракет, зданий, и применяются в основном в промышленности, строительстве и 3D-печати. Можно выделить поверхностные и твердотельные модели; а также каркасные, которые удобно использовать для визуализации или имитации траектории движения объекта, чтобы сэкономить ресурсы.

В CAD-программах мы получаем не только визуальный образ, как в случае с полигональным моделированием, а точный электронно-геометрический прототип изделия. Он сохраняет измеримую и рабочую информацию, что позволяет: получать расчёты, чертежи, производить изделие на станках ЧПУ или 3D-принтерах. Как правило, работа с САПР (Компас 3D, AutoCAD, SolidWorks, Inventor) подразумевает наличие профильного инженерного образования. Это не касается желающих
напечатать на 3D-принтере какую-нибудь хреновину, полезную в хозяйстве.

Какие бывают специализации 3D-художника

На высокобюджетных игровых проектах, как правило, они разделяются. Это зависит от типа контента и инструментов, в которых он создается.

3D Character Artist занимается графикой для персонажей. Художник по персонажам должен знать и понимать анатомию, принципы визуального восприятия и не только. Он прекрасно владеет софтом для создания фотореалистичных портретов (например, Mari) и натуралистичной одежды (Marvelous Designer).

Примеры работ: Марии Панфилова, Ёсуки Ишикавы.

3D Environment Artist создает игровое окружение. Его главная задача — усиливать игровой опыт и погружать игрока в атмосферу. В этом помогают программы/плагины для генерации растительности (SpeedTree) и ландшафта (World Machine, World Creator). Substance Designer в работе 3D Environment Artist имеет особое значение — это главный инструмент по созданию процедурных материалов окружения. Знание архитектурных стилей или, например, ландшафтного дизайна для этой специализации будет плюсом.

Пример: портфолио Александра Мелентьева.

3D Hard Surface Artist создает механизмы, оружие и технику. Инженерный опыт в этой работе очень полезен. Такой специалист имеет глубокие знание программ CAD (например, Fusion 360), чтобы работать над сложными механическими конструкциями, в которых требуется особая точность.

Пример: портфолио Виталия Булгарова.

3D VFX Artist делает трёхмерные визуальные эффекты. Он создает финальные штрихи для визуала проекта и наводит красоту. Нужно знать программы для FX, такие, как Houdini, или плагины для 3D-редакторов их заменяющие, редакторы частиц и эффектов для всех основных движков (в случае игр), а также классические рендеры (в случае синематиков).

Пример: эффекты для World of Warcraft от Сары Кармоди.

3D Texture Artist создает материалы для трехмерных моделей. Substance Designer, Substance Painter и Mari — главные инструменты этой специализации. Здесь важен наметанный глаз на параметры реальных материалов, а также умение повторить их реалистично. Кроме того, обязательно знать принципы работы материалов для классических рендеров, синематиков и PBR (physically based rendering — концепция рендеринга, основанная на физических принципах).

3D Technical Artist выступает связующим звеном между 3D-художниками и разработчиками. Он должен досконально знать весь процесс отображения трехмерной графики на хардверном и софтверном уровнях. Понимать, как работают шейдеры (в идеале — уметь их писать), знать особенности основных игровых движков (UE4, Unity), способы оптимизации элементов трехмерной графики и их влияние на производительность.

3D Generalist занимается широким фронтом работ. Это специалист с максимально большим набором навыков и освоенных программ. Он может работать как с графикой для синематиков, так и для игр с 3D-реалтайм.

В инди-проектах и небольших студиях художник должен быть универсальным бойцом. Уметь моделить, рисовать концепты, делать эффекты и анимации, заниматься интерфейсами и так далее — набор скиллов зависит от потребностей проекта. В случае чего специалисту приходится быстро учиться.