Как инструментите на MOCAP зад Танос от Отмъстителите оживиха „Кариерата“.

By | June 28, 2022
Тед Рейми влезе
Тед Рейми в “Кариерата”. (Изображенията са предоставени с любезното съдействие на 2K Games)
Заместител, докато действията на статията се зареждат

Актьорската игра за улавяне на представяне за видео игри често е стерилно изживяване. Актьор закачва камера за каска и изпълнява репликите си в звукова кабина, след което тези данни се прехвърлят в двигател на играта, където се поставят върху скелет в играта, за да могат художниците да прегледат и почистят. С „The Quarry“ процесът изглеждаше по-скоро като заснемане на постановка, според Аруна Инверсин, творчески директор и супервайзер на визуални ефекти за Digital Domain, VFX студиото, което си партнира с разработчика Supermassive Games на техния духовен наследник на „Until Dawn“.

Носителят на Оскар студио е създало визуални ефекти за филми като “Титаник”, “Любопитният случай на Бенджамин Бътън” и няколко филма на Marvel. За да създаде фотореалистичните герои, виждани в „The Quarry“, той използва AI системата за заснемане на лица Masquerade, която е разработена, за да възпроизведе подобието на Джош Бролин за неговия герой Танос в „Отмъстителите: Безкрайна война“. Първоначално Masquerade е проектиран да направи едно нещо: да вземе изпълнението от монтирана на главата камера и да го преведе в цифрова мрежа, която след това може да бъде изобразена във филм. За „The Quarry“ екипът на VFX се нуждаеше от нещо, което може да проследява движението и израженията на лицата на актьорите и да създава цифрови герои, които могат да бъдат редактирани в реално време. Така те построиха Masquerade 2.0.

Тази нова технология ускори производството десетократно. Актьорите щяха да изпълняват своите сцени, Digital Domain ще качи всички изпълнения на компютър с тяхното изпълнение на тялото, представянето на главата и времето на звука, кодирани и синхронизирани, след което изпраща това на Supermassive за преглед в двигателя на играта. Разработчикът щеше да предостави обратна връзка и до следващия ден режисьорът на „Кариерата“ Уил Байлс, който също режисира „До зори“, можеше да гледа кадрите, за да определи дали някое конкретно изпълнение трябва да бъде презаснето. Като цяло Digital Domain заяви, че е изобразила 250 милиона кадъра за „The Quarry“ – много повече, отколкото би имало за типичен филм.

Подобно на „Until Dawn“, „The Quarry“ е интерактивно завъртане на класически слашъри и филми на ужасите. Група лагерни съветници се забиват за една нощ след края на лагера и са преследвани от върколаци; дали ще оцелеят през нощта, се определя от играча, който взема решения като дали да разследват мистериозен шум или да предприемат непреднамерено заобикаляне, за да се потопят в кльощава.

See also  „Това прави Хъги Уги“: Какво да направите, ако детето ви е ужасено от тази тенденция в социалните медии

Транспонирането на изпълненията на актьорите върху техните модели на герои в играта включваше многоетапен процес, наречен Inversin, „DD pipeline“. Първо, екипът направи сканиране на лицето на всеки член на актьорския състав, за да изгради библиотека от форми на лица, които Supermassive може да препоръча, за да създаде своите герои в играта. След това те заснеха изпълненията си на сцената за заснемане на изпълнения на Digital Domain в Лос Анджелис. Всеки ден актьорите обличаха пълни костюми за заснемане на движение и лица, за да записват израженията си. Лицата им бяха покрити с точки, които камерите проследяваха заедно с маркерите на костюмите им, за да триангулират и картографират движенията им към виртуален скелет с помощта на Masquerade 2.0.

Ревю: ‘The Quarry’ е изключителен слашър, който прави само няколко грешни завоя

За да калибрират правилно оборудването, актьорите извършиха редица тестове за движение, като по този начин гарантираха, че данните се проследяват последователно в различни снимки, каза Пол Пианеца, старши продуцент в Digital Domain. Поддържането на тази последователност за лицата на актьорите беше малко по-ангажирано: екипът изгради калъпи на лицето на всеки актьор, постави точките върху матрицата и проби дупки в нея, за да създаде физически шаблон, който след това използваха, за да гарантират, че точките са поставени на подобни места по време на снимане. Ако някои от маркерите бяха блокирани или липсваха по време на изстрел, AI на Masquerade можеше автоматично да попълни празните места.

В тръбопровода DD също има човешки елемент, каза Инверсин. Художниците анализираха кадрите и идентифицираха израженията на актьора — усмивка, намръщено лице, писък и т.н. — за да отбележат как се движат точките в тези случаи, които Inversin сравнява с установяването на ключови рамки за всеки герой.

Екипът използва данните, записани по време на тези снимки, сканиране на лицето и тестове за обхват на движение, за да изгради библиотека от идиосинкразиите на всеки актьор, която след това може да се използва за обучение на техния AI, така че компютърът да може да разчете правилно движенията и израженията им. Както обясни Инверсин: „само машините са толкова добри, колкото това, което можете да храните [them] по отношение на информацията.”

Екипът също така работи със Supermassive, за да подреди обектите на снимачната площадка с техните локации в играта, използвайки решетъчното оформление на сцената.

„Така че, ако някой отваря вратата и наднича през нея, той я мести и ние улавяме тези данни“, каза Пианеца.

See also  Genshin Impact's 2.7 update lands on May 31st after small delay

Снимките започнаха приблизително по същото време като пандемията от covid-19, която постави ограничения за това колко актьори могат да бъдат в студиото наведнъж и добави още един слой хореография към процеса. Повечето от груповите сцени са заснети на сегменти с двама или трима актьори на множество снимки. Сцената на пожарната яма, например, включваше три групи от двама съветници, всяка стреляна в различно време.

Скритият свят и пренебрегнатите проблеми на актьорството във видеоигрите

Докато снимаха, актьорите не трябваше да се притесняват да задържат движенията си, докато тичаха, скачаха или бяха нападнати от върколаци, каза Инверсин. Всички изпълнения в „The Quarry“ — с изключение на някои каскадьорски поредици — бяха изпълнени от актьорите на сцената за заснемане на движение, точно както се появяват в играта.

„Това е представянето, което направи Тед Рейми и го виждате в играта, а устните му треперят и това е неговият поглед наоколо, знаете, това е той“, каза Инверсин. „Аниматор не влезе и не поправи това. Знаеш ли, това направи той на сцената.”

Digital Domain трябваше да се справи с два често срещани проблема при заснемане на движение, за да направи този процес възможен: стабилизиране на каската и проследяване на очите. Екипът силно модифицира софтуера за проследяване на очите с отворен код, Gaze ML, в продължение на три години, за да подобри точността и външния вид на цифровите очи. Нови алгоритми за машинно обучение, добавени към Masquerade 2.0, му позволяват да анализира заснетите кадри и да компенсира всяко блъскане, докато актьорите се движат.

Както във филмите, Masquerade използва тези заснети кадри, за да създаде фотореалистични анимации на актьорско изпълнение. За разлика от филмите обаче, видеоигрите трябва да изобразяват тези анимации в реално време в отговор на действията на играча – монументална компютърна задача, тъй като лицето на всеки актьор е съставено от повече от хиляда уникални смесени форми или движения на лицето, съответстващи на различни изражения.

„Когато се опитате да възпроизведете това изпълнение, по време на изпълнение, има толкова много различни сложни форми, системата в реално време не знае от какво да извлече в подходящия период от време, от който се нуждае“, каза Инверсин.

Решението: Chatterbox, инструмент, разработен от Digital Human Group на компанията за рационализиране на процеса на анализиране и изобразяване на изражения на лицето на живо. Библиотеката от изражения на лицето от всеки член на актьорския състав и ключови кадри, идентифицирани от артистите на Digital Domain, се подават в Chatterbox, който след това използва алгоритми за машинно обучение, за да проследява автоматично точките по лицето на актьорите във всеки кадър и да изчислява най-добрите възможни опции за промяна на лицето изрази без да се жертва качеството.

See also  When is Overwatch Anniversary Remix Vol 2

„Така че, за да го направим по-оптимизиран за игрален двигател, ние вземаме тези хиляди различни форми на лицето и ги унищожаваме“, каза Инверсин. „Ние ги свеждаме до идеализираните форми въз основа на производителността. И това означава, че ако един герой просто говори, той не се нуждае от смесена форма, за да крещи, нали?

Казано по друг начин, Chatterbox прави с израженията на лицето това, което видеоигрите вече правят с други активи в играта – изобразява ги според нуждите въз основа на това, което играчът прави в този момент.

Като цяло, след 42 дни снимане на сцената за заснемане на движение, Digital Domain разполагаше с 32 часа заснети кадри, които да постави в играта. От 4500 кадъра, считани за качество на играта, само около 27 – по-малко от 0,5 процента – трябваше да бъдат коригирани от аниматори в постпродукцията. Традиционно аниматорите ще трябва ръчно да коригират израженията в кадрите, но между Chatterbox и напредъка с Masquerade 2.o, екипът трябваше само „да поправи няколко неща, при които машината се ядоса“, каза Пианеца. Това беше от решаващо значение за проект от такъв мащаб.

„Не можете да насилите нищо на 30 часа“, добави Пианеца. “Системата трябва да работи.”

Резултатът беше изпълнения по време на играта, които се чувстваха индивидуални за всеки актьор. Инверсин каза, че смята, че присъствието на сцената и възможността да се движат свободно и да изразяват емоциите си повишават изявите на актьорите. И това има някои обещаващи последици за улавянето на движение в развлекателната индустрия.

„За да имат способността на актьорите и режисьорите да заснемат неща на сцената на mocap и да знаят, че техните изпълнения се превеждат ефективно във видеоигра с нюанса на лицето и представянето им, мисля, че това е голяма точка за продажба за всеки, който иска да видите тези преживявания, както и да насочвате и консумирате тази медия. Защото сякаш да, това е разходката на Тед Рейми, докато минава през килията в затвора. Това е Ланс Хенриксен, който удря устни. Това прави той. Не сме добавили това, това е естественото му представяне.”

Iconic One Theme | Powered by Wordpress