Нас всех тошнит. Как театр стал современным, а мы этого не заметили

Виртуальная и дополненная реальность

Технология виртуальной реальности стала обрисовываться уже давно, с появлением 3D-моделирования, но до последних лет просто не было удобных и недорогих в производстве технологий, которые позволили бы сделать VR медиумом для массмаркета. С появлением гарнитуры Oculus Rift, а затем и беспроводной Oculus Go эта проблема почти исчезла. Технология виртуальной реальности используется сейчас в основном для индивидуального потребления развлекательного контента: игр, квестов и видео, но и некоторые театральные компании используют VR для экспериментов в области перформативных искусств. В чём главное отличие любого контента в VR – виртуальная реальность вмещает в себя больше событий и пространства на единицу времени, а вместе с этим не обладает тоталитарной характеристикой привязки взгляда зрителя к определённому месту, а предоставляет свободу взгляда на 360˚. К тому же VR-гарнитуры обеспечивают эффект потери телесности, что, с одной стороны, помогает ещё сильнее влиться в смоделированную реальность, а с другой – усиливают отчуждение человека от самого себя, и так формирующееся онлайн-средой. Если мы вспомним об основной функции театра как передатчика новых чувств и впечатлений, потенциал VR просто огромный, потому что опыт виртуальной реальности – это опыт масштабного обмана собственного мозга и собственных телесных ощущений; в ряде текстов про виртуальную реальность даже утверждается, что это новый тип иммерсивного театра.

В 2015 году к юбилею Большой канадской библиотеки в Квебеке театральный режиссёр Робер Лепаж сделал проект The Library at Night. Это можно назвать спектаклем весьма условно – это скорее инсталляция, но её показывают на театральных фестивалях, хотя она и располагается, как правило, в музейных пространствах. Проект устроен следующим образом: в комнату запускают сорок человек в час, каждому выдаётся VR-гарнитура с наушниками. Для каждой страны, в которой проходит проект, какой-либо национальный актёр записывает на местном языке всю аудиоисторию. История очень простая: в гарнитуре зрителя ждёт экскурсия по десяти крупнейшим библиотекам мира – в каждой виртуальной комнате смоделированы их интерьеры и внутри происходят разные события, представляющие историю конкретной библиотеки.

В 2017 году британская театральная компания 59productions, специализирующаяся на видеодизайне и объёмном мэппинге, открыла VR-проект My Name is Peter Stillman. Это короткометражный виртуальный опыт, нарратив которого основан на первом тексте американского писателя Пола Остера. Проект создан в поддержку спектаклю City of glass, который также был полностью сделан этой компанией и имеет отношение к достижениями в видеомэппинге – в нём используются фанерные «болванки» декораций, которые преображаются от одного пространства к другому при помощи проекции. My Name is Peter Stillman показывается бесплатно перед и после спектакля, как бы вводя в основную историю. Весь контент сводится к тому, что зритель помещается в комнату с анимированным человеком, печатающим текст на машинке. Чем ближе к концу, тем больше лицо человека трансформируется. Другая британская компания Curious Directive, которая заявляет своей основной целью взгляд на искусство через науку, в том же 2017 году поставила спектакль Frogman, который совмещает в себе живое исполнение и некоторые сцены в виртуальной реальности. То есть буквально в какой-то момент спектакля вам предлагают надеть шлемы, и действие продолжается объёмно в пространстве 360˚. Ещё один британский дуэт – Gibson / Martelli – занимается виртуальной реальностью на стыке с перформативностью. В основном они делают игры и инсталляции, но опыт погружения в проекте 2014 года White Island сравним с театральным. Внутри VR зритель оказывается в корзине воздушного шара, парящего над Арктическим кругом. История этого путешествия воссоздана на основе реальной экспедиции и реального крушения воздушного шара в Арктике в 1897 году.

Добрался VR и до оперы: Национальная опера Уэльса в 2017 году предложила зрителям инсталляцию с VR-гарнитурой, надев которую можно было оказаться в рисованном 3D-мире с персонажами двух опер – «Волшебная флейта» и «Мадам Баттерфляй». Участник инсталляции мог не просто смотреть, но и влиять на перемещение героев. А в мобильной театральной компании Dutch Touring Opera в 2016 году запустили проект Weltatem («Мировое дыхание»). В нём 30 зрителям предлагается надеть VR-гарнитуры и начать петь. Рядом с обычными зрителями расположились профессиональные оперные певцы – все вместе распевают партии из Вагнера, Брамса и Деймона Албарна. В пространстве VR участники могут видеть условные позиции своих ног, от которых при извлечении звука расходятся круги. Круги под ногами и другие фигуры в пространстве управляются непосредственно пением – таким образом зрители превращаются в полноценных исполнителей, но при этом не видят итогового результата спектакля, а могут только быть его частью.

Что касается дополненной реальности (AR, augmented reality), то в каком-то смысле к ней относится всё тот же видеомэппинг – поверхностный цифровой слой прибавляется к физическому пространству. Однако в настоящее время AR принято понимать как медиа, которое воспринимается через экраны мобильных устройств или умные очки. Smart glasses пока не так распространены, чтобы их использование проникло в театр, а вот дополненная реальность для телефонов и планшетов вполне себе используется в перформативных практиках и особенно активно в современном искусстве. Штефан Кэги, один из лидеров швейцарской театральной группы Rimini Protokoll, пионеров мобильного и документального экспериментального театра, в интервью, специально данном для этой книги, говорит, что с AR он связывает гораздо большие надежды, чем с VR. В чём заключается технология дополненной реальности: при помощи компьютерного моделирования и отслеживания координат физических объектов в реальном пространстве, на экране устройства появляется дополнительная информация или виртуальные объекты.

Пионеры мобильного и документального экспериментального театра, Rimini Protokoll, в 2013 году специально для Рурской триеннале сделали проект (его с трудом можно назвать спектаклем в конвенциональном смысле этого слова) Situation Rooms. В искусственно созданном ультрареалистичном помещении, объединяющем несколько комнат, 20 зрителей с айпадами в руках исследуют истории 20 реальных людей, жизнь которых так или иначе была определена войной или оружием. Зрители изредка пересекаются между собой, но в основном перемещаются по комнатам в одиночку. На экране айпадов и в наушниках им транслируются реальные видео, связанные с жизнью этих людей, и даются инструкции по перемещению. Длится всё это дело на протяжении 70 минут и, как все проекты Rimini Protokoll, разрывает границы жанров: ты и на спектакле, где зритель равен исполнителю, и внутри компьютерного шутера, и на журналистском задании одновременно.

Перформанс worlds, сделанный^[3] в коллаборации нескольких крупных канадских университетов и показанный в 2015 году в Ванкувере на конференции Международного общества электронного искусства, сочетает технологии AR и real-time motion capture. В одной из сцен перформанса цирковая актриса выполняет акробатическую пластику на обруче, подвешенном к потолку. Перформерка одета в костюм с гиросенсорами, данные с которых фиксируются камерами в реальном времени и передаются на компьютер с программой, моделирующей AR. На экранах мобильных устройств зрителей, которые наводят камеры на актрису, она демонстрируется в миниатюрной копии, без всяких канатов двигающаяся в нарисованной пирамиде.

Есть совсем неожиданные примеры: Британский национальный театр в 2017 году совместно с компаниями Epson и Accenture внедрил для некоторых спектаклей возможность просмотра субтитров прямо поверх самого действия, не отвлекаясь на экраны над или сбоку сцены. Для этого используются очки дополненной реальности Epson Moverio и специальное программное обеспечение, которое выводит текст субтитров. Технология была внедрена для увеличения доступности театра людям с ограничениями или повреждениями слуха.

Захват движения

Технология motion capture начала назревать в 70-х годах и в 80-х получила первое реальное применение. Интересно, что кинематограф добрался до mo-cap несколько позже, чем театр, современный танец и академическая музыка. Так, в 1989 году композитор Марк Кониглио разрабатывает систему MidiDancer, которая в беспроводном формате передаёт на компьютер данные от тензорезисторов (датчиков сгиба или flex sensors), прикреплённые на сгибах конечностей перформера. Информация, считываемая с этих сенсоров, была запрограммирована Кониглио и его коллегами на управление предзаписанными видео-фрагментами, модификацию музыки в онлайн-режиме и регулирование осветительных приборов.

В 1999 году хореограф Мерс Каннингем, которому к тому моменту было уже 80 лет, впервые показал балет BIPED – название дублировало имя одной из программ, использованных при создании спектакля. Этот балет стал одной из тех эпохальных точек, которые обозначили появление цифрового перформанса и ещё сильнее запустили процесс апроприации технологий театром. Спектакль состоял из двух частей – собственно живое исполнение танцовщицами на сцене хореографической партитуры, а также видеопроекция, которая частично включала в себя абстрактные анимированные фигуры, а частично – анимированные видео рисованных танцовщиц, проецирующиеся на прозрачный суперзанавес. Для этой анимации на трёх танцовщиц Каннингема навешали сенсоры в виде белых шаров, которые фиксировали камеры, расставленные по периметру студии, в которой девушки танцевали. Движения, зафиксированные камерами, переводились в 3D-модели человеческих силуэтов, нарисованных карандашными штрихами, а затем выводились на проекционный занавес, вступая в разнообразные отношения с живыми танцорами на сцене – то синхронизируясь с их партиями, то работая в контрапункт.

В 2016 году английский театр Royal Shakespear Company поставил дико технологичную версию шекспировской «Бури». Этот спектакль был создан в коллаборации с Intel и главной его особенностью стало использование актёра с mo-cap сенсорами по всему телу и лицу, с помощью которого в онлайн-режиме создавался цифровой аватар Ариэля, духа воздуха, который с помощью 27 проекторов выводился на разные плоскости на сцене. Этот спектакль стал первым в мире живым перформансом, в котором использовались технологии онлайн-захвата мимики да и вообще, пожалуй, первым спектаклем, в котором mo-cap использовался таким образом для создания дублированного персонажа. Актёр в спектакле носит 17 гиросенсоров, данные с которых управляют аватаром, созданным с 336 цифровыми суставами, что почти равно количеству суставов у живого человека. Этот спектакль – очередной повод поразиться тому, как мощнейшие технологии в театре используются для создания абсолютно тухлого произведения. «Бурю» RSC можно целиком увидеть онлайн – это три часа невыносимой архаической тягомотины: в исторических костюмах и декорациях, сделанных вручную, актёры декламируют текст, а над всем этим парит цифровое привидение, на создание которого потратили два года.

3D-моделирование

Обычно объёмное моделирование используется для производства видео или анимации, которая затем может использоваться или независимо, или как часть спектакля, проецирующаяся на поверхность. Однако есть примеры, когда с помощью моделирования спектакли создавались с нуля (не говоря уже об огромной роли этой технологии в разработке сценографии и декораций).

Особенное развитие 3D-моделирование получило в современном танце. Ещё в 1968 году на выставке Cybernetic Serendipity был представлен хореографический проект компьютерного центра Питсбургского университета, в котором все танцевальные движения были сгенерированы компьютером на основе случайного выбора комбинаций, хотя это и не совсем имело отношение к 3D-моделированию в современном понимании. Зато в 1990-х появляются сразу несколько программ с возможностью создавать объёмные фигуры с установленными параметрами и программировать их перемещения в пространстве – Life Forms и Dance Forms. Уже упоминавшийся выше Мерс Каннингем стал первым, кто использовал 3D-моделирование для постановки танца, что только усилило степень неестественности танцевальных и пластических движений, и так присущей этому хореографу. В 1991 году появляется его танец Beach Birds for Camera, весь построенный на резких, угловатых, изломанных движениях. Спектакли Hand-Drawn Spaces и Loops также частично основаны на движениях, смоделированных с помощью этих программ.

Не всегда такого рода опыты бывают удачными. Режиссёр Роберт Уилсон в коллаборации с композитором Филипом Глассом в конце 90-х задумали очередную совместную оперу, она получила название Monsters of Grace. Как обычно, перед постановкой Уилсон рисовал визуальную книгу спектакля – его идеи к этой постановке были мегаломанические: гигантская рука должна была вытягивать меч из океана, вертолёт должен был пролетать над Великой Китайской стеной. Уперевшись в нереализуемость проекта в реальном пространстве, Уилсон обратился к 3D-моделированию. Технологии на тот момент были понятно какие, у креативной группы ушёл целый год, чтобы в черновом варианте нарисовать видео по эскизам и сценарию Уилсона, судя по доступным скриншотам, получилось это довольно средне. Оперу показывали несколько раз: ансамбль играл музыку Гласса на сцене, а одновременно с этим на проекционный экран сверху давали 3D-видео. Проект явно сильно опередил своё время. Уилсон в интервью The New York Times позже с ужасом отмечал, что он ненавидит этот проект и что это была одна из самых стыдных вещей в его жизни.

Фейс-мэппинг

Фейс-хакингу в его современном виде чуть меньше трёх лет. В августе 2014 года японский художник и видеограф Нобумичи Асаи запустил проект OMOTE (что с японского переводится как лицо или маска) и записал видеоролик, демонстрирующий возможности проецирования динамического изображения на движущееся лицо. В феврале 2016-го совместно с Intel Асаи выпустил работу Connected Colors, в которой использовал более изощрённую (и более «природную») видеографику, которая то расходилась волнами по лицу модели, то заполняла его как татуировка. Это всё выглядело выразительно, но существовало только в качестве экспериментальных работ на видео. В том же месяце проходила 58-я церемония вручения премий Грэмми, где Intel совместно с Асаи в качестве технического и креативного директора впервые продемонстрировали фейс-хакинг вживую на большую аудиторию: в первые минуты выступления Леди Гаги с трибьютом Дэвиду Боуи на её лице растекалось что-то похожее на лаву, затем у глаза сформировался узнаваемый красный зигзаг, после чего на лице появился паук. Правда, на видео очевидно торможение проекции по отношению к резко дёргающемуся лицу исполнительницы: на тот момент технология была ещё не так точна.

Заметный прогресс можно было увидеть уже весной 2017 года: в марте Асаи выпустил очередную работу с фейс-видеомэппингом, в котором приняли участие две японские танцовщицы, составляющие популярный дуэт AyaBambi. Не говоря о том, что качество и динамичность видеографики сильно продвинулись вперёд, стоит также отметить, что в движениях головы объекты мэппинга стали более свободны: даже при резких поворотах вбок или взмахах вверх проекция на затормаживает и не срывается с контура. К тому же в этой работе площадкой для мэппинга стали сразу два человека; в некоторых местах проекция на лица синхронная, в некоторых – нет.

В общем виде технология выглядит следующим образом. Прежде всего необходимо создать 3D-модель лица человека, на которое будет осуществляться проекция. Нобумичи Асаи, в частности, физически накладывает разные виды макияжа на лицо, фиксирует его на фото, а затем с помощью фотограмметрии уточняет параметры «лицевого ландшафта» для создания объёмной цифровой модели лица. Имея 3D-модель и видеографику, созданную специально под неё, лицо человека очищают от макияжа, клеят на него несколько инфракрасных маркеров, после чего ряд из пяти ИК-камер способен фиксировать движения лица и сопоставлять их с компьютерной моделью. Дальше всё зависит только от мощностей компьютера, способных с высокой скоростью обрабатывать сенсорный трекинг.

Самое интересное касается проектора, формирующего графику на лице. Та высокая точность при быстром перемещении маркеров, которую можно было видеть в видеоработе INORI, была достигнута благодаря коллаборации с лабораторией Ishikawa Watanabe Токийского университета. Там ещё в 2015 году был разработан революционный проектор DynaFlash, который впервые в мире был способен учитывать изменение и движение плоскости, на которую падает проекция. На демонстрационном видео понятно, о чём идёт речь: если растянуть или перевернуть плоскость, те же самые манипуляции произойдут и с проекционным изображением. Главной особенностью DynaFlash является кадровая частота: он способен проецировать видео со скоростью 1000 кадров в секунду. Именно эта его характеристика в сочетании с трекинг-системой Асаи позволила создать технологию проекции на объекты, движущиеся с высокой скоростью. Как уже было сказано, примеров использования технологии в театре пока не замечено – это объясняется дороговизной проектора и необходимыми вычислительными мощностями, но вообще-то фейс-хакинг работает именно на революцию в перформативных практиках, полностью укладываясь в тренд визуального разъятия и цифрового преображения перформера в современном театре.

Звук

Использование звуковых технологий в театре относится в основном к категориям саунд-дизайна, то есть создания сложной и насыщенной звуковой среды, которая может играть поддерживающую роль или главную, но которой не определяется существование и развитие спектакля. И всё-таки есть примеры, когда работа со звуком – самое интересное, что в спектакле есть.

Один из таких примеров – спектакль британского режиссёра Саймона Макберни The Encounter, поставленный по мотивам романа Петру Попеску «Сияющая амазонка». Спектакль повествует об одном путешествии через джунгли; повествование устроено следующим образом. В зале, где проходит показ, к каждому зрительскому месту прикреплены стереонаушники, их обязательно следует надеть перед началом. На сцене находится единственный перформер – он же режиссёр, – его окружают аскетичные декорации в виде стола и каких-то коробок; задник обклеен серым поролоновым материалом. На сцене расположен пластмассовый макет головы на железной стойке – это специальный бинауральный стереомикрофон, на котором выделаны копии человеческих ушных раковин. Что, собственно, происходит в спектакле? Саймон Макберни ходит по сцене и, грубо говоря, надиктовывает аудиокнигу, воспроизводя текст по памяти, – то есть рассказывает историю, иногда осуществляя хитрые манипуляции с предметами, из которых получаются любопытные звуковые эффекты. На сцене кроме пластмассовой головы расположено много других микрофонов, которые записывают бинауральный звук и в онлайн-режиме отправляют его в наушники зрителям. К слову, с бинауральным звуком работают также и Rimini Protokoll – в одном из самых популярных их проектов Remote X, о котором мы подробно говорим в главе про театр без людей.

Другой пример, относящийся скорее к музыкальному театру, – спектакль швейцарского режиссёра Тома Луца Unusual Weather Phenomena Project. В этом спектакле Луц обращается к книге физика Уильяма Корлиса «Настольная книга необычных погодных явлений», в которой тот описывает свидетельски зафиксированные факты странных явлений природы. Книгу, напрашивающуюся в жанр «театра художника», Луц разбирает средствами театра музыкального. Перформеры в этом спектакле – одновременно и формальные функции визуального языка, и исполнители партий на музыкальных инструментах, сделанных музруководителем постановки Матиасом Вейбелем, постоянным коллегой Луца. Спектакль очень похож на сновидение: своей спокойной завораживающей красотой и крупными, ясными формами, которые в нем используются, – плотный свет, дым, огромные белые шары. Хватает тут и изобретательности, связывающей работу с современной академической музыкой: например, шары, наполненные гелием, на магнитных лентах надеваются на бобины магнитофона и кинетической силой прокручивают ленты, воспроизводя звуки, на них записанные.