Смешанная реальность (Mixed Reality) отличается от дополненной (AR) тем, что, помимо смешивания реальных и виртуальных изображений, она предлагает возможность взаимодействия с виртуальными элементами. Например, в видеоигре персонаж может воспринимать приветствие нашей физической руки. Или виртуальная скульптура будет реагировать на движение наших рук, когда мы ее переворачиваем или вращаем. Бизнес-журнал B-MAG подготовил обзор пяти примеров смешанной реальности (MR), которые будут прогрессировать в скором будущем.
Что нам готовит будущее
Очки HoloLens добились больших успехов в корпоративных приложениях, но они все еще относительно дороги и громоздки, поэтому пока не являются повседневными устройствами. Однако новые технологии, вероятно, сделают возможным появление приложений смешанной реальности (MR). Только время покажет, что остается хайпом, а что достигает массового распространения.
Гигантские экраны c Mixed Reality
Представьте, если бы ваши очки могли показывать вам гигантский киноэкран во время поездки на автобусе. Благодаря прямой проекции на сетчатку, (о которой расскажем в конце статьи), прозрачные очки могут предложить пользователю кинематографический опыт, близкий к обычному кинотеатру. Их пока нет, но производитель очков GLOW предоставляет возможность выбирать фильм жестом руки и проецировать его прямо на линзы устройства.
Видеоигры нового поколения
Наделавшая много шума — Pokemon Go. Эта видеоигра предлагает функции дополненной реальности, но ее разработчики хотели пойти дальше. Таким образом, в последней демонстрации вы можете увидеть возможность взаимодействия пользователя с виртуальными существами с помощью рук. Похоже, Apple тоже заинтересована в этих приложениях и планирует развивать технологии смешанной реальности.
Образование и MR
Одной из областей, которым суждено извлечь выгоду из смешанной реальности, является образование. Недавний пример — HoloMusic XP, инструмент, помогающий учащимся научиться играть на фортепиано с помощью смешанной реальности и геймификации. Согласно недавнему исследованию, благодаря технологиям VR, AR и MR ожидается улучшение удержания информации, мотивации и концентрации пользователей в период обучения.
Ремонт оборудования в экстремальных условиях
В таких условиях, как космическое пространство, невозможно отправить целую команду инженеров для обслуживания сложных устройств. Поэтому в 2020 году НАСА обратилось к смешанной реальности для одного из своих астронавтов, чтобы модернизировать Лабораторию холодного атома, квантовую лабораторию на борту Международной космической станции. На нашей планете его уже используют для управления опреснительными установками, водоочистными сооружениями и ветряными электростанциями.
Геопространственное моделирование
Project Anywhere XR — это технологическая инициатива по визуализации сложных карт в 3D. Это включает в себя все, от орографических образований до городской среды. Помимо очков смешанной реальности, важным аспектом является то, что весь контент поступает из облака в режиме реального времени.
Что необходимо для оптимального взаимодействия со смешанной реальностью?
В дополнение к мобильности, которая является таким же основным требованием, как два колеса для велосипеда, смешанная реальность должна решать несколько важных проблем. Неудача в любом из них может нарушить погружение и привести к нежелательным эффектам, таким как головокружение или спутанность сознания.
- Минимальная задержка
Малейшее несоответствие между инструкциями контроллера и отображаемым изображением может испортить впечатление. Это известно как задержка. Например, по слухам, новые очки Apple будут сопряжены с телефоном по технологии Wi-Fi 6E, которая обеспечивает минимальную задержку.
- Расширенное распознавание окружающей среды
Чтобы интегрировать элементы в сцену, необходимо иметь полное распознавание или отображение окружающей среды. Для этого, помимо камер, идеально иметь датчики глубины, такие как LiDAR, которые получают отсканированное лазером и трехмерное изображение помещения. Наконец, для обработки всех этих данных требуются алгоритмы ИИ.
- Возможность использования интерфейса управления
В отличие от дополненной реальности, в примерах смешанной реальности, которые мы видели, для взаимодействия с виртуальными объектами требуется какая-то технология. Камеры и датчики глубины могут идентифицировать руки пользователя, но очкам смешанной реальности, скорее всего, потребуются дополнительные контроллеры. Альтернативой могут быть кольца с датчиками движения, например, запатентованные Apple.
- Возможность интеграции виртуальных объектов
Это один из примеров проблем, с которыми сталкивается смешанная реальность. Если вы хотите носить очки с этой технологией в течение длительного времени, все элементы должны быть интегрированы в сцену. В конечном счете это означает, что их пропорции и фокус соответствуют расположенным поблизости физическим объектам. Они также должны учитывать движение глаз.
Последние прорывы в технологиях смешанной и дополненной реальности
Из четырех проблем, которые мы упомянули, последняя, вероятно, самая сложная. К счастью, уже разрабатываются технологические инновации, которые могут обеспечить решение. Как уже отмечалось, проблема не столько в том, что виртуальный объект может отображаться более не в фокусе по мере увеличения расстояния.
Ведь если помещение нанесено на трехмерную карту, несложно присвоить характеристики по изображаемому объекту. Нет, проблема в том, что виртуальный объект ведет себя логично в соответствии с фокусом сетчатки и движением глаз.
Именно здесь вступает в игру один из самых захватывающих технологических прорывов последних лет: ретинальная проекция . Эта технология, которая все еще находится в зачаточном состоянии, проецирует изображения прямо на сетчатку, а не на экраны. Это обеспечивает плавную интеграцию изображений в окружающую среду, что принесет пользу как очкам смешанной реальности, так и очкам дополненной реальности.
В дополнение к патенту, недавно полученному Apple, некоторые прототипы предлагают функциональные возможности в этом смысле. Одним из них станут очки Light Drive, представленные Bosch на выставке технологий CES 2020. Эта модель, еще не вышедшая на рынок, проецирует на сетчатку изображения в виде лазерных лучей.
Еще одна технология, которая, вероятно, будет использоваться в очках смешанной реальности, будет разработана швейцарской компанией CREAL. Как видно из этого видео , их устройство проецирует на линзы голограмму, известную как световое поле.
В данном случае это включает в себя проецирование шести тысяч изображений в секунду для каждого глаза под разными углами и глубиной, эмулируя поведение света. Таким образом, глаз может менять фокус объекта в зависимости от того, на какую часть сцены он смотрит.
Независимо от преобладающей системы, скорее всего, очки этого типа будут зависеть от вычислительной мощности сопряженного устройства, чтобы оставаться легкими и управляемыми. Одним из примеров смешанной реальности в этом смысле являются очки Nreal, которые связаны с телефоном Android.
При таком подходе можно предложить более длительное время автономной работы и возможность подключения 5G , что будет иметь решающее значение для массового внедрения этих устройств. Однако это будет лишь промежуточный этап. В конечном итоге ожидается, что очки смешанной реальности уступят место умным контактным линзам, подобным прототипу, представленному на выставке CES 2021.
Новые комментарии: