Смешанная реальность (гибридная или расширенная реальность): продукты Mixed Reality (MR), будущие тенденции и прогнозы

Смешанная реальность (Mixed Reality) — это пользовательская среда, в которой физическая реальность и цифровой контент объединены таким образом, что позволяет взаимодействовать с реальными и виртуальными объектами и между ними. В отличие от виртуальной реальности (VR), которая погружает конечного пользователя в полностью цифровую среду, или дополненной реальности (AR), которая накладывает цифровой контент поверх физической среды, смешанная реальность сочетает в себе цифровые и реальные настройки мира.

Смешанная реальность (MR) иногда считается типом дополненной реальности (AR), но ее способность к интерактивности между реальным миром и цифровыми элементами ставит ее дальше по континууму виртуальности, где физическая реальность находится на одном полюсе, а иммерсивная виртуальная реальность — на другом.

В среде смешанной реальности смешиваются физический и цифровой миры.

То, что раньше было правдоподобно только в нашем воображении относительно взаимодействия между воображаемыми (или созданными в цифровом виде) объектами и реальностью, теперь возможно благодаря достижениям в области графической обработки, компьютерного зрения и других технологий.

Опыт смешанной реальности обеспечивается носимыми устройствами MR и может начинаться в реальном мире или быть полностью в виртуальном мире. В отличие от дополненной реальности, пользователи могут взаимодействовать с виртуальными объектами в смешанной реальности. Несмотря на то, что мы все еще находимся на заре смешанной реальности, и она недоступна для массового потребления, с учетом скорости, с которой разработчики создают приложения смешанной реальности, скорее всего, это произойдет в ближайшее время.

Как работает смешанная реальность?

Смешанную реальность иногда также называют гибридной реальностью или расширенной реальностью (XR). Форм-фактор гарнитуры следует за взглядом пользователя и отображает физическое окружение пользователя и программное обеспечение, а затем использует алгоритмы глубокого обучения для сопоставления цифрового контента с определенными областями карты.

Программирование MR позволяет цифровым объектам взаимодействовать с физическими объектами, а людям взаимодействовать с цифровыми объектами, как если бы они были физическими. В результате обычный рабочий стол может превратиться в интерактивный компьютерный сенсорный экран, а созданный с помощью МРТ персонаж фильма может сидеть на диване домовладельца.

Хотя смешанная реальность все еще находится на ранних стадиях, она уже используется во многих отраслях в образовательных целях. Например, производители самолетов используют MR как экономичный способ обучения техников по ремонту. Вместо того, чтобы вытаскивать двигатель из самолета для проведения тренировки, технические специалисты в специальных гарнитурах могут просматривать голографическое изображение двигателя и использовать команды жестов , взгляда и голосового пользовательского интерфейса ( VUI ) для взаимодействия с голограммой , изменения перспективы и извлечения данных. содержательную информацию, слой за слоем.

Чтобы создать смешанную реальность, вам не нужно беспокоиться о физических ограничениях или препятствиях, но вам нужны облачные вычисления и искусственный интеллект.

Устройство MR оснащено передовыми датчиками искусственного интеллекта, камерами, графическими вычислительными мощностями (GPU) и процессорами, такими как графические карты и основные чипы, для обработки и хранения данных в трех измерениях. Чем лучше оборудовано устройство, тем лучше смешанная реальность. Примерами могут быть умные очки, перчатки или ваш старый добрый смартфон.

Устройства MR могут подключать пользователей к проводному или беспроводному компьютеру, консоли или ПК для доступа к программному обеспечению. Программное обеспечение может добавлять, клонировать или перемещать виртуальные объекты вокруг вас для создания эффекта погружения.

Гарнитуры смешанной реальности новой эры, такие как HTC Vive или Meta Quest 2, создают высококачественную среду, позволяющую людям участвовать в виртуальном взаимодействии, тем самым растворяя барьеры между реальностью и технологиями.

Некоторые начальные компоненты, которые решение MR должно отслеживать для идеального взаимодействия со смешанной реальностью:

• Обнаружение физических объектов с помощью пространственного отображения и ограничивающих рамок;
• Восприятие реальной среды для создания компьютерных копий;
• Устройства ввода, такие как камеры, контроллеры движения, комбинезоны и беговые дорожки;
• Распознавание объектов для обнаружения и классификации объектов реального мира и их категорий;
• Отслеживание местоположения и положения как в физической, так и в виртуальной среде для регистрации отношений;
• Совместная работа над 3D-ресурсами в пространствах смешанной реальности для улучшения виртуального внешнего вида.

В дополнение к этому, расширенные наборы для обработки входных данных и комплекты для разработки программного обеспечения (SDK) имеют решающее значение для создания аутентичных MR-опытов.

Если в какой-то момент перестает работать сенсоризация ввода, то ощущение погружения прерывается. Эта сложность технологии MR является свидетельством непрерывного иммерсивного опыта, который она создает для пользователей.

Типы устройств Mixed Reality

В решениях смешанной реальности используются два разных типа — голографические устройства и иммерсивные устройства:

• Голографические устройства создают для пользователя полуиммерсивные впечатления с интерактивными виртуальными голограммами. Такие устройства, как Magic Leap VR, Microsoft HoloLens и Google Cardboard, являются примерами голографических устройств. Они позволяют пользователям создавать 3D-изображения для хранения, загрузки и совместного использования где угодно с помощью периферийных вычислений.

Голографические устройства используются на фабриках или производственных предприятиях для предоставления удаленных визуальных указаний профессионалам по таким задачам, как сборка продукта, управление машинами и заводские инспекции.

• Иммерсивные устройства полностью заменяют окружение пользователя виртуальной средой с помощью шлема виртуальной реальности (HMD). Иммерсивное устройство имеет два дисплея для близлежащих глаз, по одному для каждого глаза, которые встречаются на дуге 114 °, где пользователи начинают видеть в 3D.

Иммерсивные устройства также обеспечивают шесть степеней свободы (6DoF), поэтому пользователи смотрят и двигают конечностями в любом направлении, не нарушая потока погружения. Отличным примером иммерсивных устройств являются Meta Quest 2 или Samsung Gear VR.

Варианты использования смешанной реальности в бизнесе и промышленности

Строительство — инженеры и архитекторы могут использовать MR, чтобы подсказывать рабочим, какие строительные работы необходимо выполнить. Например, инженер может сбрасывать виртуальный пин-код, чтобы сигнализировать о том, что конкретная часть оборудования работает неправильно. Рабочие будут предупреждены и будут использовать свои гарнитуры для просмотра принципиальных схем и диагностики того, что необходимо отремонтировать.

Производство — инженеры могут использовать гарнитуры MR во время обхода завода и просматривать данные в реальном времени для конкретных механических компонентов. Информация о производительности компонента и энергопотреблении может быть передана с помощью технологии связи ближнего поля (NFC) и будет обновляться, когда взгляд инженера или инспектора переключается на другой компонент.

• Смешанная реальность в производстве телепортирует производство или заводы прямо в пространство вашей компании. Вы можете наблюдать за сборочными линиями, запасами и уровнями поставок из офиса. MR действует как средство, которое позволяет вам и вашей команде контролировать и тестировать производственные процессы без необходимости находиться в непосредственной близости от него. Программное обеспечение устройства изменяет или выделяет производственные проблемы или выполняет проверки в режиме реального времени.

Дизайн — дизайнеры могут использовать MR для взаимодействия с новыми продуктами до их создания. Например, MR может позволить инженерам космических кораблей просматривать полномасштабные цифровые прототипы нового марсохода и взаимодействовать с ними, чтобы выявлять потенциальные проблемы с конструкцией, сокращая общее время и стоимость разработки.

• Инжиниринг, архитектура и строительство. Устройства смешанной реальности могут дать инженерам возможность работать удаленно, выполнять 3D-моделирование до того, как будут потрачены какие-либо расходы на рабочую силу и материалы и многое другое. Эта технология не только ускоряет процесс проектирования и разработки, но и экономит деньги.

Смешанная реальность в маркетинге — стартапы из разных сегментов стремятся повысить рентабельность инвестиций (ROI) за счет перехода на иммерсивные технологии. Недавний рост смешанной реальности побудил компании использовать ее для расширения своих маркетинговых кампаний.

• Сегодня смешанная реальность широко используется в рекламе и маркетинге продуктов, поскольку она дает покупателям возможность пользоваться продуктом без помощи рук. Используя гарнитуры MR, потребители могут экспериментировать и виртуально взаимодействовать с продуктами или услугами компании, прежде чем платить.

Коммуникация B2B — международные корпорации могут использовать MR для проведения симуляций личных встреч с географически рассредоточенными командами разработчиков. Участники могут просмотреть трехмерную версию обсуждаемого продукта в натуральную величину, а услуги перевода могут быть интегрированы, что устраняет языковые барьеры.

Здравоохранение — хирурги могут использовать МРТ, чтобы практиковаться в установке очень маленького медицинского имплантата в тело конкретного пациента. Ожидается, что в ближайшем будущем студенты-медики также будут использовать МРТ на уроках анатомии.

• Медицинские работники могут просматривать и обмениваться записями и данными пациентов в более интерактивной форме со смешанной реальностью, чем это возможно с 2D-диаграммами. Как уже упоминалось, студенты-медики могут проходить обучение с помощью приложений смешанной реальности.

А как насчет возможности переноса медицинских сканов с компьютеров в реальный мир, где их можно перемещать и манипулировать ими для планирования операций и лечения? Приложения для смешанной реальности в здравоохранении многочисленны.

Образование — существует множество приложений смешанной реальности, которые можно использовать в образовании, чтобы помочь учащимся учиться, взаимодействуя с виртуальными объектами. Учителя могут дистанционно обучать учащихся с помощью 3D-проекций и симуляций. Microsoft HoloLens использовалась Университетом Кейс Вестерн Резерв в Огайо для обучения студентов-медиков анатомии.

• Расширенное онлайн-обучение. Везде, где пространство является ограничением во время образования и обучения, MR приходит на помощь. Обучение, основанное на репликации, идеально подходит для учащихся, которые хотят исследовать, но у них мало места для изучения. MR заставляет их чувствовать, что есть достаточно места, и все вокруг кажется реальным, и это также на близком расстоянии.

Управление цепочкой поставок — менеджер цепочки поставок может просматривать поддон через камеру своего смартфона или смарт-очки, устно задавать вопрос об истории доставки поддона и немедленно просматривать ответ на дисплее.

Преимущества смешанной реальности

Достижения в технологии иммерсивной смешанной реальности открыли новые возможности как для коммерческого, так и для некоммерческого секторов. Идеи, которые когда-то задумывались как научно-фантастические фильмы, медленно и постепенно воплощались в жизнь. Некоторые из преимуществ, которые мы получаем от MR:

Сильная клиентская база — смешанная реальность в сочетании с искусственным интеллектом следующего уровня может создать незабываемые впечатления для клиентов в любом масштабе. Клиенты могут с чем-то поэкспериментировать, примерить или узнать, как использовать это с помощью обучающих видеороликов или виртуальных руководств в реальной жизни.

Повышенная концентрация — MR неожиданным образом сочетает в себе естественные и цифровые элементы, которые удерживают людей сосредоточенными до тех пор, пока их опыт не закончится.

Гиперперсонализация — никакая другая форма медиа не может считаться более личной и привлекательной для клиентов, чем смешанная реальность. Человек, погруженный в сценарий смешанной реальности, более тесно работает с цифровой информацией, находясь в своем физическом мире.

Виртуальные демонстрации для поставщиков. Если вы работаете в сфере B2B, вы можете предоставить голографические устройства своему клиенту для виртуального знакомства с продуктом, на котором демонстрируются функции, модули, приложения и результаты в жилом пространстве клиента.

Уменьшение количества несчастных случаев — использование технологии MR в качестве адаптивного тренажера для опасных сценариев, таких как горное дело, археология или альпинизм, снижает количество жертв и несчастных случаев.

Способствующее обучению — двоюродный брат смешанной реальности, дополненная реальность, успешно сломала устаревшие барьеры на пути к образованию и предоставила учащимся экспериментальную среду для обучения, мозгового штурма и взаимодействия.

Проблемы и минусы Mixed Reality

Поскольку смешанная реальность была принята совсем недавно, компании все еще вкладывают большие инвестиции в более глубокие исследования MR, чтобы увидеть, как они могут использовать ее как часть своего бизнеса.

Смешанная реальность основана на иммерсивных технологиях и искусственном интеллекте, двух автономных цифровых технологиях, которые сами по себе не получили широкого распространения. MR требует исключительного таланта, а процесс создания 3D-контента является дорогостоящим, трудоемким и требовательным к оборудованию.

Рассмотрим некоторые проблемы, с которыми мы сталкиваемся при стандартизации смешанной реальности:

• Стоимость — первоначальные затраты на создание частично реальных и частично виртуальных сред очень высоки. Помимо затрат на оборудование, инвестиции в надлежащие комплекты для разработки программного обеспечения и наем эффективных разработчиков, которые могут курировать настраиваемые приложения, стоят тысячи долларов без гарантированной окупаемости.
• Старые методы пространственного картографирования — основаны на вычислительной геометрии или других математических методах, которые дают только приблизительную оценку положения или местоположения объекта реального мира. Развертывание 3D-элементов в любой заданной среде требует точного отображения реальных координат.
• Нехватка профессионалов — обученная рабочая сила — специалисты по обслуживанию, аналитики данных и инженеры-программисты для создания, обучения и тестирования всей инфраструктуры с нуля необходимы, если вы хотите создать оптимальную среду MR. Это одна из основных проблем MR, с которыми сегодня сталкиваются отрасли.
• Отнимает много времени — MR вряд ли будет выбран в качестве эффективного способа получения ROI. Минимально жизнеспособный продукт стартапа (MVP) требует эффективного маркетинга, за которым следует молниеносное производство, например, « точно вовремя» , чтобы увеличить продажи. Смешанная реальность не торопится, чтобы показать результаты.
• Пользовательский опыт — в разных частях присутствует разный уровень технической грамотности. Некоторым может быть неудобно использовать устройство, чтобы испытать MR.

История виртуальной реальности, дополненной реальности и смешанной реальности

Виртуальная реальность (VR) уходит своими корнями в глубь веков благодаря популярности стереоскопа, ручного устройства, изобретенного сэром Чарльзом Уитстоном в начале 1800-х годов. Стереоскопы используют зеркала для объединения двух фотографий в одно изображение, создавая иллюзию глубины. Мортон Хейлиг, которого иногда называют отцом виртуальной реальности, продвинул стереоскопическое изображение на шаг вперед, запатентовав в 1962 году симулятор Sensorama.

Иммерсивная сенсорная среда Хейлига представляла собой, по сути, гигантский View-Master, который позволял пользователю просматривать стереоскопические изображения в сопровождении стереозвука. звук и ароматы. Термин «виртуальная реальность» приобрел популярность в 1980-х годах и обычно приписывается компьютерному ученому Джарону Ланье, изобретателю перчаток данных .

Исследователь компании Boeing Томас Коделл ввел термин «дополненная реальность» в 1990 году для описания того, как работают дисплеи на голове, которые носят электрики Boeing. Вместо того, чтобы полагаться на карту проводки, которая была физически напечатана на фанере, электрикам дали наушники, которые могли проецировать цифровую версию карты на фанеру.

Использование AR не только сэкономило деньги компании, сделав фанерные подложки многоразовыми, но и позволило электрикам вносить цифровые изменения в карты проводки в режиме реального времени. Что касается потребителей, то одним из первых коммерческих применений технологии дополненной реальности стала желтая линия «первый проигравший», которая начала появляться в телевизионных футбольных матчах в 1998 году. Приложение для смартфонов Pokémon Go также познакомил широкую аудиторию с тем, как работает дополненная реальность, накладывая цифровые символы в поле зрения камеры телефона.

Термин смешанная реальность был впервые введен в 1994 году Полом Милграмом и Фумио Кишино в статье, озаглавленной «Таксономия визуальных дисплеев смешанной реальности». В документе представлена ​​идея о том, что смешанная реальность — это континуум, включающий в себя виртуальную и дополненную реальность, а также любые новые технологии, которые позволят цифровому контенту взаимодействовать с объектами реального мира, а людям — взаимодействовать с цифровыми объектами так, как если бы они были реальными.

Например, если в Pokémon Go добавить возможности MR, персонаж покемонов сможет подняться по реальной лестнице, потому что цифровой персонаж будет знать о своем физическом окружении.

Продукты смешанной реальности и будущие тенденции

Текущий контент смешанной реальности обычно доставляется через гарнитуры, хотя ожидается, что голографические проекции и интерактивные виртуальные дисплеи будут играть важную роль в MR. До недавнего времени создание потребительских товаров, использующих преимущества континуума MR, не было рентабельным, поскольку эта технология требует огромной вычислительной мощности, а также мощного компьютерного зрения и возможностей распознавания изображений.

Большие данные, облачные вычисления и последние достижения в области искусственного интеллекта (ИИ) делают возможности MR более доступными, и по мере снижения цены ожидается, что MR радикально изменит взаимодействие человека с компьютером (HCI).

Отраслевые эксперты прогнозируют, что к 2024 году смешанная реальность станет глобальной индустрией с оборотом от $1,2 до $6,9 млрд. Хотя игры будут продолжать играть важную роль в ее развитии, ожидается, что Enterprise MR будет доминировать в исследованиях смешанной реальности в ближайшие годы. В настоящее время гарнитуры MR стоят от $300 до $3000 за комплект. Ожидается, что в ближайшем будущем смартфоны, планшеты и умные очки с камерами заменят специализированные гарнитуры. Ходят слухи, что Apple разрабатывает очки смешанной реальности, которые будут подключаться к iPhone пользователя, как Apple Watch.

Windows Mixed Reality (WMR) предлагает множество продуктов на базе Windows 10 и универсальной платформы Windows (UWP). Популярные игровые продукты включают HoloLens и гарнитуру Acer MR. Microsoft также экспериментирует с MRTouch, программным обеспечением, использующим картографирование среды HoloLens и технологию отслеживания рук, позволяющую использовать плоские поверхности в качестве устройств ввода.

Браузер Microsoft Edge и браузер Mozilla Firefox Reality были разработаны с учетом смешанной реальности, чтобы включить функции, которые облегчат владельцам гарнитуры или умных очков возможность переключения взгляда между 2D- и 3D-контентом на одном дисплее.

Прогноз на развитие смешанной реальности в будущем

Невероятно, но факт: в будущем смешанная реальность может предложить многое. Вот некоторые из основных моментов, на которые стоит обратить внимание:

• Голографические проекции и интерактивный виртуальный дисплей Mixed Reality привлекут повышенное внимание;
• MR предложит экономичные вычислительные мощности и возможности распознавания изображений/зрений;
• Большие данные и облачные вычисления будут играть важную роль в передовых технологиях MR;
• Смешанная реальность изменит общение между человеком и компьютером и выведет его на новый уровень;
• Mixed Reality станет одной из востребованных мировых индустрий в ближайшие 5–7 лет;
• MR будет доминировать почти во всех областях промышленности, кроме игр;
• Смартфоны, мобильные устройства и умные очки заменят гарнитуры;
• Технологические гиганты, представят передовые современные продукты MR, которые повысят популярность MR.

Технологии MR доказывает свою пользу и преимущества, извлекая лучшее из обоих виртуальных гигантов — виртуальной реальности и дополненной реальности.

Нет сомнений, что смешанная реальность окажет огромное влияние на нашу жизнь в будущем, поскольку она революционизирует то, как мы учимся, сотрудничаем, делать покупки, играть в игры или проводить свободное время. Действительно, Statista прогнозирует , что рынок AR, VR и смешанной реальности будет расти в ближайшие несколько лет и к 2025 году вырастет почти до $300 млрд.

Это не должно вызывать удивления, поскольку MR не только полностью помещает пользователей в вымышленный мир, но и может добавить интеллекта к виртуальному контенту вокруг нас. Устройства смешанной реальности хорошо осведомлены о своем реальном окружении — они не просто накладывают плоский контент поверх нашего представления, но учитывают физику, гравитацию и размеры реального мира для создания захватывающих впечатлений.

Это означает, что смешанная реальность может заменить наши смартфоны, компьютеры и телевизоры уже в скором будущем.

Еще одним огромным фактором, ускоряющим рост рынка смешанной реальности, является появление метавселенной, следующего поколения Интернета, где физический и цифровой миры объединяются. Метавселенная предоставит своим пользователям пространство для взаимосвязанных виртуальных сообществ, использующих гарнитуры виртуальной реальности, очки дополненной реальности, приложения для смартфонов и другие устройства.

Вопрос для отрасли: где будет сосредоточено большинство примеров смешанной реальности? Всестороннее исследование британского технологического аналитика Juniper Research прогнозирует, что к 2024 году:

• 67% приложений для смарт-очков будут предназначены для игр или мультимедиа;
• 75% приложений смешанной реальности будут доставляться через смартфон;
• 40% приложений MR будут для социальных сетей.

Чтобы соответствовать этим прогнозам тенденций, технология MR требует дополнительных усовершенствований, программного обеспечения и контента.