Способы взаимодействие с виртуальной реальностью

Методы взаимодействия в VR

С тех пор как были созданы первые компьютеры, люди искали более интуитивные способы взаимодействия с коммуникационными технологиями. Аналитический движок Чарльза Бэббиджа в начале 19 века использовал перфокарт и рычаги для взаимодействия с первыми компьютерами. Перенесемся на 100 лет вперед. Клавиатура, а затем мышь становятся доминирующим методом ввода в течение нескольких десятилетий. Появление ноутбука, а затем смартфона помогло популяризировать мышь сенсорной панели и сенсорный экран. Но поскольку устройства становятся все более интуитивными и натуралистическими, мы ищем более эффективные методы взаимодействия.

Методы взаимодействия менялись с рычагов и кнопок, до компьютерной мыши и тачпада. Поскольку размер экрана компьютера уменьшился с 19-дюймового рабочего стола практически до любого экрана (Magic Leap), мы рассмотрим новые методы взаимодействия.

4 уровня взаимодействия

Устройство ввода AR / VR первого поколения.

Устройство ввода первого поколения можно считать датчиком движения, встроенным в головное устройство (HMD), которое преобразует положение головы для изменения сцены.

Система ввода AR/VR второго поколения

VR система буквально и метафорически сделала шаг вперед, когда программное обеспечение смогло взаимодействовать с руками пользователя. В 1990-е годы были введены различные указательные устройства, в частности специальные перчатки, которые позволяют владельцу взаимодействовать своими руками в виртуальном мире. Даже без тактильной обратной связи внедрение беспроводного и камерного отслеживания, такого как Leap Motion for VR и аналогичные технологии для AR, значительно улучшили интерактивность.

Система ввода третьего поколения.

До недавнего времени устройства, отслеживающие направление взгляда были нишей и дорогостоящей технологией, в основном предназначенной для академических целей и исследователей рынка. Технология обеспечивает более реалистичные взаимодействия между пользователем и виртуальными персонажами. Распознавание речи, технология, которая также выиграла от революции смартфонов, может быть добавлена к технологии отслеживания глазами, разрешив такие категориальные команды, как смотреть на дверь и говорить «открыто». Крупнейшие игроки на рынке уже приобрели компании с такими технологиями. Google приобрела Eyefluence, Facebook купила Eye Tribe, а Apple купила SensoMotoric Instruments (SMI).

Устройства ввода VR четвертого поколения.

Лицевые выражения — важный недостающий элемент взаимодействия VR и AR. HMD с подключенными камерами глубины были использованы для визуализации нижней грани (например, двоичного VR), но будет ли этот метод популярным в будущем еще не ясно. Три потенциальные причины, по которым этот подход может быть проблематичным, связаны с i) взаимодействием человека, ii) эргономическими соображениями и iii) соображениями по расчету и времени автономной работы.

Одно из исследований показало, что при взаимодействии лицом к лицу считывается информация из области глаз. Удивление, гнев, отвращение и улыбка требуют видимости областей, которые обычно закрыты HMD.

Хао Ли во время исследований для Oculus включил датчики растяжения в слое материала, который соприкасается с кожей, что получить данные об эмоциях и передать их для обработки в гарнитуру. Будет интересно посмотреть, как это будет выглядеть при выпуске окончательной версии.

Mindmaze показали свой прототип маски, который требует, чтобы пользователь носил специальную клипсу на ухе и на ее основе будут анализироваться данные.

Samsung также анонсировала разработку под названием «FaceSense», хотя детали по-прежнему ограничены. Решение Emteq называется FaceTeq и представляет собой платформенную технологию, которая использует новые сенсорные методы для обнаружения минутных электрических изменений, которые происходят, когда мышцы лица сокращаются. С каждым изменением выражения лица характерная волна электрической активности изучает кожу, и это может быть обнаружено неинвазивно и без необходимости в камерах.

Источник

Будущее без экранов: как виртуальная реальность изменит способ нашего взаимодействия с технологиями

Технологии не просто открыли нам новые возможности, но полностью изменили тот образ жизни и те привычки, которые складывались десятилетиями до этого. Если раньше, чтобы купить газету, нужно было прогуляться до ближайшего киоска, то теперь достаточно достать планшет и совершить пару нехитрых манипуляций.

Но сегодня мы находимся на пороге новой технологической революции.

Если техно-гики и футуристы правы, очень скоро нам не потребуется даже брать в руки планшет — будет достаточно просто надеть очки. Это тот самый сдвиг от множества экранов к единой виртуальной реальности, который сделает Интернет еще более комфортным местом, не просто поменяет то, как выглядят новые технологии, но и способ нашего взаимодействия с ними.

Виртуальная реальность не просто изменит наше поведение в социальных медиа, но и поднимет очень важные вопросы относительно того, что мы воспринимаем как само собой разумеющееся: пространство. Как мы будем взаимодействовать с этим новым измерением? Каким образом компании начнут извлекать из этого взаимодействия выгоду? И как это изменит то, как мы взаимодействуем с технологиями вообще? Об этом — читайте ниже.

Краткая история развития технологий (и того, как мы с ними взаимодействуем)

Все разговоры о виртуальной реальности, как правило, заканчиваются одинаково: да, виртуальная реальность подарит новый незабываемый опыт, но до сих пор непонятно, как мы будем взаимодействовать с двухмерными объектами в трехмерном пространстве.

Такие разговоры заставляют обычных людей задуматься над непростыми вопросами и затронуть темы, которые ранее представляли интерес только для инженеров и разработчиков, а именно — проблемы интерфейса.

Тот интерфейс, с которым вы знакомы сегодня и который обеспечивает вам комфорт при использовании смартфона или любого другого устройства, с которого вы читаете этот текст, носит название графического пользовательского интерфейса (Graphical User Interface (GUI) и был популяризирован такими компаниями, как Xerox, Apple и Microsoft на протяжении 80-х годов.

В плане развития способов нашего взаимодействия с технологиями мы проделали долгий путь

Поначалу возможность взаимодействия с компьютером была обусловлена умением оператора кодить: в вашем распоряжении находился набор конкретных команд, которые машина была способна понять. С течением времени «боги» персональных компьютеров (Джобс, Гейтс и т.д.) внесли существенные изменения в этот опыт, отчего введение команд в компьютер стало простым и интуитивно понятным действием. Код заменился на иконки, на которые можно было кликнуть или перетащить указателем мыши — то, что сегодня принимается как должное, в те времена было настоящей революцией.

После 30-35 лет развития интерфейсов мы пришли к тому, что компьютером может пользоваться каждый, даже ваша бабушка. А если нет, то, возможно, потому, что вы все еще не купили ей планшет.

Самое удивительное во всем этом то, что сейчас мы находимся на заре новой эры. Вещи, которыми мы привыкли пользоваться профессионально — в частности, взаимодействовать с интерфейсами — придется изучать заново, но на принципиально новом уровне погружения.

Проектирование виртуального пространства

Возьмем, к примеру, Netflix с его очень простым пользовательским опытом. Все, что от вас требуется, — это зайти на сайт, прокрутить список фильмов, выбрать понравившийся, кликнуть по нему и смотреть.

Но как трансформируется этот опыт, когда все происходящее будет расположено не на экране? Возникает немало трудностей и спорных моментов, которые обязательны к рассмотрению.

Первый спорный момент — это пространство: нечто, что мы больше не можем рассматривать в контексте традиционного опыта.

Виртуальная реальность — это что-то совершенно иное. Мы надеваем очки, выбираем Netflix и тут же оказываемся в гостиной перед включенным телевизором. Если оглянуться вокруг, можно отметить, что вы сидите на красном диване, расположенном напротив огромного, 60-дюймового телевизионного экрана — впервые мы сталкиваемся с ощущением виртуального масштаба.

Netflix в виртуальной реальности (в комплекте с заснеженным пейзажем за окном)

Теперь нет никакой нужды возлагать надежды на Sony или LG в деле создания таких HD-телевизоров. Гостиная, которую мы посещаем в виртуальном мире Netflix, располагает одним из самых больших телевизоров, существующих на данный момент, к тому же он встроен в огромный каменный камин. Иметь 60-дюймовый экран в 5-дюймовом экране — совсем не то, что ожидаешь при первом посещении виртуальной реальности.

Все это выглядит и ощущается просто замечательно, но остается открытым вопрос: как организовать в трехмерном пространстве взаимодействие с основными функциями приложений? Просто представьте, как вы будете справляться с двумерными меню Facebook, Youtube, Twitter?

Как покажет себя нечто настолько простое, как поиск в Google, в 3D-пространстве? Будет ли задействован наш голос? Наши руки? Мы будем ходить вокруг меню, чтобы получить доступ к определенным возможностям?

Слишком много вопросов, а ведь еще не затронуты темы относительно того, как виртуальная реальность будет ощущаться, выглядеть и звучать.

Будем ли мы использовать руки в виртуальности?

Как это и бывает, с появлением очков виртуальной реальности появилось и множество других инструментов навигации, которые представляют особенный интерес.

То, что раньше было простым кликом, сегодня будет представлено в формате того устройства, которое вы используете. Некоторые устройства позволяют нам управлять виртуальными объектами поворотом головы. Чтобы выбрать объект, иконку или часть текста, вам потребуется нажать на кнопку, расположенную на одной из сторон гарнитуры.

В других случаях мы можем воспользоваться парой специальных перчаток, при помощи которых достаточно легко манипулировать объектами в виртуальном пространстве или выбирать пункты меню.

Один из концептов того, как мы будем управлять виртуальностью

И, наконец, после всех этих лет мы сможем использовать свой голос как полноценный инструмент навигации. На мобильных устройствах голосовое управление пока реализовано далеко не на высшем уровне, но в пространстве, где у нас не будет мыши и клавиатуры, этот способ взаимодействия кажется самым удобным и логичным.

Очень забавным и смешным покажутся вам клавиатура и мышь после того, как вы хоть раз испытаете погружение в виртуальный мир бескрайних возможностей.

Внезапно передовые приемы взаимодействия с технологиями становятся скевоморфичными. Вы когда-нибудь пытались использовать VR-клавиатуры? Лучше не стоит.

VR — платформа для людей

Если смотреть в исторической перспективе, то наступающая эра виртуальной реальности не только грозит стать самой интересной, но и не лишенной комичных моментов эпохой. Представьте Geocities в контексте виртуальности. Или секс в раннем Facebook. Вспомните Seaman для Sega Dreamcast.

Но технологии — дело наживное. Со временем технологические компании дошлифуют устройства виртуальной реальности и доработают интерфейс, в силу чего VR-инструменты позволят нам взаимодействовать с другими так, как никогда раньше. Однако следующей ступенькой на пути к всеобщей виртуализации станет ответ на вопрос, где и как мы будем взаимодействовать в виртуальных пространствах. Можете, к примеру, взглянуть, как выглядит Facebook в трехмерном измерении:

Несмотря на растущие опасения о все большей изоляции людей друг от друга, многие эксперты высказывают мнение, что, напротив, VR поможет нам общаться с другими людьми на качественно ином уровне.

К примеру, тот же Крис Милк (Chris Milk), американский предприниматель и адепт виртуальных технологий, предпочитает не относиться к VR-гарнитуре как технологической платформе, ведь прежде всего это человечная платформа. Однако как бы идеалистично и слишком самонадеянно это заявление не звучит, оно все же отражает главную особенность VR-технологии в области сторителлинга и человеческих взаимодействий.

Вместе в виртуальном пространстве

С тех пор, как мы приобрели способность общаться друг с другом, мы постоянно делимся своим опытом с другими — в устной культуре, посредством книг, радио, телевидения, кинематографа и, конечно же, интернета.

Для всех эти каналов характерно то, что мы должны в разной степени использовать наше воображение, чтобы сопереживать главному герою или рассказчику. Неважно, насколько захватывающий опыт представлен, мы всегда вынуждены заполнять остающиеся пробелы своим воображением.

Что отличает виртуальную реальность от остальных средств коммуникации, так это то, что мы, наконец, можем окунуться в историю, взглянуть на нее под углом зрения самого рассказчика.

Вместо того, чтобы быть свидетелями историй о людях, которые находятся «по ту сторону» (экрана, книги и т.д.), при помощи средств виртуальной реальности мы можем попасть внутрь самого сюжета.

И вот почему эксперты при обсуждении различных тем виртуальности (от спорта до VR-учебников), обычно относятся к VR-технологии как эмпатийной машине. В виртуальной реальности вы не просто перенимаете чей-то опыт, вы становитесь его частью.

И трансцедентальная способность VR не перестает быть менее важной. По словам Милка, идея социальной погружения будет развиваться дальше, и те места, которые мы сможем посетить позже, изменят само наше представление о физическом пространстве.

Вместо того, чтобы посетить чей-то дом, или встретиться на отдаленном пляже, мы также можем получить прямой доступ к чужим мыслям и чувствам. Милк называет это «серфингом переживаний», и это предполагает коренные изменения в нашей жизни.

Станут ли с VR социальные медиа по-настоящему социальными?

Эти социальные и пространственные инновации не только трансформируют наш опыт, но и окажут огромное влияние на технологические компании, с которыми мы давно знакомы.

Такие бренды, как Spotify, уже взялись за разработку музыкального и звукового сопровождения визуального опыта. Окажись вы на виртуальном пляже в вечерние часы, вы услышите воздушные и немного меланхоличные мелодии, которые позволят вам еще глубже погрузиться в переживаемый опыт. Но такие музыкальные подборки могут быть нетипичными: этот музыкальный список помогут сформировать как ваши личные предпочтения, так и опыт тех, кто посещал это виртуальное пространство до вас.

Точно так же, как браузер Google автоматически заполняет ваш поисковый запрос, можете быть уверены, что те виртуальные места, которые вы посетите в ближайшее время, будут формироваться с учетом ваших индивидуальных предпочтений.

Хотя Facebook все еще находится на ранней стадии освоения виртуальной реальности, Марк Цукерберг уже обсуждал возможность сохранять ключевые моменты вашей жизни, будь то первый день рождения или предложение руки и сердца. Мы сможем приглашать друзей и родственников со всего мира, чтобы разделить эти события с нами, но самым сильным элементом этой функции станет устойчивое качество опыта. В нашем виртуальном будущем Facebook имеет все шансы стать настоящей машиной времени, которая позволит людям вновь проживать памятные моменты своей жизни, когда у них возникнет такое желание.

Писатели-фантасты предсказывают все эти виртуальные возможности уже в течение полувека, и технология, по всей видимости, близка к тому, чтобы сделать все наши мечты явью.

Конечно, нам потребовалось около пары поколений, чтобы избавиться от менее эффективных элементов персонального интерфейса, и потребуется еще некоторое время, чтобы преодолеть те проблемы, которые неизбежны в будущем.

Что и говорить, мы определенно прошли долгий путь от однострочных команд.

Источник