В 2010 компания Microsoft представила манипулятор нового поколения для Xbox 360 — сенсор Kinect. Устройство подключалось к игровой консоли и позволяло игроку буквально перенестись в происходящее на экране телевизора. Затем Kinect стал совместим с Windows, и ему нашли применение во многих сферах деятельности помимо игр и развлечений. Вместе с Xbox One, игровой консолью нового поколения, Microsoft выпустила Kinect 2, который отличается от своего предка более высокими точностью и разрешающей способностью. Но даже второе поколение сенсора не позволяло перенести в игру точные движения пальцами для взаимодействия с различными объектами.
Сегодня команда инженеров из Microsoft Research опубликовала видеоролик с демонстрацией Project Abstract — новой технологии, которая позволяет пользователю взаимодействовать с виртуальными предметами с помощью своих рук так точно, будто эти предметы реальны. В HoloLens уже сейчас включена поддержка взаимодействия с голографическими объектами, а благодаря смешению реальностей пользователь видит свои руки. Но при использовать устройств виртуальной реальности руки пользователя находятся за пределами его поля зрения, из-за чего ему довольно сложно производить тонкие операции с объектами.
Благодаря такой технологии пользователь может производить действительно тонкие операции с виртуальными объектами. Такой интерфейс можно применять как в рабочих ситуациях, так и в играх, где уровень взаимодействия игрока с окружающим его виртуальным миром напрямую влияет на вовлечение в процесс и буквально степень удовольствия от игры. Следует понимать, что на ролике, выложенном сегодня командой из Microsoft Research представлен ранний прототип технологии. Интересно, что демонстрирущий технологию инженер применяет гарнитуру Oculus Rift.