Kinecting people

Руководители компании Microsoft давно так не ждали дня Благодарения, как в этом году. В начале ноября, в преддверии большого сезона предпраздничных покупок, они выпустили на рынок революционную модель контроллера для игровой приставки Xbox 360 — Kinect. В первые 10 дней — вопреки прогнозам аналитиков — небывалый ажиотаж, продано больше миллиона комплектов. После праздника Благодарения, 26 ноября, станет понятно, удастся ли новому девайсу побить рекорды главных конкурентов: Wii Remote от Nintendo и PlayStation Move компании Sony (3,8 и 2,5 млн экземпляров за первый месяц продаж).

Kinect — это первый в мире сенсор, распознающий движения пользователя без каких-либо датчиков и маячков на самом человеке. Конец рукоприкладству: чтобы играть и управлять интерфейсом на расстоянии, больше не нужен ни пульт, ни джойстик, ни контроллер, зажатый в руке — как у Wii Remote и PlayStation Move. Только жесты, позы и голосовые команды. Новый сенсор понимает, где находится человек и что он показывает, потому что “видит” его в объеме в инфракрасном свете — эту информацию воспринимают несколько монохромных светочувствительных матриц (CMOS матриц), встроенных в веб-камеру Kinect.

Еще в 2000 году компания 3DV Systems выпустила веб-камеру с времяпролетным счетчиком: камера освещает объект короткими незаметными глазу вспышками и определяет расстояние до каждой его точки по задержке, с которой возвращаются отраженные от объекта фотоны. Так она получает объемную картинку, видит траектории движений человека в трех плоскостях. В прошлом году Microsoft купила 3DV Systems и вскоре удешевила технологию, приспособив для своей игровой приставки.

Заодно в новый контроллер добавили систему распознавания голосовых команд: “Kinect, музыка!”, “Kinect, стоп!”, “Kinect, чат с Мэри” и т.п. Микрофонная решетка позволяет довольно точно локализовать источник звука и отфильтровать шум.

Отныне главные герои игр, как марионетки, повторяют все движения пользователей. Полные зеркальные отображения — с компьютерной внешностью, но “родными” жестами и даже мимикой. Хочешь — потанцуй в обнимку с виртуальной Шакирой, хочешь — завали на мат Брюса Ли. Больше того, веб-камера сенсора работает параллельно и в обычном полноцветном 2D режиме. То есть Шакире можно приделать свое лицо, а отсекам корабля из “Звездных войн” придать обстановку своей комнаты.

Компьютерные гуру называют это “дополненной виртуальностью”, а нейрофизиологи и психологи — смелым экспериментом над нашими зеркальными нейронами. Когда мы перевоплощаемся в героев и двигаемся за них, наш мозг видит все меньше разницы между реальностью и игрой. Чем больше персонаж похож на пользователя, тем сильнее мозг сопереживает с ним все, что происходит. Мы чувствуем агрессию, умиление, эйфорию, когда думаем, что чувствовали бы это, окажись на месте героя. Простейший пример — заразительность икоты или невольное подражание жестам собеседника. Персонажи уже сами заставляют нас двигаться и непроизвольно кривить лицо, пропустив удар.

В том, что Kinect хорошо разойдется, сомнений нет. Но куда больше перспектив сулит Microsoft другая, совсем новая ниша: услуги “дополненной реальности”. Нужно только модифицировать ту же технологию в обратную сторону — чтобы элементы виртуального мира вписать в реальный, повседневный.

В прошлом году молодой программист из Массачусетского технологического института Пранав Мистри представил публике прототип устройства SixthSense (“шестое чувство”). Компьютер, камера, зеркало, проектор и набор маркеров из реального мира — они указывают компьютеру место, куда нужно добавить виртуальный элемент. Прибор проецирует на любые поверхности (от стены до запястья) реальную картинку с камеры, обогащенную виртуальными вставками. Например, на ладони оказывается виртуальный ярлык электронной почты — тыкаешь его и проверяешь почту.

В общем-то главное ноу-хау Мистри — это маркеры в виде цветных напальчников. Чертишь пальцем круг — появляется циферблат часов. И таких значков можно ввести сколько угодно. Пальцами можно рисовать, перелистывать виртуальные страницы, делать фотографии, не нажимая кнопки.

Работает все очень просто. Изображения маркеров внесены в память компьютера. Разные их движения работают как ярлыки, ссылки на те страницы и функции, к которым они привязаны. Картинка с камеры (которая болтается у пользователя на груди) с помощью зеркала проецируется на вертикальную или наклонную поверхность поблизости. Как только в поле зрения камеры попадает маркер, компьютер достраивает реальность по соответствующему лекалу.

Сейчас Мистри и его коллеги совершенствуют прибор и, вероятно, скоро они смогут вывести его на рынок. Скорее всего, он будет стоить около $350. Но возможности технологии куда богаче. Самый фантастический пример — это очки с функцией дополненной реальности, где маркерами служат движения зрачка пользователя (они задают направление камере) и любые видимые им объекты: компьютер распознает их по базе и мгновенно находит в интернете всю связанную с ними информацию. Пользователь видит ее на дисплее, прикрепленном к оправе.

Идешь по улице и сразу видишь: у этого две судимости, этот — президент банка, а тот нищий бродяга с собачкой — гениальный математик.

Прототипы таких приборов есть у исследовательского центра Nokia и японской NTT Dokomo (совместно с Olympus). Главная сложность в том, что распознавать движущиеся объекты по мгновенным снимкам с камеры удается крайне редко. Фотография с камеры должна почти полностью совпасть с фото в интернете по ракурсу, мимике, прическе, не говоря уже об уровне освещенности. Обычно примет для идентификации слишком мало.

И здесь как никто силен Microsoft, владеющий дешевой камерой с 3D-радаром. Она дает объемные портреты, по которым легко высчитать точные пропорции лица. Пока радар Kinect “достает” объекты только в пределах комнаты. Но кто знает — может, Microsoft уже почувствовал перспективу и ждет следующего дня Благодарения, чтобы порадовать новым гаджетом по мотивам шпионских романов.

Екатерина АЛЯБЬЕВА