Проект OASIS: превратим весь мир в интерактивную панель Олег Нечай

Проект OASIS: превратим весь мир в интерактивную панель

Олег Нечай

ОпубликованоОлег Нечай

Представьте, что вы возвращаетесь из магазина и выкладываете покупки на кухонном столе. При этом стол немедленно распознаёт лежащие на нём продукты и выводит рядом с ними виртуальные меню, «нажимая» на которые пальцем можно, к примеру, узнать об их калорийности, способах приготовления и совместимости или даже убрать в виртуальный ящик, занеся в базу данные сведения о дате приобретения, наименовании, количестве и весе.

Примерно в этом и заключается внешняя сторона проекта OASIS, над котором работают учёные Intel Labs в американском городе Сиэттле, штат Вашингтон.

OASIS — это аббревиатура от Object-Aware Situated Interactive System, что можно перевести как «интерактивная система, ориентированная на распознавание объектов, расположенных в её зоне действия». На самом деле смысл проекта несколько шире — сделать возможным одновременное взаимодействие с реальными и виртуальными предметами через естественный интуитивно понятный интерфейс. При этом помимо собственно объектов, система распознаёт и жесты.

Возглавляет проект OASIS Беверли Гаррисон, старший научный сотрудник Intel Labs Seattle. Она занимается интерактивными системами уже более пятнадцати лет. Около четырёх лет назад в Intel заинтересовались возможностью использования в таких системах пикопроекторов, что и привело к созданию проекта OASIS. В состав команды Гаррисон также входят аспиранты Университета штата Вашингтон.

Действующий прототип интерактивной системы OASIS был продемонстрирован летом 2010 года на конференции Research@Intel Day, а подробнее о ней было рассказано на проходящем в эти дни осеннем Форуме Intel для разработчиков (IDF Fall 2010). Система формирует интерактивные поверхности, которые сами разработчики называют «островами», в любых необходимых местах — например, на кухонном рабочем столе.

_{Демонстрационный стенд системы OASIS.}

При помощи пикопроекторов, камер глубины («пролётных», TOF-камер или RGB+D-камер) и алгоритмов распознавания объектов и жестов OASIS может создавать интерактивные дисплеи практически на любых плоских поверхностях.

Система отслеживает появление и изменение физических и виртуальных объектов, демонстрирует графический интерфейс, включая меню и кнопки, распознаёт жесты пользователя, а также выводит разнообразный контент из локальных и удалённых баз данных, в том числе из интернета.

В системе, продемонстрированной на Research@Intel Day, всё программное обеспечение OASIS работало на обычном ноутбуке Dell Inspiron с двухгигагерцевым двухъядерным процессором. Среди этого ПО есть самые разнообразные программы, включая софт для трёхмерного рендеринга, калибровки, распознавания образов и формирования графического интерфейса.

Компьютер не обязательно должен находиться на виду — его можно спрятать, например, в ящик стола, ведь всё взаимодействие с системой осуществляется через интерактивную поверхность.

В процессе демонстрации в такую интерактивную поверхность превратился выделенный на столе прямоугольник размером около 24 х 36 дюймов (61 х 91 см). В состав демонстрационного стенда вошли светодиодный видеопроектор с разрешением SVGA и яркостью 170 люмен, а также TOF-камера, способная помимо цветной картинки с разрешением 320 х 240 пикселей получать c помощью инфракрасных датчиков данные о «глубине» этой картинки, то есть о расстоянии до фиксируемых объектов. Камера была установлена на расстоянии около 30 дюймов (108 см) над столом. Производитель пикопроектора — компания Microvision, камера была предоставлена фирмой PrimeSense.

По словам Беверли Гаррисон, все комплектующие, камера и проектор, использованные в демонстрационном стенде — это прототипы. Со временем она рассчитывает применять в системах OASIS лазерные пикопроекторы, к достоинствам которых относятся миниатюрность и экономичность.

Дело в том, что подобным системам не требуются проекторы с регулируемым фокусом: при стационарной установке, к примеру, над кухонным столом нужно просто подобрать объектив с подходящим фокусным расстоянием, а это означает возможность использовать самые простые модели. Более того, для питания таких проекторов достаточно низковольтных линий, которые обычно прокладываются в кухонной мебели для подключения подсветки.

Гаррисон подчёркивает, что системы OASIS значительно дешевле, чем интерактивные столы Microsoft Surface (о последнем поколении таких столов мы писали весной) и гораздо проще в установке. Ключевыми компонентами, благодаря которым стало возможным создание подобной интерактивной системы, это камеры, измеряющие глубину и пикопроекторы.

Действительно, OASIS — во многом плод самых современных технологий. Ведь ещё 15 лет назад системы распознавания мало в чём превосходили магазинные сканеры штрих-кодов, а видеопроекторы были тяжёлыми и громоздкими и могли использоваться, в основном, в конференц-залах и домашних кинотеатрах.

Перед командой Беверли Гаррисон стояло три принципиальных задачи: разработать теоретическую основу конструирования объектно-ориентированных интерактивных систем; понять, каким образом пользователи предпочитают взаимодействовать с такими системами и, наконец, создать интерактивную систему, способную создавать свои «островки» в обычной обстановке.

Ключевая особенность системы OASIS в её способности производить над физическими объектами виртуальные действия, причём эти действия кажутся пользователям совершенно естественными. Система может создавать и удалять новые виртуальные объекты, объединять их в группы и сохранять их для последующего использования. Кроме того, существует возможность отменять ошибочные команды.

Для распознавания физических объектов в OASIS применяется компьютерное «зрение». К примеру, если вы кладёте на кухонный стол апельсин, система при помощи камеры, программного обеспечения и базы данных определяет, что это именно апельсин, а не помидор.

Затем пикопроектор «прикалывает» рядом с апельсином виртуальный ярлычок, над которым проецируется виртуальная кнопка. Как заверяют разработчики, ярлычок и кнопка появляются на столе менее чем через секунду после того, как на него положен объект.

_{Когда вы кладёте на стол предмет, рядом с ним немедленно появляются виртуальный ярлычок и виртуальная кнопка, вызывающая меню.}

После нажатия на виртуальную кнопку на стол выводится круговое меню, в котором можно выбрать одно из нескольких действий: найти рецепты приготовления блюд из апельсинов, найти похожие фрукты или совместимые продукты, найти подробную информацию в интернете или внести апельсины в список будущих покупок, указав их точное количество.

В основе системы распознавания лежит трёхмерная модель стола, на котором нет ни одного объекта. Когда на него помещаются новые объекты, то OASIS сравнивает изначально пустую 3D-модель с новой, рассчитывая глубину объектов на основе измерений в инфракрасном свете. Более того, поскольку система имеет дело с 3D-моделью поверхности, она совершенно не обязательно должна быть плоской.

Испытания показали, что OASIS работает с поверхностями практически любой фактуры — от полированного гранита до меди. Проблемы могут возникнуть лишь с отображением текстовых ярлыков и меню: их будет сложно разобрать, к примеру, на дереве с выраженной волокнистой структурой.

_{Глава группы разработчиков OASIS Беверли Гаррисон и её интерактивная поверхность в действии.}

Благодаря использованию камеры, измеряющей расстояние до объектов, система способна отличить руку, проносящуюся над столом от пальца, касающегося поверхности и нажимающего на виртуальную кнопку. Для этого OASIS определяет расположение кончика пальца в трёхмерном пространстве и устанавливает, не находится ли он в определённой точке, перпендикулярной поверхности.

О коммерческом использовании системы OASIS речь пока не идёт — сначала надо устранить некоторые её недостатки. Пока непонятно, как минимизировать влияние на работу системы других источников инфракрасного света (например, пультов дистанционного управления), как быть с прозрачными объектами (бутылками с водой) или как сделать, чтобы система игнорировала украшения на пальцах и руках. Впрочем, Гаррисон убеждена, что со всеми этими проблемами удастся справиться уже в обозримом будущем.

Кроме того, OASIS станет ещё компактней: учёные планируют так усовершенствовать аппаратное и программное обеспечение, чтобы она могла работать на основе компьютеров с гигагерцевыми процессорами Atom.

В перспективе подобная система может быть встроена в кухонную мебель и даже в смартфон, оснащённый пикопроектором, что позволит при необходимости превращать в интерактивные панели любые поверхности. А области применения таких панелей, разумеется, вовсе не ограничиваются кухней.

К оглавлению