Что будет после 3D: пленоптическое видео Олег Нечай

Что будет после 3D: пленоптическое видео

Олег Нечай

Опубликовано 11 апреля 2013

Есть что-то поистине удивительное в том, какими путями идёт развитие научного знания. Самые смелые идеи, высказанные в позапрошлом столетии, становятся реальностью в наши дни. В 1865 году фантазия Жюля Верна породила совершенно сказочный сюжет о полёте человека на Луну, а в 1969 году такой полёт действительно состоялся. Первые опыты по созданию стереоскопического кинематографа проходили в конце 1890-х годов, 1950-е принято считать временем расцвета анаглифического 3D-кино, а сегодня никого не удивишь домашним телевизором, способным демонстрировать объёмную картинку.

Какое будущее нас ждёт после повсеместного внедрения трёхмерного кино и телевидения? Обычно на этот вопрос отвечают так: разрешение изображения будет постоянно расти, а для просмотра объёмного видео больше не понадобятся никакие очки. А, может быть, на самом деле всё будет намного интереснее? Например, некоторые учёные уверены, что будущее — за пленоптической технологией, хотя сегодня даже сам этот термин мало о чём говорит неспециалисту.

Между тем, история пленоптики уже насчитывает более ста лет, а современные технологии наконец-то дают возможность в полной мере реализовать множество замечательных идей, высказанных за столь долгий срок. Что же такое пленоптическая технология и чего полезного от неё стоит ждать?

Сам термин «пленоптический» составлен из латинского слова «plenus», то есть «полный» и древнегреческого «???????», «зрительный», и буквально означает «полный обзор». В оптике им описываются все световые волны, излучаемые во всех направлениях в рамках некоего заданного пространства. Для фиксации всех этих лучей света используются пленоптические камеры, иначе называемые камерами светового поля. В чём же их отличие от обычных?

В обычной фото- или видеокамере световые лучи проходят через объектив и фокусируются на плёнке или цифровой матрице. При этом в получаемом изображении не содержится никакой информации о том, под какими углами лучи проходили через линзы и на каком расстоянии от камеры находится снимаемый объект. Иными словами, перед нами — плоская проекция реальности, по которой невозможно восстановить действительные соотношения между объектами в пространстве.

Пленоптическая камера в максимально упрощённом виде представляет собой двумерный массив щелей-отверстий, линз или призм, то есть, своеобразную решётку, через которую лучи света попадают на плёнку или матрицу. В результате появляется возможность рассчитать координаты снимаемых объектов в пространстве, что даёт множество любопытных и не всегда очевидных возможностей.

Считается, что исторически первые опыты с пленоптическими камерами и «интегральной фотографией» в конце XIX века проводил французский физик Габриэль Липпман, получивший в 1908 году Нобелевскую премию за методику получения цветной фотографии на основе явления интерференции. Именно он предложил использовать для захвата всего объёма лучей массив линз.

С пленоптическими камерами активно экспериментировал и американский изобретатель Фредерик Айвс, создатель оригинальной технологии цветного фото Kromskop. В 1903 году он запатентовал первую в мире автостереоскопическую систему «параллаксной стереограммы», в которой массив щелей — «параллаксный барьер» — формировал объёмное изображение на плоском экране. Такие экраны, не требующие для просмотра очков, сегодня применяются, например, в игровой приставке Nintendo 3DS. Сын изобретателя физик Герберт Айвс усовершенствовал эту технологию и сделал её намного дешевле в использовании по сравнению с первоначальным вариантом — в результате она в своё время широко использовалась на рекламных щитах, открытках и карманных календариках.

Существенный вклад в создание теории пленоптических камер внесли и российкие учёные. В частности, в 1911 году в «Журнале Общества любителей естествознания» появилась статья «Автостереоскопия и интегральная фотография по пр.Липману» за подписью П.П. Соколова. В этой работе впервые появилось точное математическое описание того, что мы сегодня называем «пленоптическим пинхолом». Соколов отмечает, что «с практической точки зрения (…) никакой снимок, полученный обыкновенным способом с одним объективом, не может дать такое ясное понятие о форме и размерах снятого предмета, как снимок стереоскопический. Кроме того, все мелкие подробности, ускользающие от внимания в обыкновенном снимке, выступают рельефно и не могут быть незамеченными при стереоскопическом способе» (Цитата по публикации Екатерины Аврамовой).

Чтобы проиллюстрировать своё исследование, Соколов изготовил фибровую пленоптическую решётку с 1200 коническими отверстиями и экспонировал через неё изображение на фотографическую пластинку. После проявки пластинка подсвечивалась, лучи вновь проходили через решётку и на выходе формировалась объёмная картинка: «Приближаясь из бесконечной дали к нашему сильно освещённому сзади негативу (…), мы будем находиться в пространстве лучей, исходящих из негатива и пересекающихся в тех точках этого пространства, где по отношению к негативу наодились ранее светящиеся точки. Следовательно, находясь перед этими точками пересечения лучей, мы увидим их перед собой в пространстве».

В семидесятые годы множество исследований в области автостереоскопии, световых полей и «интегральной фотографии» проводил советский учёный Ю.А. Дудников.

Одним из ведущих современных исследователей пленоптики считается главный инженер Qualcomm, участник разработки Adobe Photoshop, Тодор Георгиев, на сайте которого интересующиеся могут найти массу ссылок, касающихся этой технологии.

Многолетняя отработка теории уже подготовила почву для массового коммерческого использования пленоптической фотографии и видео, но сначала поговорим о том, какие практические преимущества даст их использование.

Фотоснимок, полученный при помощи пленоптической камеры, содержит в себе сведения о координатах объектов в трёхмерном пространстве, а это означает, что он позволяет построить объёмную 3D-модель таких объектов. Вероятно, этих данных будет мало для «распечатки» модели на 3D-принтере, но вполне достаточно, например, для создания 3D-портрета. Очевидно, что такая технология очень пригодится в охранных системах, поскольку на основе данных с камер слежения появится возможность получить намного больше сведений о наблюдаемых людях, включая их точные антропометрические показатели.

Вторая важная функция пленоптики — возможность изменять фокусировку уже на отснятом материале и даже менять углы обзора за счёт всё той же информации о координатах объектов в пространстве. Для получения качественной картинки в реальном времени требуется матрица высокого разрешения и мощная вычислительная система, но для современных технологий это уже не проблема. Что же касается обработки на компьютере, то мы сможем с такой же лёгкостью наводить на резкость в «Фотошопе», как мы сейчас корректируем баланс белого.

И, конечно, самым эффектным будет применение пленоптических камер при съёмке кинофильмов. При этом любой зритель — при наличии соответствующего декодера — сможет посмотреть свою уникальную версию такого кино, изменяя ракурсы просмотра, наводя камеру на интересующие объекты и произвольно меняя резкость. При необходимости из пленоптической записи без проблем можно выделить стереоскопическую — с некоторым ограничением возможностей фокусировки и изменения ракурсов.

Один из первых примеров коммерческого использования пленоптических технологий — компактный фотоаппарат Lytro Light Field Camera, представленный в 2012 году американской компанией Lytro. В этом устройстве реализована схема так называемой сфокусированной пленоптической камеры, в которой после объектива устанавливается массив микролинз, через которые изображение попадает на матрицу. Специалисты считают, что камеры подобного типа идеально подходят для смартфонов и других портативных гаджетов, поскольку им в принципе не требуется система фокусировки.

http://www.youtube.com/watch?v=7babcK2GH3I?hl=en_US

Всего за $400 вы получаете компактный фотоаппарат, способный делать «живые» снимки в формате LPF с разрешением 11 «мегалучей», а фактически — около 1 мегапикселя. Примеры таких фотографий выложены на сайте производителя: одним движением мышки на них можно изменять фокусировку, наводясь на тот или иной объект. Выглядит чрезвычайно эффектно, но разрешение снимков, мягко говоря, пока маловато. Камера оснащается 8 или 16 Гбайтами памяти и комплектуется специальным программным обеспечиванием для просмотра и обработки снимков.

Немецкая компания Raytrix выпускает и продаёт пленоптические камеры, построенные по той же схеме, что и Lytro, только гораздо более высокого класса. Камеры светового поля этой фирмы предназначены для профессионального использования, в частности, для оптического контроля качества, научных и медицинских исследований, макросъёмки, спортивной фотографии и охранных систем, в том числе с функцией распознавания лиц.

Флагманская модель Raytrix-R29 3D lightfield-camera работает с разрешением 29 «мегалучей», что эквивалентно примерно 7,25 мегапикселям в 2D, комплектуется модифицированной 29-мегапиксельной ПЗС-матрицей и специальным программным обеспечением для просмотра и обработки снимков и видео. Максимальная частота съёмки видео — скромные 5 кадров в секунду, но у Raytrix есть и намного более скоростные модели: Raytrix-R5 снимает с частотой от 25 до 180 fps, но с разрешением всего 4,2 «мегалуча» или до 1 мегапикселя. Получаемая картинка может обрабатываться в реальном времени на компьютерах с графическими ускорителями NVIDIA с поддержкой технологии параллельных вычислений CUDA.

Стоит продукция Raytrix по несколько десятков тысяч долларов и пока недоступна широкому потребителю, но, возможно, вскоре появятся и намного более дешёвые решения. К примеру, в конце 2012 года компания Toshiba объявила о разработке модуля пленоптической камеры в виде куба с длиной стороны 1 см, что сделает возможным его применение в портативной технике, в частности, в смартфонах. В модуле используется массив из полумиллиона микролинз, а запуск серийного производства ожидается не раньше конца текущего года.

Пока ещё пленоптика делает первые шаги на рынке, но уже вполне очевидно, что сегодня есть все технологические возможности, чтобы вывести эту идею на принципиально новый уровень. В отличие от стереоскопии, пленоптические системы способны фиксировать действительно объёмное изображение, что в будущем вполне способно привести к возможности воссоздавать голографические картинки в пространстве, какие так любят демонстрировать в научно-фантастических фильмах. В любом случае, это куда более как интересная перспектива, чем простое наращивание разрешения экранов и косметическая модернизация уже порядком поднадоевшего 3D.

К оглавлению