Настоящая цифровая фотография: консерватизм Canon и Nikon лишает нас удивительных возможностей Олег Парамонов
Настоящая цифровая фотография: консерватизм Canon и Nikon лишает нас удивительных возможностей
Олег Парамонов
Опубликовано 29 июня 2013
На этой иллюстрации изображена современная цифровая зеркальная фотокамера (в данном случае Canon, но это лишь пример; марка не играет роли — они все примерно такие). Вы не находите, что это очень странное устройство? Если нет, напрасно.
Вдумайтесь, почему фотоаппараты выглядят именно так, а не иначе. То, что вы видите перед собой, — не дизайнерская прихоть. Облик фотоаппарата был напрямую связан с его функциональностью. С его внутренним устройством. Почти каждой детали можно найти простое и ясное объяснение.
Давайте разберёмся, что находится внутри плёночной камеры. Выросты по бокам от объектива скрывают кассеты. Между ними, прямо под объективом, натянута плёнка. Выпирающий сверху горб — это призма, доставляющая отражённое в зеркале изображение в видоискатель. Когда фотограф нажимает кнопку «Спуск», зеркало с лязгом приподнимается, срабатывает затвор, и свет, сфокусированный объективом, на долю секунды освещает плёнку. После этого фотографу остаётся привести в движение колесо над правой кассетой и сдвинуть плёнку на один кадр вправо.
Сейчас это описание представляет лишь историческую ценность. В цифровом фотоаппарате нет плёнки и кассет, отпала необходимость в колесе для перемотки, и для того, чтобы работал видоискатель, не нужно городить замысловатую конструкцию из подвижного зеркала и призмы.
Несмотря на всё это, внешние изменения минимальны. Заднюю панель цифрового фотоаппарата занял дисплей, но всё прочее осталось там, где было всегда: и выросты под кассеты, и горб с призмой, и даже колесо на прежнем месте, хотя и используется совсем для других целей. Разве это не странно?
Сама по себе застывшая наружность цифровых камер — это не проблема. Плохо то, что она отражает подход производителей к делу. Вместо того, чтобы использовать возможности новой технологии на всю катушку, они ограничиваются тем, что позволяют себе делать обычные фотоаппараты, и не хотят идти дальше.
Многие технологии поначалу подгоняют под предшественников. Первые автомобили напоминали кареты с мотором. Первым ПК приходилось конкурировать с электронными пишущими машинками — специализированными компьютерами со встроенным принтером, предназначенными для набора текста. Но эта стадия, как правило, быстро заканчивалась.
С цифровыми фотоаппаратами дело обстоит иначе. Они, похоже, застряли в этом тупике надолго.
Нелишние данные
Устройство традиционного фотоаппарата нельзя назвать сложным. Когда срабатывает затвор, объектив фокусирует свет на плёнке или пластинке, которая покрыта фоточувствительной эмульсией. На эмульсии формируется скрытое изображение, которое затем можно проявить с помощью химической обработки.
Цифровая фотография не внесла в эту последовательность заметных изменений. Место плёнки заняла светочувствительная матрица, а химическую обработку — считывание с неё информации, но этим всё и ограничилось. Суть осталась той же: зафиксированное в момент срабатывания затвора изображение считается финальным результатом, готовым снимком, ради которого всё и затевалось.
Пионер вычислительной фотографии Марк Ливой
Такой подход — это атавизм, бесполезный пережиток прошлого. Матрица может заменять фотоплёнку, но её возможности гораздо шире. В цифровой фотографии нет нужды ограничиваться записью единственного кадра. Гораздо более интересных результатов можно достичь, если перестать имитировать ограничения прошлого. Фотоаппарат должен собирать и обрабатывать как можно больше информации, которую дают матрица и другие датчики.
Собранные данные в этом случае не являются финальным результатом. Они становятся полуфабрикатом, который ещё предстоит собрать в пригодную для употребления картинку, пропустив через соответствующие алгоритмы. Дисциплина, занимающаяся поиском таких алгоритмов, называется вычислительной фотографией.
Необходимые умения
В начале июня вышла новая версия прошивки для электронных очков Google Glass. Согласно описанию, которое опубликовал Google, обновление заметно улучшило качество снимков, получаемых с помощью встроенной камеры.
Как может новый софт улучшить качество съёмки, если железо осталось прежним? Встроенная камера состоит из того же пятимегапиксельного сенсора и той же паршивой оптики, которые смотрелись бы уместнее не в футуристических электронных очках, а в недорогом смартфоне трёхлетней давности.
Тем не менее разница налицо, и какая! Судя по тестовым фотографиям, выросли и чувствительность, и динамический диапазон, и даже, кажется, чёткость. Впрочем, последнее — скорее всего, иллюзия, связанная с нехваткой деталей на пересвеченных кадрах, которые выдавала камера устройства в прошлом.
Кадр, снятый при помощи Google Glass со старой прошивкой
Кадр, снятый при помощи Google Glass с новой прошивкой
Новая прошивка Google Glass повышает качество снимков при помощи самого старого и самого известного алгоритма вычислительной фотографии — HDR (точнее, его слегка модифицированного варианта, неплохо работающего даже на движущихся объектах).
Вот как он действует: вместо единственного кадра камера по команде снимает целую последовательность. Первый кадр последовательности имеет минимальную выдержку, поэтому на нём лучше проработаны самые яркие детали, но всё остальное тонет в тени. Выдержка второго уже подольше, следующего ещё дольше — и так далее до самого последнего кадра, снятого с максимальной выдержкой. Он, наоборот, ужасно пересвечен, но зато позволяет разглядеть самые тёмные детали.
Когда последовательность готова, все кадры программно сливаются воедино. Изображение, которое получается в результате, имеет идеально проработанные детали и в светлых областях сцены, и в тенях. Информация о тенях извлекается из кадров с долгой экспозицией, а о свете — из кадров с короткой.
Фотографы часто используют HDR для того, чтобы достичь особого художественного эффекта: почти сверхъестественной освещённости и детализации сюжета, вызывающей ассоциации, скорее, с компьютерным рендером, чем с реальностью.
Мобильным устройствам HDR нужен для другого: алгоритм позволяет выжать максимум из не очень качественных матриц и плохонькой оптики. Разработчики Google Glass не открыли Америки: обработчик HDR с некоторых пор имеется в iPhone и множестве других смартфонов, а nVidia даже включила аппаратную поддержку этого алгоритма в чипсет Tegra 4.
До последнего пикселя
Извлечение информации по крупицам из последовательности снимков, сделанных с разными настройками — один из важнейших методов вычислительной фотографии. Кроме переменной выдержки, как в случае HDR, используется съёмка с переменной диафрагмой, переменной резкостью и даже переменной освещённостью.
Вот, например, алгоритм Flash — No Flash, который предложило исследовательское подразделение Microsoft. Как можно догадаться по названию, идея состоит в объединении двух снимков, первый из которых снят со вспышкой, а второй — без.
Кадр, снятый при свечах
Тот же кадр со вспышкой
Фотографии, сделанные со вспышкой, всегда хорошо освещены, но это очень специфическое освещение, которое никак не назовёшь естественным. Если же отключить вспышку, то возникает другая проблема: при съёмке с низкой освещённостью становится заметен цветовой шум матрицы, а вынужденно долгая выдержка не идёт на пользу чёткости.
По замыслу исследователей из Microsoft, камера должна очень быстро снять два кадра. Чёткий кадр, сделанный со вспышкой, будет источником информации о деталях сцены, а цвета и естественную освещённость сообщит второй кадр, полученный без вспышки.
Итог
Тот же метод подходит для подавления эффекта красных глаз, улучшения баланса белого и интерактивной настройки мощности вспышки.
Съёмку последовательности кадров можно использовать и в других целях. Например, это может быть простым способом повысить чёткость при съёмке с рук при низкой освещённости. Из-за долгой выдержки такие снимки часто оказываются смазанными. Если же камера делает не один снимок, а целую последовательность, то процессор может автоматически выбрать из них самый чёткий и сохранить только его.
Слева — серия из трёх смазанных фотографий едущего автомобиля. Справа — восстановленное чёткое изображение
Амит Агравал из исследовательского центра Mitsubishi Electric приспособил для борьбы со смазыванием движущихся объектов алгоритмы машинного зрения. Эффект превосходит ожидания.
Самый, пожалуй, радикальный метод вычислительной фотографии называется записью светового поля. В отличие от обычных цифровых снимков, фиксирующих лишь освещённость ячеек фоточувствительной матрицы, камера светового поля записывает ещё и направление каждого луча света, составляющего снимаемую сцену.
Плёноптические камеры Lytro стоят 400 долларов
Между матрицей и объективом камеры светового поля (её также называют плёноптической камерой) имеется дополнительная деталь: сетка с тысячами микролинз. Чтобы выяснить направление луча, достаточно определить его путь от линзы до сенсора. Из этого следует кое-что интересное: зная направление луча, можно вычислить, что с ним произойдёт, если фокальная плоскость изменит своё положение. Иными словами, эта информация позволяет точно моделировать изменение фокусировки объектива на уже готовом снимке.
Проще всего это проиллюстрировать кадром, который получен с помощью любительской плёноптической камеры Lytro. Чтобы сфокусироваться на размытой области кадра, достаточно кликнуть по ней. Глубина резкости изменится, и выбранная точка станет чёткой.
У Lytro и других плёноптических камер есть несколько менее очевидных достоинств. Поскольку фокусировка выполняется уже после съёмки, объектив может состоять из неподвижных деталей. Это не только упрощает его конструкцию, но ещё и позволяет начать съёмку практически мгновенно и не тратить время на автофокус. Кроме того, поскольку диафрагма Lytro зафиксирована в максимально открытом положении, камера не требует долгой выдержки даже при относительно плохой освещённости.
В этой бочке мёда непременно должна быть ложка дёгтя, и она, увы, есть: разрешение Lytro зависит от количества микролинз, а оно не так уж велико. Камера делает снимки с разрешением 525 на 525 пикселей, что по нынешним временам просто слёзы.
Революция снизу
Немногочисленные элементы вычислительной фотографии можно встретить в мобильных устройствах и дешёвых компактных камерах-мыльницах. Более серьёзные фотоаппараты — это крайне консервативные устройства, наотрез отказывающиеся признавать свою компьютерную сущность.
Дело осложняется неправдоподобным по меркам компьютерной индустрии градусом проприетарности, который производители фотокамер считают нормой. То, что в этой области нет открытых стандартов, — ещё полбеды. Хуже то, что электронную начинку камеры, как правило, не просто не документируют — её держат в строгом секрете.
Это, на самом деле, серьёзная проблема для специалистов по вычислительной фотографии. Чтобы найти камеру, подходящую для испытания новых идей, приходится потрудиться. Открытые программные интерфейсы обычных фотоаппаратов имеют слишком много ограничений. Они годятся для того, чтобы автоматизировать съёмку, но не позволяют перехватить «сырые» данные с матрицы или, скажем, перепрограммировать автофокус.
Один из пионеров вычислительной фотографии, Марк Ливой из Стэнфордского университета, использует для своих экспериментов самодельные «франкенкамеры», собранные из деталей, позаимствованных у других устройств. Кроме того, некоторые «франкенкамеры» были построены на основе Nokia N900 — смартфона Nokia, работавшего под управлением Linux.
Одна из франкенкамер
В статье для журнала IEEE Computer Graphics and Applications Марк Ливой рассуждает о причинах ситуации, сложившейся в этой отрасли. Откуда у производителей фотокамер такая любовь к секретности? Оказывается, всё просто: это защитная реакция на засилье патентов. Современный цифровой фотоаппарат невозможно сделать, не нарушив при этом патенты, которые принадлежат конкурентам. Ситуацию спасает лишь то, что до тех пор, пока нарушение не афишируется, никто не потащит за него в суд. Не принято.
Другая причина сводится к тому, что программное обеспечение — это не то, что производители камер умеют или хотят делать. За минувшие пятнадцать лет им пришлось освоить разработку софта, но не по доброй воле, а вынужденно. Механика и оптика этим компаниям по-прежнему ближе, чем алгоритмы и файлы.
Определённое негативное влияние можно приписать устаревшим традициям. Производители камер, такие, как Nikon и Canon, очень гордятся качеством своей продукции и предпочитают надёжность новизне. У такого подхода есть свои плюсы, но он определённо не способствует быстрому прогрессу.
Отрасли не помешала бы новая кровь, но её появление маловероятно. Кто станет продираться через чащу патентов, чтобы заняться бизнесом с настолько мизерной прибыльностью? Проще поверить в то, что переворот начнётся снизу — со встроенных камер мобильных устройств, качество которых с каждым годом становится всё выше.
К оглавлению