Особенности мобильной фотографии и почему в ней победят Нейронные сети

Доброго времени суток читатели DTF! В этой статье я хочу рассказать о мобильной фотографии, её особенностях и почему решает программная часть, а не железная. Усаживайтесь поудобнее, впереди много слов, ну а я пожалуй начну.

Чтобы разобраться в мобильной фотографии, надо знать её корни, а именно то, как делают фото на фотоопаратах. В фотографии есть три главных параметра-ISO, диафрагма и выдержка. А теперь про каждое про подробнее. ISO-светочувствительность матрицы к свету. Чем выше ISO, тем чувствительнее матрица к свету. Проблема в том что при повышении ISO появляются шумы. Сейчас фотоаппараты могут достигать невероятных значений ISO, а именно Canon 5D mark IV, вышедший в 2016 году может делать снимки на ISO 6 400 с сохранением приемлемого уровня шумов и без искажения цветопередачи. В это время Телефоны начинают шуметь при ISO 200‑300. Следующий параметр-диафрагма. Диафрагма-это отверстие в в объективе. Измеряется в дробях, поэтому при диафрагме f/1.4 будет намного больше попадать света при диафрагме f/16. Также есть и побочные свойства диафрагмы в виде глубины резкости. Чем меньше диафрагма, тем больше будет глубина резкости. Для этого эффекта желательно иметь хороший источник света. Но вернёмся к мобильной фотографии. Можете забыть про диафрагму, если у вас не Samsung galaxy S9 и выше, ведь вы просто не сможете её менять. На смартфонах диафрагма фиксированная. Обычно это f/2.4 а для второго модуля f/1.8 для портретного режима.

Ну и на последок выдержка. Выдержка-скорость затвора, из за которой можно делать хорошие ночные снимки или же "чёткие" фото. Работает так: чем меньше выдержка, тем меньше света успевает попасть на матрицу, но зато фото не будут смазанными. Выдержка измеряется в секундах, может быть как 1/1000 секунды, так и чудовищное значение в 32 секунды. Такое значение можно использовать только ночью со штативом. Но зато можно получить классный эффект светящийся огней.

Выдержка на смартфонах работает точно также, как и на фотоаппаратах. После всего вышеперечисленного кажется что мобильная фотография неполноценная, но это далеко не так, ведь на помощь приходит другое-алгоритмы.

Смартфоны сейчас проигрывают фотоопаратах по части оптики, это факт и так будет и дальше. Но есть одна вещь, которая может склонить баланс силы в сторону смартфонов и это их производительность. С помощью мощностей мобильных устройств можно буквально создать кнопку "сделай красиво". Это и сделали Google со своим софтом для Google pixel.
После нажатия на кнопку затвора происходит не одно фото, а 12. Первое фото нормальное, другие чуть-чуть пересвеченные, чуть-чуть недосвеченные, Перенасыщенные, чёрно-белые и т.д. В итоге получается фотография с более широким цветовым диапазоном или если проще HDR+. Разница между HDR и HDR+ большая.

Если первый делает три фото, одно из которых нормальное, второе пересвеченное, а третье недосвеченное, забираяя информацию для тёмных участков из недосвеченной части и для светлых с пересвеченное части, а HDR+ делает это+цвет и другой метод наложения фото друг на друга,так ещё и подавитель как обычных шумов, так и цветных. Звучит круто, да? Так вот это использует Google начиная с самого первого Pixel. Есть только одна проблема-вы не увидете фото сразу, некоторое время займёт обработка. В реальном времени такого добились только Apple с помощью отдельного блока внутри смартфона и тесной интеграцией с OS.

На Google pixel стоит специальное приложение для фото, которое и творит магию постобработки алгоритмов. Название ему Google Camera. Это некий эксклюзив от мира смартфонов, так как он есть только на Google pixel. Но после того как один из энтузиастов сделал версию для Samsung galaxy S7, пошла волна портов и на другие смартфоны. На 4pda можете найти сборку для своего телефона.

В последнее время производители смартфонов начали продвигать нейросети в качестве фишки смартфона. И для этого есть все основания. Нейросети уже сейчас могут увеличивать размер изображения, создавать промежуточные кадры в видео и отделять определённые предметы от фона. Всё это поднимет мобильную фотографию на новый уровень. Коррекция цвета кожи отдельно от все композиции и высокое разрешение фото уже не кажется фантастикой.

В заключение хочу сказать, что с развитием технологий искусственного интеллекта и оптики, можно будет добиться невероятного результата на сравнительно маленьких камер смартфона добиться невероятного результата.