Mulpozy
24

Особенности мобильной фотографии и почему в ней победят Нейронные сети

Доброго времени суток читатели DTF! В этой статье я хочу рассказать о мобильной фотографии, её особенностях и почему решает программная часть, а не железная. Усаживайтесь поудобнее, впереди много слов, ну а я пожалуй начну.

В закладки

Три кита фотографии: ISO, выдержка и диафрагма

Чтобы разобраться в мобильной фотографии, надо знать её корни, а именно то, как делают фото на фотоопаратах. В фотографии есть три главных параметра-ISO, диафрагма и выдержка. А теперь про каждое про подробнее. ISO-светочувствительность матрицы к свету. Чем выше ISO, тем чувствительнее матрица к свету. Проблема в том что при повышении ISO появляются шумы. Сейчас фотоаппараты могут достигать невероятных значений ISO, а именно Canon 5D mark IV, вышедший в 2016 году может делать снимки на ISO 6 400 с сохранением приемлемого уровня шумов и без искажения цветопередачи. В это время Телефоны начинают шуметь при ISO 200‑300. Следующий параметр-диафрагма. Диафрагма-это отверстие в в объективе. Измеряется в дробях, поэтому при диафрагме f/1.4 будет намного больше попадать света при диафрагме f/16. Также есть и побочные свойства диафрагмы в виде глубины резкости. Чем меньше диафрагма, тем больше будет глубина резкости. Для этого эффекта желательно иметь хороший источник света. Но вернёмся к мобильной фотографии. Можете забыть про диафрагму, если у вас не Samsung galaxy S9 и выше, ведь вы просто не сможете её менять. На смартфонах диафрагма фиксированная. Обычно это f/2.4 а для второго модуля f/1.8 для портретного режима.

Ну и на последок выдержка. Выдержка-скорость затвора, из за которой можно делать хорошие ночные снимки или же "чёткие" фото. Работает так: чем меньше выдержка, тем меньше света успевает попасть на матрицу, но зато фото не будут смазанными. Выдержка измеряется в секундах, может быть как 1/1000 секунды, так и чудовищное значение в 32 секунды. Такое значение можно использовать только ночью со штативом. Но зато можно получить классный эффект светящийся огней.

Пример огромной выдержки в 32 секунды. Свет от фар машин сливается в одно целое.

Выдержка на смартфонах работает точно также, как и на фотоаппаратах. После всего вышеперечисленного кажется что мобильная фотография неполноценная, но это далеко не так, ведь на помощь приходит другое-алгоритмы.

Алгоритмы наше всё

Смартфоны сейчас проигрывают фотоопаратах по части оптики, это факт и так будет и дальше. Но есть одна вещь, которая может склонить баланс силы в сторону смартфонов и это их производительность. С помощью мощностей мобильных устройств можно буквально создать кнопку "сделай красиво". Это и сделали Google со своим софтом для Google pixel.
После нажатия на кнопку затвора происходит не одно фото, а 12. Первое фото нормальное, другие чуть-чуть пересвеченные, чуть-чуть недосвеченные, Перенасыщенные, чёрно-белые и т.д. В итоге получается фотография с более широким цветовым диапазоном или если проще HDR+. Разница между HDR и HDR+ большая.

Обычный HDR слева и HDR+ справа

Если первый делает три фото, одно из которых нормальное, второе пересвеченное, а третье недосвеченное, забираяя информацию для тёмных участков из недосвеченной части и для светлых с пересвеченное части, а HDR+ делает это+цвет и другой метод наложения фото друг на друга,так ещё и подавитель как обычных шумов, так и цветных. Звучит круто, да? Так вот это использует Google начиная с самого первого Pixel. Есть только одна проблема-вы не увидете фото сразу, некоторое время займёт обработка. В реальном времени такого добились только Apple с помощью отдельного блока внутри смартфона и тесной интеграцией с OS.

Google camera

На Google pixel стоит специальное приложение для фото, которое и творит магию постобработки алгоритмов. Название ему Google Camera. Это некий эксклюзив от мира смартфонов, так как он есть только на Google pixel. Но после того как один из энтузиастов сделал версию для Samsung galaxy S7, пошла волна портов и на другие смартфоны. На 4pda можете найти сборку для своего телефона.

А причём здесь нейросети?

В последнее время производители смартфонов начали продвигать нейросети в качестве фишки смартфона. И для этого есть все основания. Нейросети уже сейчас могут увеличивать размер изображения, создавать промежуточные кадры в видео и отделять определённые предметы от фона. Всё это поднимет мобильную фотографию на новый уровень. Коррекция цвета кожи отдельно от все композиции и высокое разрешение фото уже не кажется фантастикой.

Заключение

В заключение хочу сказать, что с развитием технологий искусственного интеллекта и оптики, можно будет добиться невероятного результата на сравнительно маленьких камер смартфона добиться невероятного результата.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Mulpozy", "author_type": "self", "tags": [], "comments": 4, "likes": 2, "favorites": 1, "is_advertisement": false, "subsite_label": "unknown", "id": 99094, "is_wide": true, "is_ugc": true, "date": "Sat, 01 Feb 2020 11:42:34 +0300", "is_special": false }
0
{ "id": 99094, "author_id": 165273, "diff_limit": 1000, "urls": {"diff":"\/comments\/99094\/get","add":"\/comments\/99094\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/99094"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 165273, "last_count_and_date": null }
4 комментария
Популярные
По порядку
1

Можно было бы и в Фото или Мобайл опубликовать.
Там аудитория побольше будет

Ответить
1

Цель была попасть в февральскую подборку от шерифа. Буду ждать результата.

Ответить
1

Интересная тема, правда для себя узнал мало нового. Только про то что в iPhone есть отдельный чип для обработки HDR в реальном времени

Ответить
0

Да, благодаря чему фото которое ты видишь во вьюпорте будет выглядет точно также после нажатия затвора. Это очень классно, но ещё лучше у них с записью видео.

Ответить

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovz", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "chvjx", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } }, { "id": 20, "label": "Кнопка в сайдбаре", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "chfbl", "p2": "gnwc" } } } ]
{ "jsPath": "/static/build/dtf.ru/specials/DeliveryCheats/js/all.min.js?v=05.02.2020", "cssPath": "/static/build/dtf.ru/specials/DeliveryCheats/styles/all.min.css?v=05.02.2020", "fontsPath": "https://fonts.googleapis.com/css?family=Roboto+Mono:400,700,700i&subset=cyrillic" }