Технология Google способна повышать разрешение изображений до 16 раз без потери качества Статьи редакции
В её основе лежат диффузионные модели.
В блоге Google AI, посвящённом исследованиям и разработкам в области искусственного интеллекта, обнаружили демонстрацию технологии масштабирования изображений на базе диффузионных моделей.
Специалисты внутренней команды Brain Team представили два связанных алгоритма, которые генерируют фотографии высокой чёткости без потери качества.
Первый из них называется SR3 (апскейлинг посредством повторного уточнения). На вход подаётся картинка с низким разрешением, и нейросеть пытается увеличить её, добавляя шум.
Модель обучается методам искажения изображения, а затем поворачивает весь процесс вспять, постепенно удаляя шум для достижения заявленного результата.
Инженеры обнаружили, что SR3 превосходит существующие генеративные алгоритмы, такие как PULSE и FSRGAN, особенно при работе с портретами и фотографиями природы.
В компании не остановились на достигнутом и разработали ещё одну диффузионную модель под названием CDM. На этот раз нейросеть обучили миллионам изображений высокого разрешения из базы ImageNet.
Алгоритм использует каскадный подход и увеличивает фотографии в два этапа: с разрешения 32×32 -> 64×64 -> 256×256 (в 8 раз), либо с 64×64 -> 256×256 -> 1024×1024 (в 16 раз).
Google опубликовала примеры работы алгоритмов. На некоторых изображениях заметны графические артефакты, но в целом результат действительно удивляет. О коммерческом распространении технологии данных пока нет.
хочу сказать этому ёбаному Обэме, нахуй.
ёбобоный ты козел нахуй, черножопый блять, был бы ты человек, нахуй
твою дочку ебут, нахуй, где-нибудь, нахуй, блять
она наверное учится хуй знает где, нахуй блять
а дети гибнут на Украине, нахуй
почему так, нахуй?
почему дети… они должны дети, вечные дети, нахуй
это наше будущее, нахуй
и хули ты пиздишь, шчука?
залупаешься, блядь!
ты живешь где-то на континенте хуй знает где, блять
хули ты сюда лезешь к русским, нахуй?
запомни, у меня есть, блять, хороший, блять, человек
я ему, сука блять, отдам деньги, чтобы он тебе, сука, в мозгу въебал ПУЛЮ НАХУЙ
и чтобы ты загнулся нахуй
и никогда сюда не лез.
понял? быдло ты ебаное, блять
Неужели если сидишь на ДТФ нужно обязательно быть специалистом по говну? Ну или в вашей терминалогии "классике".
Я спросил, а не утверждал. Кто такие ваши? И почему у них другая терминология? Про дтф, сиди где хочешь и будь спецом каким захочешь. ;) чао детка!
Кто такие ваши?
Русский для вас неродной? Ок, "вашей" в данном случае обозначает именно вас, в единственном числе.
Я спросил, а не утверждал.
Тогда вы пропустили знак вопроса. Впрочем, см. выше.
чао детка!
Что и следовало ожидать.
Я в своем познании настолько преисполнился, что я как будто бы уже
сто триллионов миллиардов лет проживаю на триллионах и
триллионах таких же планет, как эта Земля, мне этот мир абсолютно
понятен, и я здесь ищу только одного - покоя, умиротворения и вот этой гармонии, от слияния с бесконечно вечным, от созерцания великого фрактального подобия и от вот этого замечательного всеединства существа, бесконечно вечного, куда ни посмотри, хоть вглубь - бесконечно малое, хоть ввысь - бесконечное большое, понимаешь? А ты мне опять со своим вот этим, иди суетись дальше, это твоё распределение, это твой путь и твой горизонт познания и ощущения твоей природы, он несоизмеримо мелок по сравнению с моим, понимаешь? Я как будто бы уже давно глубокий старец, бессмертный, ну или там уже почти бессмертный, который на этой планете от её самого зарождения, ещё когда только Солнце только-только сформировалось как звезда, и вот это газопылевое облако,
вот, после взрыва, Солнца, когда оно вспыхнуло, как звезда, начало формировать вот эти коацерваты, планеты, понимаешь, я на этой Земле уже
как будто почти пять миллиардов лет живу и знаю её вдоль и поперёк этот весь мир, а ты мне какие-то... мне не важно на твои тачки, на твои яхты, на твои квартиры, там, на твоё благо. Я был на этой планете бесконечным множеством, и круче Цезаря, и круче Гитлера, и круче всех великих, понимаешь, был, а где-то был конченым говном, ещё хуже, чем здесь. Я множество этих состояний чувствую. Где-то я был больше подобен растению, где-то я больше был подобен птице, там, червю, где-то был просто сгусток камня, это всё есть душа, понимаешь? Она имеет грани подобия совершенно многообразные, бесконечное множество. Но тебе этого не понять, поэтому ты езжай себе , мы в этом мире как бы живём разными ощущениями и разными стремлениями, соответственно, разное наше и место, разное и наше распределение.
Тебе я желаю все самые крутые тачки чтоб были у тебя, и все самые лучше самки, если мало идей, обращайся ко мне, я тебе на каждую твою идею предложу сотню триллионов, как всё делать. Ну а я всё, я иду как глубокий старец,узревший вечное, прикоснувшийся к Божественному, сам стал богоподобен и устремлен в это бесконечное, и который в умиротворении, покое, гармонии, благодати, в этом сокровенном блаженстве пребывает, вовлеченный во всё и во вся, понимаешь, вот и всё, в этом наша разница. Так что я иду любоваться мирозданием, а ты идёшь преисполняться в ГРАНЯХ каких-то, вот и вся разница, понимаешь, ты не зришь это вечное бесконечное, оно тебе не нужно. Ну зато ты, так сказать, более активен, как вот этот дятел долбящий, или муравей, который очень активен в своей стезе, поэтому давай, наши пути здесь, конечно, имеют грани подобия, потому что всё едино, но я-то тебя прекрасно понимаю, а вот ты меня - вряд ли, потому что я как бы тебя в себе содержу, всю твою природу, она составляет одну маленькую там песчиночку, от того что есть во мне, вот и всё, поэтому давай, ступай, езжай, а я пошел наслаждаться прекрасным осенним закатом на берегу теплой южной реки.
Всё, ступай, и я пойду.
Ну и нахуй тут эта "классика" ?
Под каждой рандомной картинкой обамы эту пасту нужно постить?
Ну если откровенно, то на примере у источника сильно низкое разрешение, нужно попробовать как на примерах выше, хотя бы 64х64
Другими словами эта штука мало чем отличается от Nvidia GAN или генератора аниме-девочек.
Выглядит как фотошляпа
1) Куда рубашка делась?
2) Где тень с правой стороны подбородка?
Как раз хотел написать, что без демонстрации оригиналов (фото, которые были уменьшены и затем восстановлены нейросеткой) это всё не имеет смысла.
Как ни странно, это была активная тема пару лет назад. Из-за того, что датасеты были с явным перекосом (не всех представили в равной степени в данных) модели технически были расистами. Это как чатбота на твиттере учить, ох вейт...
Проблема заключается в том, что каждый такой алгоритм нужно обучать с нуля. У них нет доступа к общей наследственности и заложенным в ней данным.
Это не повод остановиться, это повод перестать форсить.
Это повод понять, что нейронка не может знать больше, чем получает на вход. Все подобные нейронки могут использоваться лишь для красоты, как например DLSS.
Все она может, если наследственность прикрутить и дать нейронке обучаться не только за счёт одного набора данных.
Нет, она может не больше чем угадывать на основе предыдущего опыта, ровно как и человек. А "прикрутить наследственность" это добавление входных данных. С таким же успехом можно еще словесное описание добавить, тогда можно будет даже количество ресниц восстановить.
Смотри.
Ты понимаешь, что тут Обама. А нейронка - нет.
Хотя в твоей голове тоже нейронка, просто лучше.
Следовательно - нейронка, в теории, может.
Это потому, что я хорошо знаю как выглядит Обама, но если бы я видел его только раз в жизни, то тоже не понял что это он. А если найти двоюродного брата Обамы, и сделать с ним то же самое, то и у человека вряд ли выйдет лучше чем у нейронки тут.
К стати, если взять картинку справа, и уменьшить разрешение до 64*64, то выйдет такая же картинка как слева. Суть в том, что изображение слева может оказаться даже красиво разложенной кучей навоза, и никто из нас этого угадать не сможет. Вариантов бесконечность, а нейронка лишь рисует один из них, ровно так же как твое воображение.
Я понимаю, как это работает.
Просто говорю, что твоя нейронка оперирует дополнительной информацией, а эта нейронка - нет. Но в теории однажды научатся
Это будет уже совершенно другая нейронка. Эта нейронка рисует лицо, а моя - вспоминает на кого из известных мне людей похожа эта картинка. Но это уже не улучшение качества, это распознавание лица, и это именно то, чего пытаются избежать при создании нейронок как в посте.
Вот я и говорю, что такие нейронки не могут нарисовать больше, чем им дают. Есть у нейронки информация о том, кто такой Обама - она нарисует Обаму, но это уже дополнительные данные.
А суть нейронки в посте - увеличить ЛЮБОЕ лицо, даже несуществующее.
Она не угадывает как человек, она вычисляет по очень маленькой выборке с очень маленьким количеством дополнительных данных, которые у человека складывают картинку куда быстрее и надёжнее с кучей предохранителей. По сути, одна нейронная сеть, допустим различающая собак, это как один нейрон в человеческом мозгу. Она может только сказать собака/не собака. Она не задаст вопрос "если не собака, то что?" Или "а это точно не собака?". Она не может исходить из отрицательного ответа и обращаться к другим сетям, которые понимают что это кошка, но так же не понимают что из себя представляет собака.
Банк данных в виде интернета не способствует обучению, как лобная доля человека. И отсутствует наследственность, т.е. соединив нейронку которая различает собак с кошачьей, мы не получим на выходе работающую кошачье-собачью сеть.
Т.е. чтобы нейронные сети вышли за пределы наведения марафета, они должны идти в наследственность и иметь свою лобную долю для хранения информации в таком виде, чтобы её можно было доставать уже интрепретированной.
Отдельные алгоритмы всегда будут страдать от проблем обучения и мы придем к тому, что имеем сейчас в человеческом образовании - довольно высокая зависимость от того кто обучает с передачей его видения нейронной сети.
Она не угадывает как человек, она вычисляет по очень маленькой выборке с очень маленьким количеством дополнительных данных, которые у человека складывают картинку куда быстрее и надёжнее с кучей предохранителей.
И при этом сеть справляется со своей задачей лучше человека. Ведь человек, увидев картинку из первого коммента, однозначно увидит там Обаму, и никогда то, что нарисовала нейронка. Но при этом нейронка не ошиблась, она выдала один из равновероятных вариантов, в то время как человек просто паказалось, что это одно из пары тысяч знакомых ему лиц, хотя на деле это может быть совершенно другой человек (например такой, которого и выдала нейронка).
Если добавить нейросети фоновое знание, то это уже будет распознавание лиц, а это не то что нужно. Нужно, собственно, полностью противоположное — алгоритм, который не "знает" ни одного лица, и будет максимально "непредвзят".
Ведь человек, увидев картинку из первого коммента, однозначно увидит там Обаму
Потому что на первой картинке с высокой вероятностью именно он. И если бы нейросеть обучили в том числе на этой фотографии, восстановила бы она (с высокой вероятностью) именно её.
Нужно, собственно, полностью противоположное — алгоритм, который не "знает" ни одного лица, и будет максимально "непредвзят".
Этот алгоритм всегда предвзят, он будет корректировать изображение чтобы получить максимально ожидаемый им результат.
Но даже не в этом дело: зачем нужен алгоритм, который дофантазирывает часть изображения, кроме как для развлечения? Данных чтобы достоверно восстановить лицо нет и что человек, что нейросеть дорисуют только свои фантазии.
И если бы нейросеть обучили в том числе на этой фотографии, восстановила бы она (с высокой вероятностью) именно её.
Не, несколько фотографий Обамы не сильно бы изменили вероятность - скорее всего, они даже были в пуле обучения
Маловероятно, сомневаюсь что разработчики получили его разрешение, а без разрешения это незаконно вроде.
И если бы нейросеть обучили в том числе на этой фотографии, восстановила бы она (с высокой вероятностью) именно её.
Нет, ведь эта нейросеть научена не угадывать лица. Вот если бы ее обучали на лицах знаменитостей, то тогда возможно, но одно лицо Обамы против сотен других похожих (в низком разрешении лиц) не сделает практически ничего.
зачем нужен алгоритм, который дофантазирывает часть изображения, кроме как для развлечения?
Для апскейла, очевидно. А он уже применяется много где.
Данных чтобы достоверно восстановить лицо нет и что человек, что нейросеть дорисуют только свои фантазии.
Да, и это гораздо лучше, чем пытаться угадать личность человека и нарисовать его лицо. Ведь в случае "фантазии" не важно что выйдет, "она так видит", а вот если вместо одного человека поставить другого, то это уже хуже, и даже может нарушить чьи-то права (да даже если и угадает, фотография человека это персональная информация).
Сеть справляется быстрей, но не лучше. Именно поэтому мы используем их с такими костылями и правим вручную то что должно обучаться само.
Сеть так же берет качеством. То же самое может сделать и человек темы базу лиц и навыки улучшения картинки. Но один кусочек сети сделает это конечно быстрей.
Нейронки интерпретируют очень плохо из-за ограниченности данных и обучаются по отдельности. Нам же важна точность в данном случае? А значит нужна и база данных обширней и гибче. Мы же не миримся с тем что к примеру тостер, когда засовываем в него белый хлеб выдает после прожарки куриную грудину с плесенью. Так и здесь, толку от такой интерпретации сети со столь явными ошибками? Где ей найти применение и можно ли её считать сколько нибудь в меняемой? Определенно нет. Значит либо прикручиваем фоновые знания, вводим наследственность и уменьшаем ошибки до погрешности. Либо брутфорсим и заливаем тупо фотографии всех людей на планете.
Сети это отличная штука, если они не развиваются по отдельности, а формируют качественный конгломерат, который делает то же самое что и наш мозг, но быстрей, качественней и с более детальными предохранителями.
На уровне сухого алгоритма это да, работает пока хорошо, но специализация очень узкой становится. Точность интерпретаций и тем более понимание абстракций остаются в жопе, что не даёт вменяемого развития и лишь увеличивает количество места занимаемого каждой отдельной сетью на носителях и в целом в количестве ссылок.
Нужно, собственно, полностью противоположное — алгоритм, который не "знает" ни одного лица, и будет максимально "непредвзят".
А цель такого алгоритма? Он не применим в обыденности и в специализации. Ты либо делаешь то что от тебя требуется, либо отправляешься на доработку или свалку. Как эксперимент для обучения того что из себя представляет сеть тоже сойдёт.
А цель такого алгоритма? Он не применим в обыденности и в специализации. Ты либо делаешь то что от тебя требуется, либо отправляешься на доработку или свалку. Как эксперимент для обучения того что из себя представляет сеть тоже сойдёт.
Цель в том, чтоб не делать очередной алгоритм распознавания лиц. Сабж нужен не для узнавания людей, он нужен для увеличения разрешения изображений, будь то фотография реального человека или портрет вымышленного персонажа. Другими словами, цель в том, чтоб можно было дорисовать любое уникальное лицо, а не одно из набора известных (будь их хоть восемь миллиардов). Плюс немаловажным фактором является избегание использования персональных данных (к коим принадлежат биометрические данные), вот статья про это:
Вот вы смеетесь, а на форуме небезызвестного Topaz Gigapixel был человек, который представлялся forensics expert, и он всерьёз планировал применять этот софт для криминальной экспертизы. Учитывая, что нейросеть не создает информацию из ниоткуда, а просто "фантазирует" о том, каким могло бы быть большое изображение, могут возникнуть весьма интересные ситуации. Представляете, найдут лоурез фотку с места преступления, а нейросеть при увеличении случайно подставит туда лицо, похожее на ваше, потому что в обучающем датасете был кто-то похожий на вас, или даже прямо ваше фото. Вот так вот "заэнхенсят" - и всё, вы - преступник.
Если только не хватит ума высказать своё недоверие и непринятие подобного рода уликам. Думаю что и в законах можно покопаться и быстро найти что-то такое что оспорит использование в качестве доказательной базы подобные лже-энхенсменты.
Технология Ochoba способна понижать качество изображений до 16 раз без потери разрешения.
Мне бы вот на этом фото повысить разрешение, хотелось бы распечатать А2 и повесить в туалете
Вот только в ремастере они не просто разрешение подтянули, а все модельки отрисовали заново обновив дизайн
Там что-то обмазали, но большую часть графики через хреновый алгоритм прогнали просто
Видел, помнится, видос о создании, там вроде показывали процесс создания, там не алгоритм, там человек косячил жестко
Я помню это видео. В видео не показывали перерисовку всех тысяч ассетов. Художник обмазывал плохо, но на куче объектов видно, что просто скейлили.
HotA хороша только для мультиплеера, где замутили впечатляющий генератор случайных карт и лобби. Но все эти объекты, перенесённые из вторых героев в третьи, выглядят как жуткое васянство.
Получается мы почти дожили до реализации всяких сцен из 24, где аналитики зумят и картинка остается четкой.
Нет, это никогда не будет возможным, потому что, из 4 пикселей, состоящих и 256*3*4 единиц данных невозможно определить муху сидящую на слоне. Нейронка максимум может эту муху нарисовать сама, как и слона, но там может оказаться не муха, а комар. Думаю понятно объяснил смысл и где-то тут в комментах кидали примерно то, что я имею ввиду в виде изображения.
Пока что кроме как в порнухе и восстановлении старых фильмов до нормального качества, другого практического применения этой технологии не могу представить.
Толку от них, если не будет точности. Ты хочешь восстановить или улучшить качество фотографии с лицом человека. Качество улучшилось, но что толку, если в итоге улучшения получилось другое лицо?
Вряд ли у тебя будут фотки 32х32 для апскейла. А больше разрешение увеличить уже не такая проблема. Проблема будет скорее если пиксели не кратные и один пиксель картинки это не 1х1, 2х2, а, скажем 2*3 пикселя экрана. Или того хуже, соседние пиксели имеют разный размер. Вот тогда скорее всего сеть и поплывет, смазав все границы
Нейронка из этой статьи по другому работает, чем то что ты описал. Она не дорисовывает опираясь на знания подобных изображений, а пытается отревертить размытие/даунскейл, опираясь на знания алгоритмов даунскейла и размытия (об этом в статье прямо написано). Сложность апскейла 4х4 пикселя будет сродни сложности восстановления входных значений для хешфункции. Но в целом такая нейронка ничего нового добавлять на финальные изображения не должна (отсюда и приписка "без потери качества").
Она не дорисовывает опираясь на знания подобных изображений, а пытается отревертить размытие/даунскейл, опираясь на знания алгоритмов даунскейла и размытия
Нет. Совсем наоборот.
хешфункции
При чём тут "хэшфункция"?
Но в целом такая нейронка ничего нового добавлять на финальные изображения не должна
Если у вас 4 чёрнобелых пикселя при сжатии превращаются в один, то 256^4 вариантов превращаются просто в 256. Соотвественно на каждое из этих 256 значений приходится 16777216 вариантов исходных пикселей. Достоверно определить какой из них нужный - невозможно. Поэтому нейросеть всегда фантазирует что там было.
Ну нет, информация в пикселизированном изображении потеряна необратимо, отсутствующие детали выбираются и дорисовываются из наиболее подходящих "воспоминаний" нейросети. Новые проблемы для юристов: можно ли принимать фото как доказательство, если, например, номер автомобиля мог быть попросту нарисован алгоритмом superresolution в камере? Чем-то напоминает историю со слишком агрессивным сжатием изображений JBIG в копирах Xerox, когда в сканах документов подменялись случайные цифры.
Если я правильно понимаю, то в качестве улики может использоваться только исходник, в том виде в котором он извлекается из камеры. То есть даже обрезка родика с видеорегистратора формально атата.
А (пока что) массовые камеры не апскейлят картинку до такой степени.
Пока что.
Уверен, что это было доступно давно спецслужбам. Это как с мобильными телефонами и сканером отпечатков пальца.
Это фундаментально неразрешимая задача. Если информация потеряна, то её уже никак не восстановить.
Она может быть безвозвратно конвертирована. Смешав чернила с водой, вы можете попробовать вернуть чернила вручную, но потери чернильной массы будут достаточно большими, если вы только атомами не можете управлять.
Все подобные нейросети сами додумывают лишние пиксели. Они не могут знать что там было.
Это то же самое что дать художнику картинку низкого разрешения, а он ее нарисует в фотошопе в 4К, только вместо художника нейросеть.
Это понятно. И что? Речь не про аутентичность информации вплоть до пикселя, а чтобы хватило для человеческой интерпретации.
Технологии стары как говна мамонта, просто современные мощности позволяют это делать в сколь-нибудь адекватное время для бытового применения.
Когда речь идет про бездонную бочку ресурсов у военных или спецслужб, то картина несколько иная в возможностях.
Дело не в ресурсах. Даже с бесконечными ресурсами не выйдет увидеть на изображении то, чего там нет. Это даже теоретически невозможно. Нейросеть это не что-то магическое, это ровно то же самое, что находится у нас в голове.
Нейросеть работает примерно так, как наш мозг, и делать она может только то, что может делать он, поэтому аналогия с художником является идеальной для объяснения принципа таких нейронных сетей как в посте. Нейросеть может хоть до атомов изображение увеличить, но эти атомы будут придуманы самой нейросетью, она не может магическим образом узнать их расположение.
Даже с бесконечными ресурсами не выйдет увидеть на изображении то, чего там нет. Это даже теоретически невозможно.
Вот как раз чего там нет очень легко можно увидеть, а вот достоверно отобразить что там было как раз невозможно.
/Zanuda mode off
По факту да. То что делает Гугл это не восстановление утерянной информации, а попытка ее угадать по принципу "от общего к частному"
А теперь картинку высокого разрешения сжимаете до низкого и сравниваете два портрета.
Почему в таких демонстрациях никто не публикует оригиналы фоток до понижения разрешения?
Типо по мотивам
По другому и не может быть. Но качество картинки всё ещё заметно лучше чем у альтернативных моделей.
Наконец-то старые классические ролики, о фулках которых часто спрашивает ваш друг, обретут новую жизнь!
Блин, у меня столько картинок есть недрочибельных из за низкого разрешения, но эта технология прям находка, скорей бы вышла в массы.
Вот ради интереса взял исходную пикчу в 64х64 пикселя и Топазом обработал ее в 1024х1024. Результат с гугловским, конечно, не сравнится по качеству.
Топазу деталей не хватает для обработки, плюс я ползунки двигал чтобы он картинку не шарпил в процессе
Топаз вообще для реала бесполезен полностью, очень удивляюсь, что это говно популярно для реала
Если брать для обрабортки фотки меньше 100 пикселей - да, получается размалеваная каша. Но для фоток среднего качества - от 500 пикселей и выше к примеру, вполне годится.
Не согласен с тем, что Топаз говно. Конечно, если кидаться апскейлить фотки высраные шакалами где там и 50пикселей нет до 4к то конечно будет "гавно кисточкой накаляканое". Нюансов хуева тьма - зависит от исходного качества фотки и целей для которых нужен апскейл
для не столько старого аниме на двд пойдет, а вот для пленочной анимации из прошлого века уже не годится, что уж говорить про реал
Не очень понимаю смысла слов "без потери качества". Качества в исходной картинке особо и нет. А дополнительные детали робот фактически "выдумывает", разве нет?
Вот если бы они сжали фото до крошечного разрешения, а потом робот его вернул в исходное качество с близким к 100% совпадением к исходнику...
сжали фото до крошечного разрешения, а потом робот его вернул в исходное качество с близким к 100% совпадением к исходнику
Это не возможно ни при каком уровне технологий.
А я и не спорю. Просто в нынешнем виде эта технология является аналогом ситуации, когда ты даёшь замыленное фото с паспорта художнику и он рисует с него портрет в пол стены. Круто, но с реальностью имеет не очень много общего.
Осталось протестить как это работает на действительно хуевых изображениях с низким разрешением, аля фотки с сименса.
Сжимать фотографию в высоком разрешении, а потом разжимать ее обратно нейросетью — весело, конечно, но в целом хуйня очередная.