Marat Khamadeev

Если вы когда-либо самостоятельно или в рамках учебных курсов изучали диффузионные модели, вам наверняка попадались анимации по типу вот такой. Здесь зашумлённое изображение постепенно восстанавливается в что-то осмысленное. Почему и зачем — об этом я уже несколько раз вскользь рассказывал, например, тут.

Такие гифки здорово помогают понять принцип, по которому работают современные нейросети-рисовалки. Но принципы диффузионной генерации применимы не только к двумерным картинкам, но и к более многомерным структурам. Например, к 3D-объектам — об этом мы говорили в одном из недавних постов.

Чтобы сделать этот процесс более наглядным, ML-инженер по имени Тимоти Барнс создал специальный мод для Minecraft, в котором объекты (дома, элементы ландшафта) постепенно формируются из шума игровых кубиков (по сути, вокселей). Он рассказал о своей разработке на реддите и в твиттере, где есть больше примеров, а также завёл под это дело специальную страничку.

Кажется, поводов не учить работу диффузионнок становится всё меньше 😊

Каким был бы 2035 год альтернативного мира, где покушение на Джона Кеннеди оказалось неудачным, а Советский Союз все еще не распался? Физику интереснее другой вопрос: каким был бы мир, где подтвердились гипотезы, которые современная наука считает крайне сомнительными или по крайней мере спорными?

Ответ на эти вопросы дает научно-фантастическая игра Prey, выпущенная в 2017 году. На довольно зыбкую почву альтернативной истории и альтернативной науки вселенной Prey в своем очередном блоге о науке в видеоиграх смело зашел наш физик Марат Хамадеев — и нашел там немало полноценной серьезной научной базы

#Физика | #Мезонин | *4.3

Для обучения по-настоящему успешных больших языковых моделей нужно много, очень много текста. Сейчас его берут из интернета, но количество человеческой писанины в вебе растёт несравненно медленнее, чем потребности ИИ.

Эту проблему хотят решать с помощью текстов, написанных другими нейросетями. Но будет ли это работать? В попытке ответить на этот вопрос, одна из групп провела эксперимент, который показал, что при обучении модели на тексте, написанном моделью, которая обучалась на тексте, написанном моделью [повторить N раз], на выходе получится полная ерунда. Особенность этой работы (я уже упоминал её недавно) в том, что она не ограничилась препринтом или публикацией в сборнике конференции, а добралась не много не мало до Nature — вообще говоря, редкость для ИИ, — затратив, однако, на это целый год.

Статья вышла в июле и наделала шуму в медиасфере. Шутка ли, выходит, что развитие LLM семимильными шагами несётся в тупик! Действительно, такой вывод кажется неизбежным, учитывая, что скоро количество текстов в интернете, написанных машинами, превысит человеческие.

Я решил разобраться, что к чему, и вооружился мнением экспертов по ИИ, которых в моём окружении сейчас достаточно. Итог увидел свет сегодня в виде материала на N + 1