ИИ — это не пузырь

Давайте поговорим о таком сложном разделе Computer Science, как Машинное Обучение (далее: МашОб). Объясню, почему в этой сфере происходит именно то, что происходит.

Вообще, главной мотивацией для статьи стало последнее (на момент написания) видео с канала netstalkers. Очень забавно как у них ролики выходят: ИИ стал моден у advanced users — они выпускают ролик о перспективах ИИ, ИИ стало модно хейтить — выпускают ролик об этом. Вот он — популизм. Но давайте включим критическое мышление и постараемся разобраться в вопросе.

В марте 2019 года на свет выходит эссе The Bitter Lesson за авторством Ричарда Саттона, которое вызвало широчайшие обсуждения в кругах исследователей компьютерной науки в целом, и МашОб в частности.

Кратко о сути статьи.

За десятилетия развития МашОб мы усвоили очень простой, но горький урок: простой перебор «втупую» (брутфорс) намного эффективней, чем любой специализированный алгоритм.

Изначально программы-боты для шахмат были очень сложны по своей структуре. К ним применялись выработанные человеком тактики и стратегии. Тогда компьютеры были не настолько производительны, чтобы перебрать вообще все варианты ходов и выбрать ту последовательность, которая приведет к победе. Но годы шли, и компьютеры стали производительнее (увеличились вычислительные мощности). И данные алгоритмы работали не идеально. Профессиональный шахматист мог спокойно их обыграть. Но годы шли, и у компьютеров увеличивались (согласно закону Мура) вычислительные мощности. И наступил тот момент, когда мы уже смогли позволить себе решать шахматы брутфорсом. И именно алгоритм на основе брутфорса обыграл Каспарова. Это был триумф.

Это эссе пересекается с одной фундаментальной теорией: Теорией Задачного Пространства. Согласно ей:

И в конце концов исследователи поняли, что нет никакого смысла вписывать в алгоритмы собственные эвристики. Пусть машина подбирает эвристики самостоятельно. Именно так мы пришли к нейросетям — графам решений, эвристики которых настраиваются градиентным спуском. И именно так мы заменили Prolog и Lisp на Keras и Tensorflow.

И именно по этому на нейросети тратят просто огромные вычислительные ресурсы.

Но всё-таки необходим баланс между экстенсивным (увеличение вычислительной мощности) и интенсивным (улучшение и разработка новых архитектур) развитием. Интенсивное развитие не менее важно — иначе мы до сих пор использовали бы RNN и LSTM для генерации текста, а для генерации изображений до сих пор использовали бы GAN.

Трансформеры и диффузия — гениальные алгоритмы. Но, уверен, это не предел, и скоро мы увидим что-то совершенно новое. Пока же идёт оптимизация текущих архитектур. К примеру: квантизация, RAG, LoRA.

Тем не менее понятно одно: создание AGI и последующая за ним смена экономической формации неизбежны. Процесс уже запущен. А запущен он был ещё в прошлом веке Аланом Тьюрингом и Джоном фон Нейманом.

На этом краткая историческая справка заканчивается.

Закончили с технической частью, перейдём к гуманитарной.

Один из самых распространенных доводов является то, что в ИИ вливают астраномические суммы денег, но ИИ не окупается.

А он должен?

Понимаете, вот в чём тут дело. ИИ — это технология государственной важности. Она и не обязана окупаться. Тут как с космической и автомобильной отраслями. Это отрасли, от которых зависит державность и выживаемость государства. И с недавних пор к ним присоединилась отрасль машинного обучения.

Государства и поддакивающие им корпорации вливают и будут вливать в ИИ столько денег, сколько смогут. Так же, как вливали когда-то деньги в программу Аполлон.

Государство, которое создаст AGI — перейдёт на новую экономическую ступень, идущую после капитализма, оставив всех остальных далеко позади. И сильные мира сего это отлично понимают.

Когда-то очень давно на ютубе от блогеров, вещавших про атеизм, критическое мышление, антинатализм, трансгуманизм, чайник Рассела (тогда они были очень популярны, интересно, куда они все подевались), я слышал утверждения по типу «вот государства хернёй маются, лучше бы вкладывали все деньги в ИИ и лекарство от рака». 2026 год. Государства инвестируют в ИИ газиллионы денег и mRNA-вакцину от рака тоже, кстати, создали.

Так где же ваши крики радости, народ?

Ах ну да, раньше эти просветили масс цитировали википедию, а сейчас популистские посты из твиттера.

Еще один довод — в сфере ИИ деньги крутятся по кругу.

Отрою вам секрет: так деньги работают. Называется это явление «Круговорот денег в экономике» и является их фундаментальным свойством.

К примеру, в заводы по производству микроэлектроники вкладываются металлургические заводы, а те в свою очередь в химпром и так по кругу.

Только почему-то об этом твиттерские и реддитовские не пишут.

Когда-то очень давно, после прочтения пейпера по (тогда еще новой и революционной) архитектуре Generative Adversarial Networks, я создал тред на одной большой отечественной имиджборде, где написал, что скоро компьютер научится писать картины и создавать правдоподобный текст. Тогда в треде лишь посмеялись, и назвали меня фантастом, мол если такое и будет, то только в 22 веке.

А теперь смеюсь я. Потому что был прав.