Нейросети как компаньон для творческих задач - (почти) мусор
Кратко: нейрохрючевые инфоцыгане и квадратно-гнездовые дегенераты, наводнившие этот сайт как голодные опарыши, пытаются сделать вид, что нейросети - это золотая пуля, помогающая во всех вопросах. На самом деле это пуля из говна, и ниша ее применимости примерно настолько узкая.
Подробности далее:
Насмотревшись на успешных программистов, которые используют нейронки как джуна на подхвате, я подумал “о, хочу так же”!
У меня как раз был простой пет проект настольной игры, на котором супер просто отслеживать проблемы, и на нем я решил проверить гипотезу о применимости нейросетей.
Так сложилось, что я профессиональный геймдизайнер.
В прошлом году я мог гордо назвать себя безработным алкоголиком, но к сожалению, сколько веревочку не вить, а концу быть.
Так что, уже год я работный алкоголик, снова вернувшийся в геймдев.
Вообще, это все не так важно - важно то, что в качестве хобби я разрабатываю настольные игры, чтобы шестеренки не ржавели в голове.
Речь в этой статье пойдет о LLM, а не о других штуковинах, потому что я не художник, а гд.
Что такое LLM? Лардж Ленгвидж Модель, она же Большая Языковая Модель, это языковая модель, состоящая из нейронной сети со множеством параметров…
Да ладно вы все знаете, в какое отверстие есть и уж про нейронки тем более знаете.
А вот не знаю.
Дело в том, что я даже близко не эксперт по нейросетям.
Я геймдизайнер, и я ищу инструменты, которые помогут мне уменьшить рутину.
Впрочем, для тех, кто расстроился после этих слов - у меня для вас есть отличная новость.
Дело в том, что знания не нужны!
Я не расскажу о механизмах работы компьютера, хотя успешно пользуюсь им каждый день - и ровно так же я могу поделиться своим успешным опытом использования нейросетей, ничего о них не зная.
Впрочем, тут нужен дисклеймер - я буду говорить именно об использовании ллмок, и именно для ГД.
Спойлер - как я выяснил, это узкая, специфическая ниша, отличающаяся от многих других.
У программистов с ллмками вроде бы все хорошо, хотя я лично на копайлот например только жалобы слышал.
У художников так вообще раздолье - и тебе миллион корпоративных нейронок, и стейбл диффюжн локально развернутый заточенный под себя как захочешь.
У маркетинга с сорой тоже все неплохо.
Ну и у всех, кто работает с текстами, есть теперь профессиональный редактор, вычитывающий тексты по всем канонам книги “пиши, сокращай”.
Со всем этим я не спорю и рассказывать буду про другое.
Критерии состоятельности нейросети как инструмента опираются на мои потребности и рассказы об опыте использования нейронок программистами:
- Я не набираюсь специфических навыков работы с нейронками. Мне обещали, что ллмки работают без лишней когнитивной нагрузки.
- Что может понять человек, то может понять нейронка, иначе - лишняя когнитивная нагрузка.
- Если возня с нейронкой займет меньше времени, чем ручная работа - это отлично.
- С работоспособным результатом тоже все понятно.
- Я понимаю, что нейронка не дотягивает даже до средненьких спецов. Но это она работает на уровне стажера, ну это руина.
С такими ожиданиями я приступил к возне с нейросетями.
Впрочем, помимо ожиданий у меня были вводные - довольно крепкие, чтобы нейронке было проще. А именно:
- Простой проект, на котором легко отлавливать любые неточности
- Оформленная идея
- 40 часов ручной разработки
- Множество соло плейтестов
- Синтетическое тестирование в экселе
- Несколько альтернативных версий
Разумеется, я пробовал не один инструмент, благо их сейчас как грибов после дождя.
И разумеется, я использовал корпоративные нейросети, потому что у меня нет фермы асиков для разворачивания нормальной автономной нейросети.
Я попробовал чатгпт, дипсик, гемму гугловскую, и отечественные нейронки.
Но последние довольно быстро показали свою откровенную никчемность, так что все свелось до гпт и дипсика.
А чуть позже я почти минимизировал работу с гпт.
Почему так вышло? А по довольно прозаическим причинам:
- У дипсика есть общедоступный режим DeepThink. Как технически это работает - непонятно и сама нейронка объяснить не может. Важно, что этот режим делает суперважную вещь - позволяет ловить галлюцинации.
Галлюцинации ужасно проблемны, если мы говорим не о худлите.
И если они на каком-то этапе галлюцинации незаметно появятся, быть беде, так что функция суперважная. - Дипсик работает по задаче, не требуя уточнений.
Как выяснилось на практике, здоровый формат использования нейросети - короткие запросы, иначе затраты времени становятся неадекватны результату.
И вот с короткими запросами у чатгпт большие проблемы, потому что он имеет тенденцию к тысяче уточняющих вопросов.
Чатгпт легко может задать 4 уточняющих запроса последовательными постами, вместо того, чтобы хоть что-то сделать.
При этом шансы на галлюцинации возрастают с каждым ответом - в моей практике после 30 запросов в одном треде чатгпт почти гарантированно сходит с ума.
С дипсиком можно общаться большими блоками формата “задача -> черновой результат -> большой список правок -> черновой результат 2 ->”. Меньше шагов, меньше галлюцинаций, быстрее вменяемый итог.
- Немного лучше работает с русским языком. Разница незначительна, но заметна на больших объемах.
- Лучше верстает! И чатгпт и дипсик умеют верстать полиграфию, веб страницы, интерфейсы приложений. Но дизайн дипсика всегда слишком базовый, дубоватый и прямоугольный.
На мой взгляд, даже для создания блок-схем для внутреннего корпоративного пользования, чатгпт делает слишком базовую графику.
В общем, все это конечно здорово.
Но есть нюансы.
Звучит все это вроде неплохо - вот она, лучшая ллмка из всех мной опробованных. Ох…
Мой кейс - я делаю настольную игру с монетками: правила очень просты, содержат всего 4 логических операции, только 1 из которых требует осмысленного решения, остальные 3 - фиддлинг, т.е. перекладывание компонентов для фиксирования состояний.
Правила были вычитаны нейросетью, ей же уточнены логические схемы и она же отредактировала правила до читабельного формата.
Логично предположить, что раз уж редакторскую работу она проделала, значит и побыть партнером по игре она может.
Но нет, когда мы начали с ней играть - уже на второй ход нейросеть начала "забывать" часть этапов хода.
На третий ход начала забывать, какое действие я решил выполнить в свой ход.
Потом начала подтасовывать сумму победных очков.
При разных прогонах в разных нейросетях происходили разные ошибки, но чего не происходило - полноценной игровой сессии, в которой не требовалось указывать нейросети на ее ошибки.
Я также пробовал использовать нейронку как аналитика.
Но даже с таблицей 2х2 возможных исходов, ни одна нейронка не смогла даже такой объем проанализировать - в основном потому что ни одна нейронка не умеет считать сама по себе, без фокусов, которые выходят далеко за рамки моего эксперимента.
И в целом, наблюдаемый мной результат отлично совпадает с опытом каждого специалиста, с которым я общался на тему.
Как только человек пробует использовать нейронки в своей сфере, вся шиза вылезает в полный рост - ведь для специалиста нет лакун сложности, в которой может спрятаться некомпетентность и тупорогость "экспертизы" нейросети.
Ряд очевидных после такого опыта тезисов (для любого, кроме квадратно-гнездовых дегенератов, у которых процесс человеческого обучения и мышления не отличается. Спросите у грока, правда ли это):
- Нейросети не думают, но очень эффективно имитируют этот процесс. Собственно для этого они и созданы, идеальные популистские механизмы.
- Имитация не сильно заметна, когда речь о художественных текстах или фактоидах (особенно когда сам этих фактоидов не знаешь), но как только ты ожидаешь минимальную когнитивную нагрузку (не трансляцию своей эрудиции, а именно мышления) - нейронка начинает сыпаться.
А скорбная доля геймдизайнеров - это как раз про то, чтобы думать в нестандартных ситуациях, и именно с этим нейронки не справляются совсем.
На последнем пункте я бы хотел сделать особый акцент, накидав несколько увещеваний:
Нельзя доверять ллмке когнитивную работу.
Вы можете поговорить с ней о политике, поспрашивать кто похож на винни пуха, добавлять ли гравий в повседневную диету - и по итогу можете прийти к выводу, что нормально нейронка шевелит извилинами, не хуже таксиста или вашего диетолога.
Но в том и дело, что ллмки обучались на данных всего мирового интернета, именно с этой целью - чтобы их словесная каша выглядела правдоподобной.
Именно поэтому так легко поддаться соблазну и доверить нейросети задачи, требующие анализа, эвристики и толики здравого смысла, затем прочитать ее ответ, и не заметить, что при его (де)генерации не было задействовано ни анализа, ни эвристики, ни здравого смысла.
Я проверял работу нейросетей на очень простом, очень прозрачном примере, с очень простыми механиками - и даже так мне приходилось подходить к ответам нейросети максимально сфокусировано, чтобы вылавливать логические дыры.
Причем я делал это не сразу - при первой попытке у меня уже были правила, я отдал их нейронке на вычитку, она меня пожурила за то, что я не указал в правилах, куда деваются монетки из руки между раундами (лол), но в остальном похвалила и сказала что все отлично, глубины достаточно, вообще у игры огромное будущее, если изменить пару правил.
Немного пообщавшись с нейронкой и утонув в лести на тему прозорливости моих уточнений, мы в ней пришли к конечному результату, и я, довольный и заряженный на успех, пошел это дело тестить.
И это был очевидный, катастрофический провал, где одно из правил полностью обесценивало какой-либо осмысленный выбор на любом из этапов игры, гарантированно приводя к ничьей в 100% случаев.
Т.е. что произошло - я поверхностно прочитал ответы нейронки, они казались вменяемыми, плюс лесть дополнительно снизила критичность оценки, и я поверил что это точно верняк.
Возможно, нейроподборочные глисты, наполнившие дтф, на самом деле тоже вычитывают "свое" хрючево, но не обладая нужной квалификацией, не могут перебороть ощущение "нормальности".
И есть подозрение, что если я прочитаю те ответы нейронки через полгода, я опять не замечу проблемы, потому что написано складно, и с аргументами.
В общем, не ведитесь, не доверяйте когнитивную работу нейросетям, иначе рискуете напиться змеиного масла.
Но что же это?
Вы только посмотрите - я, кажется, слышу аплодисменты.
Но почему?
Дело в том мы наконец-то дошли до плюсов!
У искусственных языков, в частности языков программирования, довольно сильная ограниченность и довольно строгие правила. Это приводит к тому, что формирование полноценного и даже качественного кода, нейросетям вполне под силу - без грамма когнитивной нагрузки!
Только вот я разрабатываю настольную игру, какое мне до этого дело?
А вот какое - нейросети способны создавать html страницы, писать css.
Это значит, что они способны верстать визуалку.
Вот тут вы можете видеть, что я сам верстал в гуглодоках для одной своей старой разработки. Это было довольно душно и рутинно, заняло неприятное количество времени, ну и в целом его бы оформлять и оформлять.
А теперь смотрите что мне сделал дипсик. На телефоне верстка едет, но на пк все хорошо.
Видали! Все такое аккуратное. И анимации крутятся (никогда сам не сделал бы).
И название мигает.
Мышкой наводишь - элементы катаются, прям тактильный дизайн, красота.
А тут вот цифровой компаньон, для автоматизации и независимости от компонентов (у кого сейчас в кармане есть монетки, чекайте).И есть анимации на победу/ничью, сделанные через спецсимволы.
Это небо и земля в сравнении с теми простыми статичными документами, которые я обычно верстаю сам.
И все это - всего за пару запросов! Да? Да.
Нет.
Выше - названия чатов.
Новый чат я начинал по двум причинам - либо дипсик сходил с ума и надо было, так скажем, “освежать”.
Либо чат достигал предела запросов. Запросов наверное больше 300 было здесь, во всех этих чатах.
Однако! Результат был достигнут, что важно. Достигнут на таком уровне, которого я сам никогда бы не достиг.
В итоге, каковы итоги (гыгы) моего эксперимента, где в рамках очень простых задач я легонько журил нейронку.
- Я смог не осваивать специфических навыков - почти. Минимально - все же пришлось.
- Поговорить как с человеком, просто непонятливым, в целом получилось. Я вообще не использовал неестественных промптов, всяких кринжовых "представь что ты голодный писатель", граничащих с заклятьями и бабкиными заговорами. Просто говорил.
- Времени я потратил безумное количество. Если не считать верстки, это того не стоило.
- Результат работает.
Ну и подводя итог - вот немного практических советов, которые я вывел для себя:
- Нейросети - отличный инструмент для борьбы с “чистым” листом. Я это называю эффектом "грязного листа". Суть в том, что если у тебя проблема с тем, чтобы начать делать с нуля какую-то творческую задачу, можно сгрузить ее тому же дипсику, он стабильно навалит кринжа - настолько тупого и возмутительного, что рука сама тянется исправить.
И все - не успеваешь моргнуть, а уже все сам сделал. - Можно доверять вычитку. Я упоминал об этом вскользь, потому что в целом всем известно, насколько хорошо ллмки справляются с вычиткой. Правила я например не писал вообще, почти ни строчки, только невнятные черновики в качестве основы. Главное - ловите глюки, ну то есть читайте что на выдаче. А то есть шанс напороться. И главное - не давайте нейросети писать большие тексты по короткому описанию, иначе получите отборный нейрослоп в лучших традициях говна на главной.
Цунами нейропомоев на дтф - это на 80% результат доверия нейронке в связке с короткими промптами. - Математика запрещена. Просто забейте, используйте калькулятор или логарифмическую линейку, что там у вас.
- Брейнсторм-дегенерат. Хочу отдельно остановиться на концепции дегенерата для мозгового штурма:
у меня прорыв произошел в момент, когда я решил полностью игнорировать бред нейросети и начал использовать ее как дегенеративного участника брейншторма.
Раз за разом я описывал нейросети свои предложения на тему улучшения геймплея, а в процессе чтения бреда думал о следующих вариантах улучшений.
Ключевой механизм тут состоит в том, чтобы читать бред аналитически - именно продумывать в голове, в каких случаях описанное не работает, с какими издержками сопряжено внедрение и т.д.
Т.к. человеческое мышление работает ассоциативными кластерами, в процессе я неизбежно затрагивал и свои идеи, находя способы их улучшения.
В общем, рабочая схема вполне, ее я рекомендую. - Как обучающий инструмент для новичка нейросети работают. НО! Если вы уже такой специалист, который способен увидеть, что нейронка гонит пургу - обучающего эффекта уже не будет.
Традиционный краткий пересказ статьи от суно и дипсика:
Спасибо за прочтение всем, кто добрался сюда - или перескочил через оглавление, вы украшение этого сайта. Если хотите прочитать больше подобных эссе - подпишитесь на мой телеграм канал или на ютуб. А если хотите одарить меня финансово - добро пожаловать на мой бусти с эксклюзивными материалами!