Инсайт по использованию GPT
📝Прочитал на Хабре статью про новый GPT от OpenAI. И встретил интересный инсайт:
В отличие от человека современные архитектуры языковых моделей тратят одинаковое количество вычислений на каждый токен. То есть, ответ и на вопрос «сколько будет дважды два», и на сложную математическую задачку (если ответ на неё — одно число, и его нужно выдать сразу после запроса ответа, без промежуточного текста) будет генерироваться одинаково быстро и с одинаковой затратой «усилий».
...
Поэтому написание текста рассуждений — это естественный для LLM способ увеличить количество операций: чем больше слов, тем дольше работает модель и тем больше времени есть на подумать.
...
Предложили использовать очень простой трюк: добавлять фразу «давай подумаем шаг за шагом» в начало ответа нейросети. Модель естественным образом начинала бить задачу на шаги, браться за них по одному, и последовательно приходить к правильному ответу.
Идея вроде очевидная, но я такую хитрость раньше не знал. Но и не пытал ботов подобными задачами 😁
Полезное знание. Т.к. я ИИ-инструменты активно использую, наверное, уже пора поискать материалы по другим накопленным хитростям работы с LLM и другими моделями 👀
————————————
Комментарий недоступен
Всегда с моделями буду вспоминать этот мем про Алису
Тут буквально про маленькие токены, что сеть не думает достаточно.
С добрым утром... Лайфхаки уже как пару лет. Вон зайди к Ширяичу, почитай про другие команды.
Например?
«чем больше слов, тем дольше работает модель и тем больше времени есть на подумать» - я прекрасно понимаю что это звучит как объяснение, однако оно не верно!
реальная причина этого феномена, заключается в том что в изначальном тренировочном тексте для модели очень редко (или никогда) не встречается пары (длинный текст задачи - короткий ответ)
у LLM нет никаких «подумать - ответить» там сразу «ответить»
к тому же чем длиннее текст ответа тем вероятнее что модель начнет влиять сама на себя ( на свой ответ) и станет галлюцинировать.
по шагам идти должна не модель, а человек.
Реальная причина в том, что GPT ленивая тварь и у него лень по дефолту всегда стоит в самом начале. Он буквально не хочет отвечать нормально, пока ты не начнешь его напрягать.
Думать бывает полезно