Что делает чатгопота между двумя запросами в свободное время? Ничего! Что делает нормальный мозг? Генерирует для себя новые запросы и старается из решить. Так вот пока эти боты не научатся использовать свободное время в свою пользу, всякие там когнитивные бабахи нам не страшны
А смысл держать генерацию включенной 24/7? Нет, есть конечно решения, которые это позволяют. Тот же AutoGPT, например. Вот только там не даром вся работа идёт с GPT-4 и GPT-3.5.
Во-первых, нейронка не может принять больше контекста, чем заложено в ее архитектуре, и сейчас они в этом очень сильно ограничены. Так что даже если представить идеальную модель, ограниченную нынешними лимитами контекста, довольно быстро наступит момент, когда она упрется в контекст. Можно обощать контекст, тем самым сжимая его. Но рано или поздно сетка перестанет выжимать воду и начнет терять информацию. После этого она уже ничего толкового не сможет добавить. Языковая сетка не решает задачи в реальном времени, не занимается наблюдением, для этого есть решения посильнее, чем LLM. К тому же, у языковых нейросетей есть большая проблема - они склонны сваливаться в петли и галлюцинации, когда накапливается слишком много контекста, особенно если он сгенерирован самой сетью. Даже если это GPT-4. Сеть находит языковые паттерны и просто воспроизводит их. Её мало интересует то, что это за паттерны. То, что мы можем давать сети задачу, а она будет двигаться к ее выполнению шаг за шагом или по методу "тезис-антитезис-синтез" неплохо, конечно, но для этого не нужно держать её включённой 24/7. Это просто прием, который позволяет повысить качество ответа за счет множества генераций достаточно крупной и эурдированной моделью, в достаточной мере устойчивой к петлям самоповтора и галлюцинациям. Ибо такой метод их не исключает. До модуля "здравого смысла" в нейросетях нам ещё ОЧЕНЬ далеко. Он не у всех людей работает нормально, а вы этого хотите от машины.
Генерацию текста вообще сейчас можно сравнить с лепетом младенца, с той лишь разницей, что у младенца он зависит от чувств и является почти случайным набором звуков, физиологичным для малыша, а у нейросетки этот лепет основывается на нечеловеческом объеме изученного материала.
Ну и ещё один аргумент. Его ты осознаешь, когда тебе упадет в почтовый ящик следующая квитанция. Их свободное время - это наше свободное электричество и ресурс оборудования.
Что делает чатгопота между двумя запросами в свободное время? Ничего!
Что делает нормальный мозг? Генерирует для себя новые запросы и старается из решить. Так вот пока эти боты не научатся использовать свободное время в свою пользу, всякие там когнитивные бабахи нам не страшны
А смысл держать генерацию включенной 24/7? Нет, есть конечно решения, которые это позволяют. Тот же AutoGPT, например. Вот только там не даром вся работа идёт с GPT-4 и GPT-3.5.
Во-первых, нейронка не может принять больше контекста, чем заложено в ее архитектуре, и сейчас они в этом очень сильно ограничены. Так что даже если представить идеальную модель, ограниченную нынешними лимитами контекста, довольно быстро наступит момент, когда она упрется в контекст. Можно обощать контекст, тем самым сжимая его. Но рано или поздно сетка перестанет выжимать воду и начнет терять информацию. После этого она уже ничего толкового не сможет добавить. Языковая сетка не решает задачи в реальном времени, не занимается наблюдением, для этого есть решения посильнее, чем LLM. К тому же, у языковых нейросетей есть большая проблема - они склонны сваливаться в петли и галлюцинации, когда накапливается слишком много контекста, особенно если он сгенерирован самой сетью. Даже если это GPT-4. Сеть находит языковые паттерны и просто воспроизводит их. Её мало интересует то, что это за паттерны. То, что мы можем давать сети задачу, а она будет двигаться к ее выполнению шаг за шагом или по методу "тезис-антитезис-синтез" неплохо, конечно, но для этого не нужно держать её включённой 24/7. Это просто прием, который позволяет повысить качество ответа за счет множества генераций достаточно крупной и эурдированной моделью, в достаточной мере устойчивой к петлям самоповтора и галлюцинациям. Ибо такой метод их не исключает. До модуля "здравого смысла" в нейросетях нам ещё ОЧЕНЬ далеко. Он не у всех людей работает нормально, а вы этого хотите от машины.
Генерацию текста вообще сейчас можно сравнить с лепетом младенца, с той лишь разницей, что у младенца он зависит от чувств и является почти случайным набором звуков, физиологичным для малыша, а у нейросетки этот лепет основывается на нечеловеческом объеме изученного материала.
Ну и ещё один аргумент. Его ты осознаешь, когда тебе упадет в почтовый ящик следующая квитанция. Их свободное время - это наше свободное электричество и ресурс оборудования.