усовершенствованная языковая модель с огромным контекстным окном в 2 миллиона токенов, вдвое превосходящим предыдущую версию
Было бы круто если они умудрились сделать так, чтобы нейронка сохраняла память – пока есть место на жёстком диске. А не какие-то жалкие 2 миллиона слов (токенов).
Это кстати забавно, что пойдя путём нейронок, компьютеры потеряли свои типичные преимущества и столкнулись с теми же самыми проблемами, которые имеют люди. Памяти не хватает. Всё одновременно не помнишь.
Например могли бы настроить взаимодействие нейронки и базы данных и системой поиска, чтобы пусть даже нейронка сама в себе ничего не хранила, но могла достать любую информацию связанную с конкретным топиком, диалогом и т.п. Чтобы даже с ограничением в 2 миллиона токенов, всё равно всё запоминала. Просто чуть более хитро.
усовершенствованная языковая модель с огромным контекстным окном в 2 миллиона токенов, вдвое превосходящим предыдущую версию
Было бы круто если они умудрились сделать так, чтобы нейронка сохраняла память – пока есть место на жёстком диске. А не какие-то жалкие 2 миллиона слов (токенов).
Это кстати забавно, что пойдя путём нейронок, компьютеры потеряли свои типичные преимущества и столкнулись с теми же самыми проблемами, которые имеют люди. Памяти не хватает. Всё одновременно не помнишь.
Например могли бы настроить взаимодействие нейронки и базы данных и системой поиска, чтобы пусть даже нейронка сама в себе ничего не хранила, но могла достать любую информацию связанную с конкретным топиком, диалогом и т.п. Чтобы даже с ограничением в 2 миллиона токенов, всё равно всё запоминала. Просто чуть более хитро.
может быть
мне кажется, что вам будет интересно почитать. Это в продолжение мысли о нехватке данных-https://t.me/mr_aiui/349