Модели\трафик для локального агента
Нужен совет тех, кто шарит и пользуется этим каждый день. Облачные нейронки — с ними всё понятно. А вот я подсел на локального агента, или как-то так это можно назвать, Open Code установил.
И как же я охренел, когда на какой-то глюк ему пожаловался, и он прочитал все логи и ошибки в системе и указал точно, где проблема. При том что я, мягко говоря, хорошо во всём этом разбираюсь. И с тех пор я жёстко подсел на эти сценарии использования.
Так получилось, что 95% времени, что я работал в Open Code, было на тестовой модели. 25 сентября повезло как раз попасть на тест свежей Stealth модели, которая пару дней назад релизнулась и сразу ушла в платный доступ.
(И да, забегая вперед, оказывается, она была просто МЕГАохуенна, это лучшее из нейронок, что я видел за всё время, размышление и 1 млн токенов контекст, хватало на большие переводы и ревёрсинг).
При этом в самом Open Code есть 10 или 15 бесплатных моделей, так что я думал — не беда, и когда она пропала даже не вспоминал про неё. У нас же ещё 15 бесплатных, наверняка не хуже!
Но на следующий день после отключения просто хотел что-то зареверсить из программ моих на компе, модель начала писать скрипты и тестить и буквально через 2–3 минуты получил сообщение, что бесплатный лимит исчерпан.
При этом до этого модель, которая в тесте была, я использовал месяц тупо с утра до вечера. В чат кинул exe-шник программы и говорю: переведи его. И она уходит работать и через час или два, самостоятельно всё протестировав и исправив, просто выдаёт результат и всё, без какой-либо дополнительной головомойки.
Короче, из тех, кто шарит, посоветуйте, чем можно заменить и как при таких сценариях лучше оптимизировать, чтобы меньше тратить токенов.
Потому что над оптимизацией я вообще никак не парился этот месяц. Вчера посмотрел в статистике — я потратил 832 миллиона токенов. Я делал и переводы, и патчи для программ, и что угодно.
И как жить без таких лимитов теперь? Как я понимаю, 832 миллиона, по обычной средней цене — это примерно 500 долларов я потратил (бы) на свои эксперименты.
Как жить дальше и где взять модели\лимиты? За толковые советы заранее спасибо.
Флуд будет покаран.