Уровень материала: 🦉 #management
Пока в столице гремел РЭД, я на выходных посещал другую локальную конференцию — KD Conf. Помимо приятного чувства, что на конференцию не надо никуда лететь/ехать, подхватил два интересных инсайта про внедрение LLM-моделей в процессы:
Сейчас играю на джанитор в ллм. Кайфец. У меня вопрос есть смысл запариваться с тем чтобы разбираться как развернуть локальную ллм для нфсв контента, насколько лучше опыт чем на том что я выше написал, если создавать кастомного перса? Если что у меня 4080 есть для локалки
Качество работы нейросетки зависит от датасета для обучения, алгоритмов работы и аппаратных мощностей. Всё это, несомненно, будет лучше у любого специализированного бизнеса. Локальные решения в общем случае будут ощутимо проигрывать.
Однако в каких-то специфичных узкоспециализированных задачах их можно качественно обучить на своих нужных данных и получать ровно то, что хочется. Например, обучить локальную LLM на своих рисунках — тогда нейросеть будет генерировать контент, приближенный к авторскому.
Джанитр уже является специализированным сервисом, который уже обучен для отыгрывания ролей, у которого уже есть куча пользователей, т.е. источников для дообучения.
Не являюсь экспертом в области LLM, но я сильно сомневаюсь, что получится локально сделать что-то хотя бы сопоставимое. Для обхода нфсв локальное решение бы сгодилось, но, насколько я нагуглил, у Джанитр подобных ограничений и так нет.