🧠 Инсайты про применение LLM 🧠
Уровень материала: 🦉 #management
Пока в столице гремел РЭД, я на выходных посещал другую локальную конференцию — KD Conf. Помимо приятного чувства, что на конференцию не надо никуда лететь/ехать, подхватил два интересных инсайта про внедрение LLM-моделей в процессы:
📃 Можно валидировать ГДД:
- Проверить документ на противоречивость информации.
- Проверить документ на достаточность информации.
- Отформатировать документ под конкретный отдел. Т.е. переоформить так, чтобы с доком было удобно работать программистам, художникам и т.д.
🏷 Можно валидировать описания для задач:
- Проверить, что описание соответствует шаблону.
- Проверить, что информация релевантная, а не ради удовлетворения шаблона.
- Проверить, что предоставленной информации достаточно для выполнения задачи.
Делать это можно вручную, по необходимости, или автоматизированно через API.
Нужно только подобрать подходящий для команды набор промтов и следить, чтобы нейронка не нагаллюционировала лишнего 🤩
В этой схеме есть две явные проблемы — это конфиденциальность🛡 и стоимость запросов 💵
Решается это развёртыванием внутренней корпоративной LLM. На конференции я чаще всего слышал про Llama от Meta. И мы в команде тоже как раз смотрим в сторону этого решения.
Мероприятие было «не геймдевное» — весь этот опыт исходил от энтерпрайза, банкинга и прочего бигтеха. Поэтому интересно, пробовали ли кто уже в геймдеве вводить в процессы подобные инструменты❓
————————————
Сейчас играю на джанитор в ллм. Кайфец. У меня вопрос есть смысл запариваться с тем чтобы разбираться как развернуть локальную ллм для нфсв контента, насколько лучше опыт чем на том что я выше написал, если создавать кастомного перса? Если что у меня 4080 есть для локалки
Качество работы нейросетки зависит от датасета для обучения, алгоритмов работы и аппаратных мощностей. Всё это, несомненно, будет лучше у любого специализированного бизнеса. Локальные решения в общем случае будут ощутимо проигрывать.
Однако в каких-то специфичных узкоспециализированных задачах их можно качественно обучить на своих нужных данных и получать ровно то, что хочется. Например, обучить локальную LLM на своих рисунках — тогда нейросеть будет генерировать контент, приближенный к авторскому.
Джанитр уже является специализированным сервисом, который уже обучен для отыгрывания ролей, у которого уже есть куча пользователей, т.е. источников для дообучения.
Не являюсь экспертом в области LLM, но я сильно сомневаюсь, что получится локально сделать что-то хотя бы сопоставимое. Для обхода нфсв локальное решение бы сгодилось, но, насколько я нагуглил, у Джанитр подобных ограничений и так нет.