Meta AI представила языковую модель LIMA

Она была обучена без использования человеческой обратной связи и может показывать результаты, схожие с GPT-4

Новая нейросеть — результат дообучения LLaMA-65B
В качестве датасета разработчики не использовали дорогостоящую технологию RLHF — обучение с человеческой оценкой, благодаря которой OpenAI смогли добиться высокого качества своих языковых моделей
Вместо этого исследовали вручную выбрали около 1000 примеров вопросов и ответов с таких ресурсов как WikiHow, StackExchange и Reddit
Для оценки получившейся модели в Meta AI попросили людей сравнить результаты LIMA с другими моделями, такими как GPT-4, text-davinci-003 (GPT-3) и Google Bard. В 25% люди оценили LIMA на уровне GPT-4, а в 18% — лучше

Meta была признана экстремистской организацией