Очень средне, учитывая что GPT-J на 6B генерирует куда более осмысленные ответы (на английском, разумеется). 100B должна быть на уровне GPT-3, т.е. почти неотличима от человека.
Gpt-3 на самом деле очень плоха, во многих задачах не дотягивает даже до подходов 60-70х годов, что уж говорить о лучших современных чатботах. Тут вопрос в уровне черипикнга, по факту. Если сетка яндекса в среднем отвечает не хуже чем то что показали - это сильно круче чем гпт.
Очень средне, учитывая что GPT-J на 6B генерирует куда более осмысленные ответы (на английском, разумеется). 100B должна быть на уровне GPT-3, т.е. почти неотличима от человека.
Gpt-3 на самом деле очень плоха, во многих задачах не дотягивает даже до подходов 60-70х годов, что уж говорить о лучших современных чатботах.
Тут вопрос в уровне черипикнга, по факту. Если сетка яндекса в среднем отвечает не хуже чем то что показали - это сильно круче чем гпт.