DeepMind представил новую систему оценки прогресса к AGI

DeepMind выпустила продолжение исследования Levels of AGI. Если первая работа предложила индустрии таблицу уровней, то вторая ([https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/measuring-progress-toward-agi/measuring-progress-toward-agi-a-cognitive-framework.pdf](https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/measuring-progress-toward-agi/measuring-progress-toward-agi-a-cognitive-framework.pdf)) пытается предложить систему оценки.

Идея заключается в том, чтобы не измерять интеллект одним показателем, а разложить его на 10 когнитивных способностей и оценивать каждую отдельно: восприятие, генерация, внимание, обучение, память, рассуждение, метакогниция, исполнительные функции, а также два композитных показателя – решение проблем и социальное познание.

Инструментарий взят из когнитивной психологии, а не из ML-бенчмарков. Модель проходит задачи, люди проходят те же задачи — на выходе получается перцентиль по каждой оси.

Предложена концепция «рваного профиля» (jagged profile). Модель может демонстрировать высокий уровень рассуждений (95-й перцентиль), но при этом показывать слабые результаты в памяти (20-й перцентиль). В целом, система выглядит приемлемо, но для достижения AGI требуется улучшение. Для разработчиков «рваный профиль» — явный признак отсутствия AGI.

Подробнее об исследовании можно прочитать в статье: