Уилл Смит доел спагетти: Карпати придумал новый бенчмарк для ИИ
Claude Opus 5 получил один абзац из «Властелина колец», миллион токенов и два часа. В ответ нейросеть собрала работающий 3D-мир и написала 5500 строк кода.
Тесты нейросетей уровня «покажи Уилла Смита, который ест спагетти» можно торжественно отправлять в музей.
Андрей Карпати придумал для Claude Opus 5 задачу поинтереснее. Он дал модели первый абзац из «Властелина колец», выделил миллион токенов примерно на $10 и попросил превратить текст в 3D-рендер на Three.js.
Claude ушёл думать почти на два часа, а затем вернулся с 5500 строками кода. Модель самостоятельно расставила полигональные объекты в трёхмерном пространстве, добавила анимации и собрала проект, который действительно запускается.
Выглядит всё местами криво. Но сам факт впечатляет: нейросеть получила несколько строк текста и попыталась превратить их в целый игровой мир.
Зачем Карпати вообще это сделал
По его мнению, простые тесты уже плохо показывают реальные возможности современных ИИ-моделей. Гораздо интереснее смотреть, как долго нейросеть может работать над большой задачей, удерживать общий замысел и собирать тысячи отдельных деталей в один результат.
Человек вряд ли стал бы тратить дни на настолько специфичный эксперимент. У ИИ терпения побольше: попросили построить Хоббитон — он пошёл строить Хоббитон.
Похожие задачи уже можно ставить языковым моделям в LLM Студии SYNTX.AI. В одном чате они работают с кодом и файлами, ищут информацию в интернете и выполняют длинные задачи по шагам — без необходимости переключаться между десятком отдельных сервисов.
С промокодом SYNTXDTF скидка 15% на любой тариф. 100+ топовых ИИ по одной подписке, без ВПН и с оплатой из любой точки мира. Бот или платформа SYNTX.AI, выбирайте что удобнее для вас.
Создать мир получилось. Проверить — уже сложнее
Эксперимент показал и слабое место Claude Opus 5. Модель пока не умеет нормально играть в собственные игры и быстро оценивать происходящее на экране.
Чтобы проверить результат, ей приходилось делать скриншоты в разных точках. Из-за этого Claude несколько раз ошибался, а в финальном проекте осталось немало странностей и багов.
Но направление уже понятно. Генеративный ИИ постепенно переходит от отдельных картинок и фрагментов кода к созданию целых интерактивных миров под конкретный запрос.
Короче, Уилл Смит наконец доел спагетти. Теперь ждём GTA: Hobbiton — желательно раньше GTA VI.