Что ждать от следующего поколения GeForce 6000 с DLSS 5: теория и предсказание развития

Но начну говорить не про NVIDIA, а про Google. Главный научный сотрудник Google DeepMind Джефф Дин предложил проект Frozen - концепцию чипа, где математическая структура нейросети и конкретные веса модели Gemini намертво запекаются в кремниевые дорожки кристалла.

Короче говоря, зачем вообще каждый раз загружать ллм из внешней памяти, вместо того чтобы сделать её физической частью самого процессора. Звучит круто, но появилась первая и логичная проблема: пока чип выйдет с фабрики (1-2 года), сама версия модели Gemini успеет устареть, и дорогой кремний станет бесполезным ломом.

Потом Джефф всё же нашел компромисс во второй версии своего чипа. В кремний намертво зашивается только неизменный каркас архитектуры (графы трансформера и механизм внимания Attention), а сами веса оставляют перезаписываемыми, чтобы модель можно было обновлять без смены чипа.

И самое главное, для чего всё это разрабатывается - скорость вычислений. Если сейчас модели разгоняются до 200-300 токенов в секунду, то при данном подходе, с нейронкой вшитой в чип, скорость достигает 17000 токенов в секунду. Это много где пригодится.

На данный момент проект закрыт внутри Google, но сама технология Model-on-Silicon доступна всей индустрии. Сторонние компании и стартапы (например, канадский Taalas) развивают эту технологию как коммерческий продукт. Они создают готовые чипы под открытые архитектуры (Llama) или предлагают запекать в кремний модели корпоративных клиентов на заказ.

Что на счет NVIDIA в итоге? В новом поколении карт они могут вшить DLSS 5 в свой чип, либо сделать двухчипную архитектуру, разместив аппаратный нейронный рендеринг отдельно от основного кристалла. Это позволит добиться отсутствия потери производительности, лучшего качества за счет скорости вычисления (намного лучшего чем щас тестят в демке в разных играх), и не будет необходимости в использовании двух видеокарт, как нам демонстрировали на первых роликах про DLSS 5.

Но инженерам придется продумать архитектуру нейронки так, чтобы в течении одного или нескольких поколений она была практически неизменна, кроме оставшихся программных компонентов нейросети.

Че дум по этому поводу? С радостью почитаю и пообщаюсь с вами.