NVIDIA продемонстрировала производительность GPU нового поколения B100 Blackwell в большой языковой модели GPT-3 175B
Переведено с помощью DeepL
Графические процессоры B100 и GB200 - это не обычные графические процессоры, они также выходят за рамки обычных графических возможностей.
Теперь эти ускорители для центров обработки данных решают сложные задачи, в частности, стимулируют инновации, связанные с большими языковыми моделями.
NVIDIA прогнозирует рост и стремится занять свою законную долю рынка в 2024 году.
Компания подтверждает, что графический процессор B100 будет представлен в следующем году.
Последние слайды со специального выступления SuperComputing 2023 подтверждают, что дебют Blackwell действительно состоится в следующем году, несмотря на отсутствие явного подтверждения этого ранее.
Следует отметить, что новость о Blackwell HPC не следует переносить на потенциальную игровую версию этой архитектуры. Она относится исключительно к GB100 - начальному поколению этой архитектуры.
По данным NVIDIA, B100 обеспечивает существенный прирост в выводах для модели GPT-3, содержащей 178 миллиардов параметров.
Потенциально это улучшение вдвое и более превосходит возможности существующей архитектуры H200.
Однако важно отметить, что, хотя на графике явно показана производительность модели Large Language Model (Большая Языковая Модель / LLM), это не обязательно означает эквивалентный уровень сырой вычислительной мощности, если только не произойдет существенного увеличения числа ядер и энергоэффективности, что представляется маловероятным при таком масштабе.
Более того, NVIDIA утверждает, что в B100 будет еще больше увеличена пропускная способность памяти.
В текущей итерации GPU Hopper уже используется технология HBM3e, обеспечивающая пропускную способность до 4,8 ТБ/с.
Ожидается, что в грядущих чипах Blackwell эта технология будет использоваться и дальше, возможно, с дополнительными стеками и увеличенной пропускной способностью.
NVIDIA подчеркивает свое стремление разрабатывать архитектуры с учетом поддержки будущих технологий памяти, что подтверждается интеграцией HBM3e в GPU GH200 в этом году.
NVIDIA пока хранит молчание относительно каких-либо подробностей, касающихся потенциальной игровой архитектуры Blackwell. Однако слухи намекают на возможность появления новой серии чипов GB20x для серии RTX 50, хотя точные сроки их выпуска пока не раскрываются.
Стоит отметить, что номенклатура "Blackwell" происходит от имени Дэвида Гарольда Блэкуэлла, американского статистика и математика, известного своим вкладом в теорию игр, вероятностей и теорию информации.
Преемник архитектуры Blackwell пока не назван.