NVIDIA представила графический процессор Hopper H200 с 141 ГБ памяти HBM3e
Благодаря HBM3e NVIDIA H200 обеспечивает 141 ГБ памяти со скоростью 4,8 терабайт в секунду, что почти вдвое больше по объему и в 2,4 раза больше по пропускной способности по сравнению с предшественником NVIDIA A100.
@Mao вот с такой штукой можно будет генерить и общаться в чат-боте, все на лету и оффлайн
И так можно. Тем более если использовать LCM
Не ну так то 13b модели на 12гб в 4bit режиме тоже на лету общаются. Хотя конечно покрутить на таком всякие здоровенные модели точно вкусно
Я даже придумать не могу для чего сколько может понадобиться, возможно там выше написано для чего, но я прям не вчитывалась. Но думаю этот монстр будет стоить как машина.