Meta представила SAM 3D: революция в 3D-реконструкции из обычных фото
19 ноября 2025 года Meta выпустила целый набор проектов семейства Segment Anything, включая SAM 3D — первую модель в линейке SAM, способную создавать полноценные 3D-реконструкции из обычных 2D-изображений
Что релизнули?
Релиз включает три основных компонента:
- SAM 3 (Блог здесь) — новая модель для видео-сегментации и композитинга с открытым кодом, весами, датасетами и кодом для файнтюна. В отличие от предыдущих версий, SAM 3 поддерживает текстовые промпты и может находить все экземпляры объекта в кадре, а не только один
- Segment Anything Playground — демо-платформа для тестирования всех моделей, работает быстро и пока даже без регистрации
- SAM 3D (Блог здесь) — две модели для создания 3D из фотографий: SAM 3D Objects для реконструкции объектов и сцен, и SAM 3D Body для оценки тела и формы человека
Подробнее про SAM 3D
Как и было сказано выше, SAM 3D - это две модели. Давайте разберем каждую поподробнее
SAM 3D Objects: от фото к 3D-сцене
SAM 3D Objects решает задачу создания детальных 3D-моделей объектов из одного обычного фото. На входе — фотография, на выходе — полноценная 3D-модель с текстурой и правильным расположением в пространстве. Главная фишка — модель работает с реальными фотографиями из жизни, где объекты частично перекрыты, сняты под углом или находятся далеко
Секрет технологии — в масштабном аннотировании данных. Meta построила data engine, который использует оценку качества моделей людьми вместо создания 3D с нуля, что значительно дешевле. Результат — аннотировано почти миллион изображений и сгенерировано 3.14 миллиона мешей
SAM 3D Body: точная реконструкция человека
SAM 3D Body специализируется на создании 3D-моделей людей с точной оценкой позы и формы тела, даже в сложных условиях с окклюзией и необычными позами. Модель использует новый открытый формат Meta Momentum Human Rig (MHR), который разделяет скелет и мягкие ткани для лучшей интерпретации
Ключевая особенность — интерактивность. Можно направлять модель с помощью масок сегментации и 2D-ключевых точек, что дает полный контроль над результатом. 3D-модели получаются сразу со скелетом, готовые для анимации
Открытый релиз
Meta делает ставку на open source. В открытый доступ выложены чекпоинты моделей, код для инференса, датасеты, бенчмарки и сам формат MHR. Для SAM 3 доступны веса модели и код для файнтюна.