Как нейросети помогают мне в 3D

Я как 3D-художник с двухлетним стажем уже давно интересуюсь ИИ в сфере 3D-моделирования. Но когда в 2D или кодинге ИИ уже повсеместно используется, то в 3D ИИшка еще мало что может.

Но, тем не менее, прогресс в развитии генеративного моделирования наблюдается, и все-таки пару раз она меня выручала.

Первое знакомство было шуточное еще в 2023 году, просто засунул фотку своего кореша в нейронку и сделал простую анимацию получившегося - рофла ради.

Тогда ИИ в 3D из себя особо ничего не представляло, и я даже не думал, что когда-то оно мне понадобится. Но затем мне по работе нужно было сделать скульптуру статуи, а я в тот момент не особо умел скульптить, но выкручиваться как-то надо было.

Тогда я вспомнил, что когда-уже пользовался "богомерзским" ИИ и попробовал сделать силует статуи через изображение

Получившейся силуэт я уже смог использовать как базу для скульптинга, поэтому в какой-то степени она облегчила мне работу.

Но, так или иначе, тогда мне повезло. Когда я пробовал сделать силуэт по другим статуям, то результат уже сделать необходимый не выходило. Да и думаю нормальные бы скульпторы ужаснулись бы от такой сетки на статуи, но я делал это для 3D-печати в миниатюре, поэтому такого результата мне было достаточно, чтобы продолжить работу над ней.

Тогда я использовал нейронку от Майкрософт - Trellis.

Совсем недавно я начал делать 3D сцену с лего-человечками. Этот проект до сих пор в работе, и из-за большого количества объектов я не смог бы все смоделить самостоятельно. Многие лего-детали я брал с Mecabricks, онлайн-редактора для лего-дизайнеров.

Но в какой-то момент мне понадобилось уникальная деталь, которой не было нигде в интернете. Пришлось моделить самому.

Деталь эта с довольно сложными и сглаженными формами. Я до этого момента практически ничего не делал сложного под сглаживание, поэтому несколько дней я просто ломал голову как бы подойти к моделированию такого объекта.

Но ничего в итоге удобоваримого не получалось. Банально не хватало опыта, чтобы получить такую сложную форму, чтобы был правильный шейдинг и хорошая сетка.

Тогда я отчаялся, но вспомнил, что когда-то пользовался нейронками, и подумал: "может в этот раз она поможет мне?".

Пробовал через вышеупомяянутый Trellis, но через нее не получилось. Через несколько часов поисков я нашел нужную нейронку - Meshy.

Возможно, есть и другие, более эффективные нейронки, но остановился на этой, как промежуточный результат меня она устраивала , да и подписку я уже оформил)

В итоге я сфотографировал эту деталь нагрудника, немного обработал ее в фотошопе и загрузил в нейронку. С первого раза не получилось, так как она генерировала только с одного изображения, пришлось немного повозиться с ракурсами, чтобы получить приемлемый результат. В итоге остановился на следующем:

Модель, которую дала мне нейронка, всё равно было сложно назвать удовлетворительной. Но в целом общий силуэт и форму я получить смог, и этого мне было достаточно, чтобы сдвинуться с мёртвой точки.

Далее, 3 долгих и трудных дня, я пытался превратить этот полуфабрикат в нормальную модель. Естественно, обрабатывать генеративную модель я не стал, я использовал ее как каркас, который уже обмоделивал вручную полигонами, как этим обычно занимаются на этапе ретопологии.

Так или иначе, все равно было трудно получить сглаженную форму, поб SubD с хорошим шейдингом, но в итоге, более или менее, у меня это получилось.

И даже сетку получилось сделать правильную

Таким вот образом я смог сделать довольно сложный объект, который бы с нуля вряд ли бы смог самостоятельно сделать.

Как я уже говорил, ИИ сейчас (да и, скорее всего, в будущем) вряд ли сможет полноценно делать качественные модели с хорошей топологией и разверткой.

Да, ИИ не панацея, но как дополнительный инструмент уже вполне можно использовать. Например, если у вас, как и у меня, есть проблемы с считыванием форм, или вам не хватает референсов, то попробовать, думаю, стоит.

Но, справедливости ради, ИИ в 3D не стабильно выдает необходимый результат, так что попробовать стоит, но при этом всегда нужно держать в голове, что иногда придется выкручиваться самостоятельно. Да и тот результат, который вроде бы и годится, все равно без навыков превратить в нормальную модель не получится.

Как-то так. Надеюсь было полезно. Может быть кто-нибудь уже тоже использует ИИ в 3D? Было бы интересно узнать как и где)