Strona główna » Ai e-book o sztucznej inteligencji » MetaDreamer generuje modele 3D z tekstu w rekordowym czasie

MetaDreamer generuje modele 3D z tekstu w rekordowym czasie

by kapdes
MetaDreamer-3d

MetaDreamer generuje modele 3D z tekstu w rekordowym czasie

Generatywna sztuczna inteligencja dla modeli 3D robi stałe postępy. Najnowszy system pochodzi od naukowców z Chin i jest jak dotąd najszybszy.

Naukowcy z MetaApp AI Research i kilku chińskich uniwersytetów opracowali MetaDreamer, nowe narzędzie do szybkiego tworzenia modeli 3D z opisów tekstowych. Metoda ta ma na celu przezwyciężenie typowych problemów związanych z tworzeniem modeli 3D, takich jak niespójności pod różnymi kątami i powolny czas przetwarzania.

W tym celu zespół oddziela proces generatywny. MetaDreamer działa w dwóch głównych etapach: Najpierw narzędzie kształtuje obiekt 3D (faza geometrii), aby zapewnić jego prawidłowy wygląd pod każdym kątem. Następnie, w fazie teksturowania, MetaDreamer dodaje szczegóły i tekstury, aby obiekt wyglądał realistycznie.

MetaDreamer generuje model w 20 minut

W szczególności, w fazie geometrii zespół MetaDreamer optymalizuje zgrubny model 3D w Instant-NGP z obrazem referencyjnym wygenerowanym przez model dyfuzyjny i kilkoma obrazami wygenerowanymi przez model dyfuzyjny z wieloma widokami pod różnymi kątami. W drugiej fazie wynikowy model jest dalej udoskonalany w Instant-NGP z dodatkowymi szczegółowymi obrazami wygenerowanymi przez sztuczną inteligencję.

Według zespołu, metoda ta skutkuje szybszymi i wyższej jakości modelami 3D. MetaDreamer może tworzyć szczegółowe obiekty 3D z tekstu w zaledwie 20 minut na procesorze graficznym Nvidia A100, co jest obecnie najszybszym czasem w tej dziedzinie.

MetaDreamer wykazuje skok jakości w porównaniu do starszych metod

W testach naukowcy porównali MetaDreamer z innymi metodami przekształcania tekstu w 3D, takimi jak Dreamfusion i Magic3D. MetaDreamer przewyższył te metody pod względem szybkości, jakości i stopnia dopasowania modeli do opisów tekstowych. MetaDreamer osiągnął również najwyższy wynik w benchmarku T3Bench, będącym standardem pomiaru jakości modeli 3D.

Jednak narzędzie nie jest jeszcze doskonałe; na przykład ma trudności z tworzeniem scen z wieloma obiektami. Zespół planuje rozwiązać ten problem w przyszłości, poprawiając zrozumienie modelu interakcji obiektów w przestrzeni 3D.

Inne przykłady generatywnych modeli sztucznej inteligencji dla 3D

Dream Fields Google, CLIP-Mesh, Point-E i Shap-E OpenAI, Dream3D Tencent lub, ostatnio, 3D Gaussian Splatting. Luma AI posiada również komercyjną ofertę o nazwie Genie.

Pozostałe artykuły