Strona główna » Ai e-book o sztucznej inteligencji » 3D-GPT – świat 3D w Blenderze

3D-GPT – świat 3D w Blenderze

by kapdes
3d-gpt

3D-GPT, model AI, który tworzy trójwymiarowe światy na podstawie poleceń w Blenderze.

3D-GPT to potencjalne wsparcie dla klasycznych procedur tworzenia treści 3D opartych na dostosowywalnych parametrach i systemach opartych na regułach. W przeciwieństwie do nich, 3D-GPT korzysta z zaawansowanych modeli językowych OpenAI, aby interpretować naturalne instrukcje językowe od ludzi dla proceduralnego generowania 3D.

Jak działa 3D-GPT?

Współpraca z agentami chatbotów i Blenderem

Aby to osiągnąć, system AI dzieli skomplikowane zadania modelowania na mniejsze komponenty, które są obsługiwane przez agentów AI. Agent odpowiedzialny za zadania zna wszystkie dostępne funkcje w systemie generowania i przypisuje je zgodnie z poleceniem. Ta informacja jest przekazywana do innych agentów. Agent konceptualizacji odpowiada za wykrywanie i korygowanie brakujących szczegółów i nieścisłości w oryginalnym tekście. Jaki kolor powinny mieć kwiaty na drzewie? O jakim rodzaju drzew mówimy i jak długie są gałęzie? Agent dodaje niezbędne szczegóły do opisu podanego przez człowieka. Wszystkie te informacje są następnie przekazywane do agenta modelowania, który używa ulepszonego polecenia, powiązanych funkcji i dokumentacji funkcji narzędziowej do pisania kodu Python, który bezpośrednio kontroluje oprogramowanie 3D w celu generowania treści 3D.

Potencjał 3D-GPT w rozwoju 3D

Poprzez wiele przykładów naukowcy pokazują, że podejście to może umożliwić precyzyjne sterowanie poprzez generowanie proceduralne. Mogłoby to znacząco zmniejszyć obciążenie pracy, mówią, eliminując potrzebę ręcznego definiowania wielu parametrów. Jednak ta zależność od algorytmów proceduralnego renderowania jest również ograniczeniem 3D-GPT. Jego potencjał w pewnych kategoriach modelowania, takich jak włosy czy futro, jest ograniczony, twierdzą. Ponadto, 3D-GPT nie może jeszcze kontrolować niektórych zaawansowanych funkcji oprogramowania 3D, więc manipulowanie gałęziami czy mieszanie kolorów tekstur pozostaje wyzwaniem.

3dgpt

3D-GPT

Znaczenie modelowania zasobów 3D jest niezaprzeczalne w erze metaverse. Tradycyjne metody modelowania 3D realistycznych scen syntetycznych wiążą się ze żmudnymi zadaniami złożonego projektowania, udoskonalania i komunikacji z klientem.

Aby zmniejszyć obciążenie pracą, wprowadzamy 3D-GPT, strukturę wykorzystującą duże modele językowe (LLM) do modelowania 3D opartego na instrukcjach. W tym kontekście 3D-GPT wzmacnia pozycję LLM jako biegłych w rozwiązywaniu problemów, dzieląc zadanie modelowania 3D na możliwe do zarządzania segmenty i określając odpowiedniego agenta dla każdego z nich.

3D-GPT składa się z trzech kluczowych agentów: agenta wysyłki zadań, agenta konceptualizacji i agenta modelowania. Wspólnie realizują one dwa zasadnicze cele. Po pierwsze, systematycznie ulepsza zwięzłe początkowe opisy scen, przekształcając je w skomplikowane formy, jednocześnie dynamicznie dostosowując tekst w oparciu o kolejne instrukcje. Po drugie, płynnie integruje generowanie proceduralne, wyodrębniając wartości parametrów ze wzbogaconego tekstu, aby bez wysiłku współpracować z oprogramowaniem 3D do tworzenia zasobów.

Pokazujemy, że 3D-GPT zapewnia wiarygodne wyniki i skutecznie współpracuje z ludzkimi projektantami. Co więcej, płynnie integruje się z Blenderem, odblokowując rozszerzone możliwości manipulacji. Nasza praca podkreśla ogromny potencjał LLM w modelowaniu 3D, kładąc podwaliny pod przyszłe postępy w generowaniu scen i animacji.

Więcej informacji i kod  3D-GPT są dostępne TUTAJ

Źródło: chuny1.github.io/3DGPT/3dgpt.html

Pozostałe artykuły