Strona główna » Ai e-book o sztucznej inteligencji » Nowa metoda tworzenia i edytowania awatarów 3D

Nowa metoda tworzenia i edytowania awatarów 3D

by kapdes
3davatar

Naukowcy demonstrują nową metodę tworzenia i edytowania awatarów 3D

Nowe techniki sztucznej inteligencji umożliwiają tworzenie coraz bardziej realistycznych wirtualnych awatarów ludzi. Dwa ostatnie projekty badawcze Max Planck Institute for Intelligent Systems i innych instytutów prezentują podejścia, które rozdzielają różne elementy awatara, takie jak ciało, ubranie i włosy, aby umożliwić edycję, a nawet generowanie tekstu na awatara.

Rozdzielanie ciała, odzieży i włosów pomaga w generowaniu
W artykule zatytułowanym „DELTA: Learning Disentangled Avatars with Hybrid 3D Representations” naukowcy przedstawiają metodę tworzenia awatarów z oddzielnymi warstwami dla ciała i odzieży/włosów. Ich kluczowym pomysłem jest wykorzystanie różnych reprezentacji 3D dla różnych komponentów: Ciało jest modelowane za pomocą wyraźnego modelu opartego na siatce, podczas gdy odzież i włosy są reprezentowane za pomocą Neural Radiance Field (NeRF), które może uchwycić złożone kształty i wygląd.

3d

Metoda przekształcania tekstu w awatary TECA

Aby stworzyć nowego awatara, DELTA potrzebuje jedynie monokularowego wideo RGB jako wejścia. Po przeszkoleniu, awatar umożliwia wirtualne dopasowywanie odzieży lub edycja kształtu. Ubrania i włosy mogą być płynnie przenoszone między różnymi kształtami ciała.

Metoda przekształcania tekstu w awatary TECA wykorzystuje DELTA
W „TECA: Text-Guided Generation and Editing of Compositional 3D Avatars” badacze zajmują się następnie zadaniem tworzenia awatarów wyłącznie na podstawie opisów tekstowych. W tym celu wykorzystują Stable Diffusion i hybrydowe reprezentacje 3D opracowane w DELTA.

System najpierw generuje obraz twarzy z opisu tekstowego przy użyciu Stable Diffusion, który służy jako odniesienie dla geometrii 3D, a następnie iteracyjnie maluje siatkę teksturą. Następnie sekwencyjnie dodaje włosy, ubranie i inne elementy za pomocą NeRF kierowanych segmentacją CLIP.

Kompozycyjne awatary wygenerowane tą metodą wykazują znacznie wyższą jakość niż poprzednie techniki zamiany tekstu na awatary. Naukowcy twierdzą, że rozplątanie umożliwia również zaawansowaną edycję poprzez transfer atrybutów między awatarami.

Więcej informacji, przykłady i kod są dostępne na GitHubie DETLA i TECA.

Pozostałe artykuły