Strona główna » Ai e-book o sztucznej inteligencji » OpenAI anulowało „Arrakis”?

OpenAI anulowało „Arrakis”?

by kapdes
arrakis

OpenAI pracowało nad nowym modelem sztucznej inteligencji o nazwie kodowej Arrakis

Który sprawiłby, że wnioskowanie o sztucznej inteligencji byłoby tańsze. Firma wstrzymała jednak prace z powodu problemów z jakością.

Arrakis miał być równie wydajny jak GPT-4, ale tańszy we wdrożeniu, ponieważ model został częściowo zaprojektowany przy użyciu tak zwanej zasady rzadkiej. Oznacza to, że tylko część sieci neuronowej jest wykorzystywana do przetwarzania danych wejściowych, podczas gdy w tradycyjnych „gęstych modelach” aktywna jest cała sieć neuronowa. Na przykład Google wykorzystuje zasadę rzadkości w swoim projekcie Pathways AI.

Rozwój Arrakis rozpoczął się jesienią ubiegłego roku, a szkolenie rozpoczęło się wiosną.

Jednak zespół programistów OpenAI szybko zdał sobie sprawę, że wydajność jest niewystarczająca, donosi The Information, powołując się na dwie osoby zaznajomione z projektem.

Przez miesiąc zespół pracował nad poprawkami, a następnie zespół kierowniczy zabił projekt, podały źródła. Nie jest jasne, dlaczego zasada sparse działała dobrze we wczesnych testach, ale zawiodła w przypadku większego modelu.

Arrakis – przejście na „GPT-4 Turbo”

Pomimo niepowodzenia, OpenAI może włączyć swoją pracę nad Arrakis do innych modeli, takich jak planowany multimodalny model Gobi. Po nieudanej próbie szkolenia z Arrakis, naukowcy OpenAI skupili się na opracowaniu wersji GPT-4, która generuje szybsze odpowiedzi, zgodnie z The Information.

Może to być wersja GPT-4 „0613”, która została wprowadzona tego lata, która jest znacznie szybsza niż wersja „0314”, z którą OpenAI wystartowało w marcu. Niektórzy użytkownicy skarżyli się na utratę jakości w niektórych obszarach, czemu OpenAI zaprzecza, ale co spowodowało, że firma udostępniła 0314 za pośrednictwem API dłużej niż pierwotnie planowano.

OpenAI przenosi sztuczną inteligencję na pustynię
Gobi, Sahara i Arrakis: Nowe prototypy modeli sztucznej inteligencji zostały nazwane na cześć pustyń, w ukłonie dla zasady rzadkości i w nadziei, że modele będą działać wydajniej i obniżą koszty. W szczególności partner OpenAI, Microsoft, miał nadzieję, że Arrakis sprawi, że wykorzystanie generatywnej sztucznej inteligencji w jego produktach będzie tańsze.

Według raportu opublikowanego w Wall Street Journal, sam Microsoft przeniósł zasoby na rozwój tańszych modeli językowych, ponieważ wysoki koszt generatywnej sztucznej inteligencji zagraża powstającym modelom biznesowym.

Poprzednie przecieki na temat Arrakis

Wyciek OpenAI FeltSteam informował wcześniej o Arrakis. Model ten miał generować obrazy i filmy oprócz tekstu, mieć mniej halucynacji niż GPT-4 i nadawać się jako autonomiczny agent. Ponadto Arrakis będzie częściowo szkolony z wykorzystaniem danych syntetycznych. Premiera planowana była na przyszły rok.

Według FeltSteam, Arrakis może być nie tyle pojedynczym modelem, co systemem generowania bardziej wydajnych modeli. Być może pomógł on w rozwoju GPT-3.5 Turbo.

Z perspektywy czasu istnienie multimodalnego Arrakisa może wyjaśniać oświadczenie złożone przez CTO Microsoft Germany, Andreasa Brauna. Na początku marca 2023 roku, na tydzień przed oficjalną prezentacją GPT-4, mówił on o „multimodalnych modelach”, które mogłyby również generować wideo. W tym czasie OpenAI prawdopodobnie wciąż pracowało nad Arrakis.

Źródło:reddit.com/r/singularity/comments/17a8z77/well_arrakis_is_confirmed_and_jimmy_apples_is_back/?rdt=58160

Pozostałe artykuły