Strona główna » Ai e-book o sztucznej inteligencji » LAION publikuje nowe modele open source

LAION publikuje nowe modele open source

by kapdes
1

Organizacja LAION zajmująca się badaniami nad sztuczną inteligencją wystosowała list otwarty do Parlamentu Europejskiego

W którym zaleca, aby wysiłki regulacyjne w sektorze sztucznej inteligencji zachęcały do korzystania z modeli AI typu open source. Zbiory danych LAION są szeroko wykorzystywane do trenowania modeli AI.

Zgodnie z listem, który jest wspierany przez Europejskie Laboratorium Uczenia się i Inteligentnych Systemów oraz kilku innych wiodących programistów i badaczy AI, modele AI typu open source oferują większe bezpieczeństwo, odpowiedzialność, odtwarzalność i solidność niż modele o zamkniętym kodzie źródłowym ze względu na ich przejrzystość.

List sugeruje, że korzystanie z modeli open-source może sprzyjać innowacjom, szczególnie w małych i średnich przedsiębiorstwach, minimalizować zbędne szkolenia, być bardziej przyjazne dla środowiska i sprostać globalnym wyzwaniom w obszarach takich jak zdrowie i zmiany klimatu.

Korzyści płynące z modeli AI typu open-source

Przejrzystość sztucznej inteligencji typu open source pozwala również na szeroko zakrojoną ocenę społeczności i pomaga identyfikować i eliminować luki w zabezpieczeniach wcześniej niż jest to możliwe w przypadku systemów zamkniętych, twierdzi LAION, podając Linux jako pozytywny przykład.

Odtwarzalne i przejrzyste modele open-source umożliwiają niezależną walidację wyników AI, zapewniając zaufanie i rzetelność naukową.

Skupienie wysiłków regulacyjnych na zastosowaniach sztucznej inteligencji, a nie na technologiach wspomagających, mogłoby zachować korzyści płynące z modeli open-source bez tłumienia innowacji, argumentuje list.

Mniejszym firmom lub ruchom open-source jest trudniej spełnić złożone wymogi regulacyjne

Jeśli chcą opracować nowe technologie sztucznej inteligencji bez bezpośredniego zamiaru komercyjnego.

Autorzy zalecają również, aby firmy komercyjne były zachęcane do udostępniania swoich podstawowych modeli open source, zachowując jednocześnie własność dopracowanych wersji do zastosowań branżowych. Strategia ta umożliwiłaby szerszy dostęp do podstawowych modeli bez uszczerbku dla konkurencyjności komercyjnej.

Wydaje się, że Meta obecnie stosuje tę strategię w swoich modelach Llama, ale inne firmy zajmujące się technologią sztucznej inteligencji, takie jak Google, OpenAI i Microsoft, ściśle przestrzegają zasady zamkniętego oprogramowania.

OpenLM ma na celu zwiększenie wydajności szkolenia AI

LAION wprowadza również OpenLM, nową bazę kodu PyTorch do wydajnego szkolenia średniej wielkości modeli językowych. Według LAION, OpenLM został zaprojektowany tak, aby w pełni wykorzystać zasoby GPU, zwiększyć szybkość szkolenia i można go łatwo dostosować do nowych projektów badawczo-rozwojowych.

Na potrzeby testów, firma LAION wytrenowała modele językowe OpenLM-1B i OpenLM-7B przy użyciu dużego zestawu tokenów tekstowych (odpowiednio 1,6 biliona i 1,25 biliona). Token to pojedyncza jednostka danych, która po złożeniu tworzy większą jednostkę danych, podobną do zdań składających się ze słów, liter i znaków interpunkcyjnych.

Oczekuje się, że w przypadku zadań takich jak klasyfikacja tekstu bez strzałów i wielokrotny wybór, modele OpenLM przewyższą alternatywy open source, takie jak OPT-1.3B i Pythia-1B, i osiągną wydajność porównywalną z LLAMA-7B i MPT-7B. Laion publikuje modele językowe i treningowe zbiory danych na Huggingface.

Petycja LAION w sprawie międzynarodowego superkomputera AI o otwartym kodzie źródłowym

Oprócz listu otwartego, LAION wystosował w kwietniu petycję o utworzenie superkomputera finansowanego ze środków publicznych w celu wspierania międzynarodowych badań i rozwoju sztucznej inteligencji typu open source. Pod petycją zebrano 3 627 podpisów.

Propozycja ma na celu zapewnienie technologicznej niezależności od dużych korporacji technologicznych. Proponowany superkomputer wspierałby rozwój podstawowych modeli sztucznej inteligencji typu open source i zapewniał niezbędną infrastrukturę dla przejrzystej przyszłości sztucznej inteligencji.

Laion zdobył niedawno nagrodę „The Falling Walls Science Breakthrough of the Year Award” w kategorii Science and Innovation Management za „demokratyzację badań nad sztuczną inteligencją poprzez zapewnienie otwartego dostępu do zaawansowanych modeli, narzędzi i zbiorów danych sztucznej inteligencji, wspieranie zaangażowania i świadomości społecznej oraz promowanie międzynarodowej współpracy w celu stworzenia przejrzystego i integracyjnego ekosystemu sztucznej inteligencji, który przynosi korzyści wszystkim”.

Źródło: 

https://laion.ai/documents/transparent-ai.pdf
https://www.openpetition.eu/petition/online/
https://laion.ai/blog/falling-walls-2023/

Pozostałe artykuły