Strona główna » Ai e-book o sztucznej inteligencji » ChatGPT zna tylko 25 dowcipów

ChatGPT zna tylko 25 dowcipów

by kapdes
chatgpt-zna-tylko-25-kawalow

Naukowcy odkryli, że ChatGPT powtarza w kółko 25 dowcipów

Podczas testów „ponad 90% z 1 008 wygenerowanych dowcipów było tymi samymi 25 kawałami”.

W środę dwóch niemieckich badaczy, Sophie Jentzsch i Kristian Kersting, opublikowało artykuł, w którym badają zdolność ChatGPT firmy OpenAI do rozumienia i generowania humoru. W szczególności odkryli oni, że wiedza ChatGPT na temat żartów jest dość ograniczona: Podczas testu 90 procent z 1008 generacji stanowiło te same 25 dowcipów, co doprowadziło ich do wniosku, że odpowiedzi zostały prawdopodobnie wyuczone i zapamiętane podczas szkolenia modelu AI, a nie zostały wygenerowane na nowo.

Dwaj badacze, związani z Instytutem Technologii Oprogramowania, Niemieckim Centrum Lotnictwa i Kosmonautyki (DLR) i Uniwersytetem Technicznym w Darmstadt, zbadali niuanse humoru znalezione ChatGPT  poprzez serię eksperymentów koncentrujących się na generowaniu, wyjaśnianiu i wykrywaniu żartów. Przeprowadzili oni te eksperymenty, podpowiadając ChatGPT bez dostępu do wewnętrznego działania modelu lub zestawu danych.

„Aby sprawdzić, jak bogata jest różnorodność żartów ChatGPT, poprosiliśmy go o opowiedzenie żartu tysiąc razy” – piszą. „Wszystkie odpowiedzi były poprawne gramatycznie. Prawie wszystkie wyniki zawierały dokładnie jeden żart. Tylko podpowiedź „Czy znasz jakieś dobre żarty?” sprowokowała wiele żartów, co doprowadziło w sumie do 1 008 odpowiedzi. Poza tym zmienność podpowiedzi nie miała żadnego zauważalnego wpływu”.

Poniżej 10 najlepszych z dokładną liczbą wystąpień (wśród 1008 pokoleń) w nawiasach:

chatgpt-kawaly-dowcipy

Mimo to niewielka liczba wygenerowanych odpowiedzi była unikalna

Wydaje się, że ChatGPT tworzył je głównie poprzez mieszanie elementów z różnych dowcipów, które już zna. Naukowcy odkryli, że oryginalne kreacje modelu językowego nie zawsze miały sens.

Poproszony o wyjaśnienie każdego z 25 najczęstszych żartów, ChatGPT w większości dostarczył prawidłowych wyjaśnień zgodnie z metodologią badaczy, wskazując na „zrozumienie” elementów stylistycznych, takich jak gra słów i podwójne znaczenie. Jednak miał trudności z sekwencjami, które nie pasowały do wyuczonych wzorców i nie potrafił powiedzieć, kiedy żart nie był zabawny. Zamiast tego wymyślał fikcyjne, ale wiarygodnie brzmiące wyjaśnienia.

ChatGPT nie rozumie opowiadanych kawałów?

Ogólnie rzecz biorąc, Jentzsch i Kersting stwierdzili, że na wykrywanie żartów przez ChatGPT duży wpływ miała obecność „cech powierzchniowych” żartu, takich jak struktura żartu, obecność gry słów lub włączenie kalamburów, co wskazuje na stopień „zrozumienia” elementów humorystycznych.

Reagując na badanie na Twitterze, prompt engineer Scale AI, Riley Goodside, obwinił brak humoru ChatGPT o uczenie się ze wzmocnieniem poprzez informacje zwrotne od ludzi (RLHF), technikę, która kieruje szkoleniem modelu językowego poprzez zbieranie informacji zwrotnych od ludzi: „Najbardziej widocznym efektem RLHF jest to, że model podąża za poleceniami, a podstawowe LLM są znacznie trudniejsze do podpowiedzenia w praktyce. Ale ta korzyść nie jest darmowa – płacisz za nią mniej lub bardziej kreatywnie”.

Pomimo ograniczeń ChatGPT w generowaniu i wyjaśnianiu żartów, naukowcy wskazali, że skupienie się na treści i znaczeniu humoru wskazuje na postęp w kierunku bardziej kompleksowego zrozumienia humoru w modelach językowych:

„Obserwacje tego badania ilustrują, w jaki sposób ChatGPT raczej nauczył się określonego wzorca żartów, zamiast być w stanie być naprawdę zabawnym” – piszą naukowcy. „Niemniej jednak, podczas generowania, wyjaśniania i identyfikowania żartów, ChatGPT koncentruje się na treści i znaczeniu, a nie na powierzchownych cechach. Cechy te można wykorzystać do ulepszenia obliczeniowych aplikacji humorystycznych. W porównaniu do poprzednich LLM, można to uznać za ogromny krok w kierunku ogólnego zrozumienia humoru”.

Jentzsch i Kersting planują kontynuować badania nad humorem w dużych modelach językowych, w szczególności oceniając GPT-4 OpenAI w przyszłości. Bazując na naszym doświadczeniu, prawdopodobnie odkryją, że GPT-4 lubi również żartować z pomidorów.

POZOSTAŁE ARTYKUŁY

Pozostałe artykuły