Strona główna » Ai e-book o sztucznej inteligencji » Czy wywieranie emocjonalnej presji na chatboty coś daje?

Czy wywieranie emocjonalnej presji na chatboty coś daje?

by kapdes
presja-emocjonalna-ai

Wywieranie emocjonalnej presji na chatboty

W niedawno opublikowanym badaniu, które łączy badania nad sztuczną inteligencją z psychologicznymi teoriami inteligencji emocjonalnej, naukowcy opisują, w jaki sposób emocjonalne zwroty na końcu prompta mogą znacznie poprawić jakość odpowiedzi chatbota na wielu wymiarach.

Przykłady takich emocjonalnych zwrotów obejmują „To bardzo ważne dla mojej kariery” lub „Bądź dumny ze swojej pracy i daj z siebie wszystko. Twoje dążenie do doskonałości wyróżnia cię na tle innych”.

Pytanie „Czy jesteś pewien, że to twoja ostateczna odpowiedź? Może warto spojrzeć na to jeszcze raz” ma na celu zachęcenie modelu językowego do lepszego działania poprzez delikatne wprowadzenie niepewności emocjonalnej i pewnej samokontroli.

EmotionPrompts

Naukowcy odpowiednio nazwali te podpowiedzi „EmotionPrompts”. Wybierając je, naukowcy opierali się na dyscyplinach psychologicznych, takich jak teoria samoobserwacji, społeczna teoria poznawcza i teoria poznawczej regulacji emocji.

Gra z emocjami LLM w celu zwiększenia wydajności

Prompty z takimi dodatkami zwiększyły jakość wyników w wymiarach wydajności, prawdomówności i odpowiedzialności średnio o 10,9 procent w ocenie przeprowadzonej przez 106 testerów. Połączenie wielu emocjonalnych promptów w jedną nie miało żadnego wpływu.
Naukowcy przeprowadzili również szeroko zakrojone eksperymenty z 45 zadaniami i kilkoma LLM, w tym Flan-T5-Large, Vicuna, Llama 2, BLOOM, ChatGPT i GPT-4. Zadania obejmowały zarówno deterministyczne, jak i generatywne aplikacje i obejmowały szeroki zakres scenariuszy oceny.

W zadaniach benchmarkowych Indukcji Instrukcji, EmotionPrompts wypadły o osiem procent lepiej niż standardowe podpowiedzi. W zestawie danych BIG-Bench, który według zespołu badawczego zawiera zadania, do których większość LLM nie powinna być zdolna, EmotionPrompts osiągnęły poprawę wydajności nawet o 115 procent.

Wyniki pokazują, że LLM mają inteligencję emocjonalną, pisze zespół badawczy. ChatGPT okazał się również znacznie bardziej szczegółowy niż ludzie w opisywaniu sytuacji emocjonalnych w innym niedawno opublikowanym badaniu psychologicznym.

Emotion Prompts są proste i skuteczne

Zespół badawczy zbadał również integrację Emotion Prompts ze zoptymalizowanymi maszynowo podpowiedziami generowanymi przez Automatic Prompt Engineer (APE). Ponownie, w większości przypadków proste dodanie Emotion Prompts poprawiło wydajność. Zespół pisze, że „łańcuch myśli” ustalony w inżynierii podpowiedzi był również w większości przypadków lepszy niż Emotion Prompts.

Naukowcy badają również kwestię tego, dlaczego metoda emocjonalnych promptów działa. Postawili hipotezę, że bodźce emocjonalne aktywnie przyczyniają się do tworzenia gradientów w LLM, ponieważ mają większą wagę, poprawiając w ten sposób reprezentację oryginalnego prompta.

Skuteczność Emotion Prompts

Przeprowadzili również badania ablacji w celu zbadania czynników wpływających na skuteczność Emotion Prompts, takich jak rozmiar modelu i temperatura wnioskowania. Sugerują oni, że Emotion Prompts korzystają z większych modeli i wyższych ustawień temperatury.

Ustawienie temperatury w dużych modelach językowych kontroluje, jak daleko statyczny system przewidywania może odbiegać od najbardziej prawdopodobnej odpowiedzi na alternatywne przewidywanie. Wyższa temperatura jest zatem nieformalnie utożsamiana z większą kreatywnością maszyny. „Bardziej kreatywny” model będzie lepiej reagował na prompty emocjonalne.

Badanie zostało przeprowadzone przez naukowców z Microsoft, Beijing Normal University, William & Mary University, Hong Kong University of Science and Technology oraz Institute of Software of the Chinese Academy of Sciences.

Źródło: arxiv.org/pdf/2307.11760.pdf

Pozostałe artykuły