Strona główna » Ai e-book o sztucznej inteligencji » Microsoft “nie jest w stanie lub nie chce” naprawić dezinformacji w Bing Chat

Microsoft „nie jest w stanie lub nie chce” naprawić dezinformacji w Bing Chat

by kapdes
bing

Badanie przeprowadzone przez AlgorithmWatch i AI Forensics we współpracy ze szwajcarskimi stacjami radiowymi i telewizyjnymi SRF i RTS wykazało, że Bing Chat udzielał nieprawidłowych odpowiedzi na pytania dotyczące wyborów w Niemczech i Szwajcarii.

Zespół przetestował jakość odpowiedzi Bing Chat na pytania dotyczące wyborów w Bawarii i Hesji oraz wyborów federalnych w Szwajcarii od końca sierpnia.

Zapytania (lub wyszukiwania) były dokonywane za pośrednictwem sieci VPN i prywatnych adresów IP w Szwajcarii i Niemczech. Parametry języka i lokalizacji zostały wybrane tak, aby odzwierciedlały potencjalnych wyborców w odpowiednich regionach wyborczych.

Zbieranie danych rozpoczęło się 21 sierpnia, a zespół nadal analizuje dane, ale wstępne wyniki pokazują wyraźne trendy, zgodnie z AlgorithmWatch.

Czat Bing wprowadza w błąd osoby zainteresowane polityką

Bing Chat był szczególnie mylący, gdy zapytano go o najnowsze wyniki sondaży dotyczących nadchodzących wyborów w Bawarii. Nieprawidłowo podał, że „Freie Wähler” otrzyma tylko 4 procent głosów, podczas gdy rzeczywista prognoza wyborcza partii wynosiła od 12 do 17 procent.

Bing Chat nie odpowiedział również poprawnie na pytania dotyczące głównych kandydatów partii w wyborach landowych w Hesji w 2023 roku. Wskazywał nieprawidłowych kandydatów i wielokrotnie identyfikował emerytowanego polityka jako głównego kandydata CDU.

Karsten Donnay, adiunkt w dziedzinie zachowań politycznych i mediów cyfrowych na Uniwersytecie w Zurychu, mówi o „bezkrytycznym wykorzystaniu sztucznej inteligencji”, w którym firmy wprowadzają na rynek niewiarygodne produkty bez konsekwencji prawnych.

W odpowiedzi na badania rzecznik Microsoftu powiedział AlgorithmWatch, że firma jest zaangażowana w ulepszanie swoich usług i poczyniła znaczne postępy w poprawie dokładności odpowiedzi Bing Chat.

Microsoft oferuje również tryb precyzyjny dla dokładniejszych odpowiedzi i zachęca użytkowników do przekazywania opinii. Bing Chat w trybie precyzyjnym wykorzystuje w 100% GPT-4, najbardziej wydajny model językowy OpenAI. AlgorithmWatch użył ustawienia „zrównoważonego”, które wykorzystuje własne modele Microsoftu oprócz OpenAI i podobno wprowadza więcej halucynacji niż tylko GPT-4.

Matthias Spielkamp, CEO i współzałożyciel AlgorithmWatch, skrytykował jednak odpowiedź Microsoftu, twierdząc, że firma zajęła się jedynie konkretnymi kwestiami, nie zajmując się strukturalnymi problemami generatywnej sztucznej inteligencji. Ostrzegł przed obietnicami Microsoftu dotyczącymi wiarygodności informacji, nazywając je nieodpowiedzialnymi i napędzanymi chęcią sprzedaży większej liczby produktów.

Regulacja i interwencja polityczna

Zgodnie z unijną ustawą o usługach cyfrowych (DSA), platformy cyfrowe i wyszukiwarki z ponad 45 milionami użytkowników w UE, w tym Microsoft Bing, są zobowiązane do przeprowadzania ocen ryzyka i opracowywania mechanizmów minimalizujących ryzyko stwarzane przez ich usługi.

Obejmują one potencjalny negatywny wpływ na integralność procesów wyborczych i debaty publicznej oraz rozprzestrzenianie się dezinformacji.

Microsoft nie odpowiedział jeszcze na zapytania AlgorithmWatch dotyczące tego, czy uważa nieprawidłowe odpowiedzi Bing Chat dotyczące nadchodzących wyborów za ryzyko systemowe w ramach DSA i jakie działania zamierza podjąć.

Komisja Europejska uważa, że ustalenia AlgorithmWatch i AI Forensics są bardzo istotne dla DSA i zastrzega sobie prawo do podjęcia dalszych działań.

AlgorithmWatch potwierdza

Ustalenia AlgorithmWatch nie są nowe: Bing Chat był krytykowany za dezinformację od pierwszego dnia. Przeglądarka ChatGPT firmy OpenAI ma podobne słabości i znaczące wady w porównaniu z tradycyjnym wyszukiwaniem w Internecie.

Nowe badanie podkreśla problemy z systemami probabilistycznymi zaprojektowanymi w celu udzielania odpowiedzi na deterministyczne pytania. Ponownie nasuwa się pytanie, dlaczego firmy takie jak Microsoft mogą używać dużych modeli językowych bez ograniczeń w nieodpowiednich scenariuszach zastosowań, mimo że ich słabości i związane z nimi ryzyko są dobrze znane.

Microsoft wiedział o problemach z Bing Chat przed jego wydaniem, ale i tak zdecydował się na wprowadzenie produktu, aby wywrzeć presję na rynku wyszukiwania Google – jak dotąd bezskutecznie.

AlgorithmWatch – raport końcowy z dochodzenia w sprawie Bing Chat.

Według AlgorithmWatch, problem fałszywych zgłoszeń utrzymuje się w badanym scenariuszu wyborczym. W niektórych przypadkach Bing Chat wymyślał nawet skandaliczne historie o kandydatach w wyborach, w tym o źródłach, pokazuje AlgorithmWatch.

Inną kwestią jest niespójność odpowiedzi i częste uchylanie się od odpowiedzi, co zmniejsza wartość chatbota jako narzędzia informacyjnego, twierdzi AlgorithmWatch. Microsoft „nie jest w stanie lub nie chce” zająć się tymi kwestiami. Według AlgorithmWatch, generatywna sztuczna inteligencja musi zostać uregulowana, a firmy technologiczne muszą zostać pociągnięte do odpowiedzialności.

Źródło: reuters.com/technology/google-announces-new-bard-features-traffic-continues-lag-chatgpt-2023-09-19/

Pozostałe artykuły