Hej @Grok, koliko je pouzdana umjetna inteligencija?

Firma Elona Muska xAI je u studenom 2023. na tržište izbacila generativni chatbot Grok, a slobodan pristup omogućila je svima od prosinca 2024. Od tada tisuće korisnika društvene platforme X svakodnevno postavljaju pitanje: @Grok, je li ovo točno? Tako žele uz pomoć umjetne inteligencije provjeriti neke informacije.

Nedavno je britanski portal TechRadar proveo anketu koja je pokazala da 27 posto Amerikanaca koristi alate umjetne inteligencije kao što su ChatGPT, MetaAI Gemini ili Copilot. Sve popularnije su i aplikacije kao što je Perplexity koje se koriste umjesto poznatih pretraživača interneta.

Ipak, postavlja se pitanje jesu li odgovori na postavljena pitanja uvijek točni i jesu li chatbotovi pouzdani? Debata o tome se razvila kada je Grok počeo slati informacije o „bijelom genocidu“ u Južnoj Africi čak i kada bi mu bila postavljena sasvim druga pitanja.

Diskusija o „genocidu nad bijelcima" se pojavila kada je Trumpova administracija dovela bijele Južnoafrikance u SAD kao „izbjeglice“. Američki predsjednik je izjavio da su oni u njihovoj zemlji izloženi „genocidu". Za tu tvrdnju ne postoje dokazi. Muskova firma xAI je krivnju za opsjednutost chatbota Grok temom „bijeli genocid" i za odgovore na nepostavljena pitanja pripisala „neautoriziranoj izjavi". U priopćenju se navodi da je po tom pitanju provedeno „temeljito istraživanje".

Pojavljuju li se takve greške redovito? Mogu li korisnici biti sigurni da dobivaju pouzdane informacije?

Istraživanje otkriva činjenične greške i falsificirane citate

Dvije studije koje su urađene za britanski javni medijski servis BBC i Centar za digitalno novinarstvo njujorškog Sveučilišta Columbia ustanovile su velike manjkavosti chatbotova. U veljači je u istraživanju za BBC konstatirano da odgovori pokazuju „znatne netočnosti i iskrivljeni sadržaj".

Na zahtjev da predstave aktualne vijesti i da koriste BBC kao izvor, ChatGPT, Copilot, Gemini i Perplexity su čak u 51 posto odgovora imali „znatne probleme različite vrste“.

U 19 posto odgovora su pridodane činjenične greške, a 13 posto citata je promijenjeno ili izbačeno.

Zaključak Peta Archera, programskog direktora za generativnu umjetnu inteligenciju na BBC-ju je da se trenutačno kod chatbota umjetne inteligencije „ne može pouzdati u to da će korektno prenijeti vesti i postoji opasnost da će publiku dovesti u zabludu“.

I istraživanje koje je provedeno na Sveučilištu Columbia, objavljeno u ožujku, kaže da osam alata umjetne inteligencije u 60 posto slučajeva nije bilo u stanju korektno odrediti podrijetlo odlomaka iz tekstova.

Perplexity ima postotak grešaka u „samo" 37 % slučajeva, dok je kod Groka čak 94 posto pogrešnih odgovora. U istraživanju se navodi da je „alarmantna pouzdanost" s kojom ovi chatbotovi daju pogrešne odgovore. Studija je ustanovila da je opća slabost chatbotova to što su loši u „odbijanju da odgovore na pitanja na koja ne mogu točno odgovoriti".

Chatbotovi su dobri koliko i njihov input

Chatbotovi crpe svoje podatke iz različitih izvora u bankama podataka i u digitalnoj mreži. Ovisno od toga koliko su uvježbani, kvaliteta odgovora može varirati. „Nedavno se pojavio problem poplave LLLM-a [opaska redakcije: Large Language Models] koju izazivaju ruske dezinformacije i propaganda", kaže Tommaso Canetta, koordinator za provjeru činjenica Europskog opservatorija digitalnih medija (European Digital Media Observatory, EDMO).

„Ako izvori nisu vjerodostojni i visoko kvalitetni, onda vjerojatno ni odgovori neće biti drugačiji", kaže on. Canetta objašnjava da i on osobno često dobije odgovore koji su „nepotpuni, neprecizni, zbunjujući ili čak pogrešni“.

Kad umjetna inteligencija pogriješi…

Chatbot MetaAI je u travnju 2024. jednoj chat-grupi njujorških roditelja priopćio da imaju akademski talentirano dijete sa smetnjom u razvoju, uz preporuku za posebnim, tj. prilagođenim obrazovanjem. Chatbot je kasnije uputio ispriku jer tu „nema osobno iskustvo ili djecu". Ovo je priopćila sama kompanija Meta medijima koji su izvijestili o događaju. „Radi se o novoj tehnologiji, koja možda ne isporučuje uvijek željene odgovore. Od izlaska na tržište, stalno smo usavršavali naše modele i radimo dalje na tome da ih poboljšamo", navodi se u izjavi.

Pogrešne informacije mogle bi imati teške posljedice. U kolovozu 2024. je Grok tvrdio da Kamala Harris, koja je preuzela kandidaturu za predsjednicu SAD-a nakon povlačenja Josepha Bidena, u nekim američkim državama ne smije biti na izbornim listićima. To je naravno bila pogrešna informacija. Državni tajnik Minnesote Steve Simon na to je reagirao otvorenim pismom Elonu Musku.  

Grok pripisuje umjetnu sliku realnim događajima

Očito su ograničenja velika i u identifikaciji sadržaja koje je proizvela umjetna inteligencija. Na pitanje o datumu i podrijetlu fotografije koju je proizvela umjetna inteligencija za snimke požara u jednom hangaru objavljene na TikToku, Grok je odgovorio da se vide različiti incidenti na aerodromima u engleskom Salisburyju, u Coloradu i u Vijetnamu.

Na tim mjestima je doista bilo požara i nesreća u nekoliko posljednjih godina, ali snimka nije pokazivala ni jedan od tih događaja. Još veću zabrinutost izaziva to što je Grok prepoznao oznaku TikToka na fotografiji i konstatirao da to govori o „autentičnosti fotografije“.

Međutim, kada se klikne na „detaljnije“ onda Grok kaže da je TikTok platforma koja služi sa širenje viralnih sadržaja što „može dovesti do pogrešnih informacija, ako se ne preispitaju u skladu s pravilima".

Isto tako je Grok 14. svibnja potvrdio navodnu autentičnost videa koji je prikazivao navodnu anakondu dugačku nekoliko stotina metara. A i to je u stvarnosti bilo djelo umjetne inteligencije.

Chatbotovi nisu dobri za provjeru činjenica

Chatbotovi umjetne inteligencije nisu sveznajući. Oni griješe, izvode pogrešne zaključke, a moguće je čak i da se njima manipulira. Felix Simon koji pohađa postdoktorske studije umjetne inteligencije i digitalnih vesti na Oksfordskom internetskom institutu (OII), zaključuje: „Sustavi umjetne inteligencije kao što su Grok, Meta AI ili ChatGPT ne smiju da se promatrati kao alati za provjeru činjenica. Oni se doduše mogu s izvjesnim uspjehom upotrijebiti i za to, ali nije jasno koliko dobro i konzistentno ispunjavaju taj zadatak, naročito u graničnim slučajevima“.

Za Tommasa Canettu chatbotovi su korisni samo za vrlo jednostavne zadatke. Ali savjetuje da im se ne vjeruje u potpunosti. Oba stručnjaka preporučili su korisnicima da odgovore uvijek usporede s drugim izvorima.

*ovaj članak je najprije objavljen na njemačkom jeziku