"Grok, це правда?": наскільки можна довіряти чатботам зі ШІ

"Гей, @Grok, це правда?" Відтоді як у листопаді 2023 року Ілон Маск запустив свій чатбот xAI Grok, а в грудні 2024 року зробив його відкритим, тисячі користувачів X (колишній Twitter) ставлять саме це запитання. Вони хочуть використовувати систему на основі штучного інтелекту (ШІ)для швидкої перевірки інформації.

Нещодавнє опитування британського інтернет-видання TechRadar засвідчило, що 27 відсотків американців використовували такі інструменти на базі ШІ, як ChatGPT від OpenAI, MetaAI, Gemini від Google, Copilot від Microsoft або додатки на кшталт Perplexity замість традиційних пошукових систем, як-от Google або Yahoo. Причому серед молодих респондентів цей показник зріс до 29 відсотків.

Але наскільки точні та достовірні відповіді чатботів? Багато хто замислився над цим питанням на тлі недавніх коментарів Grok про "геноцид білих" у Південній Африці. Крім проблематичної позиції Grok із цього питання, користувачів X дратувало те, що бот починав говорити про це, навіть коли йому ставили запитання на зовсім інші теми. Наприклад, такі як статистика бейсболістів.

Дискусія про ймовірний "геноцид білих" виникла після того, як адміністрація Трампа привезла білих південноафриканців у США як "біженців", заявивши, що вони зазнають "геноциду" у себе на батьківщині - твердження, якому немає жодних доказів.

Читайте також: Чи варто боятися штучного інтелекту?​​​​​​​

Компанія xAI заявила, що "провела ретельне розслідування" у зв'язку з одержимістю Grok темою "геноциду білих", звинувативши в події "несанкціоновані зміни" в системних інструкціях.

Такі випадки змушують поставити запитання: наскільки користувачі можуть бути впевненими в тому, що отримують правдиву інформацію, коли хочуть щонебудь перевірити за допомогою ШІ?

Дослідження виявило фактологічні помилки та перекручені цитати

Два дослідження, проведені цього року британською громадською мовною компанією BBC і Tow Center for Digital Journalism при Колумбійському університеті в Нью-Йорку, виявили суттєві недоліки в роботі чатботів зі штучним інтелектом. Зокрема, дослідження BBC показало, що "відповіді ШІ-помічників містять значні неточності та спотворений зміст".

Коли ChatGPT, Copilot, Gemini та Perplexity попросили відповісти на запитання про останні новини, використовуючи статті BBC як джерела, виявилося, що 51 відсоток відповідей чатботів містить "значні проблеми". У 19 відсотках було виявлено фактичні помилки, а 13 відсотків цитат були або змінені, або взагалі відсутні в зазначених статтях.

"Наразі не можна розраховувати на те, що помічники з ШІ повідомлятимуть точні новини, і є ризик, що вони вводитимуть аудиторію в оману", - підсумував Піт Арчер, програмний директор BBC з генеративного ШІ.

Неправильні відповіді з "тривожною впевненістю"

Опубліковане в березні дослідження Tow Center for Digital Journalism також показало, що вісім чатботів у 60 відсотках випадків не змогли правильно визначити походження уривків зі статей.

Perplexity показав найкращий результат, припустившись помилки всього в 37 відсотках випадків, тоді як Grok відповів неправильно на 94 відсотки запитів. Особливу стурбованість викликала "тривожна впевненість", з якою боти давали неправильні відповіді.

"ChatGPT визначив 134 уривки як неправильні, але з двохсот відповідей лише п'ятнадцять разів сигналізував про нестачу впевненості та жодного разу не відхилив запит". Загалом дослідження показало, що чатботи "загалом погано справляються з відмовою відповідати на запитання, на які вони не можуть дати точну відповідь".

ШІ-чатботи хороші лише настільки, наскільки хороші їхні вихідні дані

А звідки сам ШІ бере інформацію? Вона надходить із різних джерел, таких як великі бази даних і вебпошук. Залежно від того, як чатботи навчаються і програмуються, якість і точність їхніх відповідей можуть варіюватися.

"Одна з проблем, яка виникла нещодавно, - це затоплення великих мовних моделей (LLM) російською дезінформацією та пропагандою. Таким чином, очевидно, що існує проблема з "входом" LLM", - сказав DW Томмазо Канетта (Tommaso Canetta), заступник директора італійського проєкту з перевірки фактів Pagella Politica і координатор з перевірки фактів у Європейській обсерваторії цифрових медіа (EDMO).

Читайте також: Як чатботи з ШІ поширюють російські фейки

"Якщо джерела не заслуговують на довіру і не вирізняються високою якістю, то і відповіді, найімовірніше, будуть такими ж", - вказав він. Канетта пояснює, що сам регулярно стикається з відповідями, які "неповні, неточні, вводять в оману або навіть помилкові".

Дезінформація може мати серйозні наслідки. Наприклад, у серпні 2024 року, після відмови президента США Джо Байдена від участі у виборчій кампанії, Grok поширила неправдиву інформацію про те, що віцепрезидентку Камалу Гарріс більше не можна заносити до виборчого бюлетеня в кількох штатах. Після цього державний секретар штату Міннесота Стів Саймон написав відкритого листа Ілону Маску.

Grok зіставляє зображення ШІ з реальними подіями

ШІ-чатботи не тільки зазнають труднощів з новинами, а й демонструють серйозні проблеми, коли справа доходить до ідентифікації зображень, створених ШІ.

Під час невеликого експерименту DW попросила Grok визначити дату, місце розташування і походження згенерованого АІ зображення пожежі в зруйнованому авіаційному ангарі, взятого з відеоролика на TikTok. У своїй відповіді та поясненнях Grok заявив, що на зображенні показано різні інциденти в різних місцях - від невеликого аеродрому в Солсбері (Англія) до міжнародних аеропортів Денвера (США) і Тан Сон Нхат у Хошиміні (В'єтнам).

Останніми роками в цих місцях справді відбувалися аварії та пожежі, але до запропонованого зображення вони стосунку не мали. Ще більш тривожно, що Grok розпізнав частину водяного знака TikTok у кутку зображення і сказав, що це "свідчить про справжність зображення".

Однак під час розширеного запиту Grok пояснив, що TikTok - це "платформа, яку часто використовують для швидкого поширення вірусного контенту, що може призвести до дезінформації, якщо його не буде належним чином перевірено".

14 травня вірусне відео, яке нібито демонструє гігантську анаконду в Амазонії завдовжки в кількасот метрів, було кваліфіковано як справжнє - попри те, що його явно було створено штучним інтелектом.

ШІ-чатботи не годяться для перевірки фактів

ШІ-чатботи можуть здаватися такими, що знають усе, але це не так. Вони роблять помилки, неправильно розуміють те, що відбувається, і навіть можуть бути об'єктом маніпуляцій. "Системи ШІ, такі як Grok, Meta AI або ChatGPT, не слід розглядати як інструменти для перевірки фактів. Хоча вони можуть використовуватися для цієї мети з деяким успіхом, незрозуміло, наскільки добре і послідовно вони виконують цю задачу, особливо в межових випадках", - вважає Фелікс Саймон, дослідник у галузі ШІ та цифрових новин і науковий співробітник Оксфордського інституту інтернету (OII).

На думку Канетти, чатботи зі штучним інтелектом можуть бути корисними для базової перевірки фактів. Однак він також радить не довіряти їм повністю. Обидва експерти кажуть, що користувачі завжди мають перевіряти відповіді в інших джерелах.