Vještačka inteligencija rješava sudoku, ali ne zna kako

Sudoku je slagalica koja se smatra vježbom za mozak. To je logička zagonetka, koja se temelji na popunjavanju mreže brojevima od 1 do 9, tako da se svaki broj pojavljuje samo jednom u svakom redu i manjem kvadratu. Uz malo strpljenja i logičkog razmišljanja, zagonetka se obično može riješiti. Na kraju, mreža je potpuno i tačno popunjena.

Ali šta se dešava kada isti zadatak postavite vještačkoj inteligenciji (AI)? Upravo to su ispitivali istraživači sa Univerziteta Colorado Boulder u SAD-u  – s prilično iznenađujućim rezultatima.

Neki AI-modeli, takozvani veliki jezički modeli vještačke inteligencije, dizajnirani za obradu, razumijevanje i dizajniranje teksta nalik ljudskom (LLMs), uspjeli su riješiti jednostavne Sudoku zagonetke. Međutim, čak i najbolji među njima davali su nejasna, netačna ili apsurdna objašnjenja, kako su došli do rješenja.

Mnogo grešaka

Tim je za eksperiment kreirao oko 2.300 Sudoku- zagonetki u pojednostavljenom formatu 6x6. Testirano je više AI-modela, uključujući Chat GPT-o1-preview od OpenAI, koji je u tom momentu bio jedan od najnaprednijih sistema.

Dok je o1 tačno riješio oko 65% zagonetki, drugi modeli su imali tačnost manju od 1%. Ali pravi problem se pokazao kada su modeli trebali objasniti način na koji su riješili zadatke. Rezultati nisu ulijevali povjerenje.

Prognoza vremena umjesto objašnjenja

„U nekim slučajevima je AI izmišljala činjenice tokom davanja objašnjenja", kaže Ashutosh Trivedi, koautor studije i vanredni profesor informatike na Univerzitetu u Koloradu "CU Boulder". Ili nije primijećivala očigledne stvari: „Na primjer, AI bi rekla: ‘Ovdje ne može biti broj dva jer se već nalazi u istom redu', iako to nije bio slučaj."

U jednom posebno upečatljivom primjeru, istraživači su razgovarali s jednim AI-alatom o rješavanju Sudokua, a on je iz nepoznatih razloga odgovorio vremenskom prognozom. „U tom trenutku AI je potpuno pukla, odavajući potpunu zbunjenost", kaže koautor Fabio Somenzi.

Rezultat ali ne i razumijevanje

Neko bi mogao reći: važno je da je rezultat tačan. Ali za istraživače to nije dovoljno.

„Kod određenih vrsta Sudoku zagonetki, većina LLM-ova i dalje nije dovoljno dobra, posebno kada treba dati objašnjenja koja su korisna ljudima", kaže Maria Pacheco, koautorica studije i docentica na Odsjeku za informatiku. „Zašto je došlo do tog rješenja? Koji su koraci potrebni da se do njega dođe?"

Rezultate su predstavili na konferenciji ACL 2025, a rad je objavljen i u časopisu Findings of the Association for Computational Linguistics.

Razmišljanje ili pogađanje?

Cilj studije nije bio da se pokaže šta AI ne može, već da se otkrije kako veliki jezički modeli zapravo „razmišljaju".

Sudoku je zapravo poslužio kao poligon za test i kao „mikrokosmos za mašinsko odlučivanje", kaže Somenzi, profesor elektrotehnike, informatike i energetike. „Ako AI obračunava vaš porez, morali biste moći objasniti poreznoj upravi zašto je AI napisala to što je napisala."

Ključni zaključak eksperimenta: LLM-ovi uglavnom ne rješavaju Sudoku sistematskim pravilima vođenim razmišljanjem, već statističkim nagađanjem.

To je povezano s njihovim načinom rada: prilikom razvoja ChatGPT-a, programeri su ga hranili gotovo svim što je ikada napisano na internetu – u blogovima, na društvenim mrežama, u naučnim bazama podataka i na portalima vijesti.

Njegov zadatak je da predvidi najvjerovatniju sljedeću riječ u rečenici, a ne da logički razumije problem. „Ono što AI zapravo radi jeste, statistički gledano, predviđanje sljedeće riječi", kaže Pacheco.

Korak dalje: AI koja je u stanju dati objašnjenja

Pacheco, Somenzi i njihov tim nadaju se da će razviti vlastiti AI-sistem koji može sve – rješavati složene zagonetke i objasniti na koji način to radi. Počinju s drugom vrstom zagonetke nazvanom Hitori, koja također koristi mrežu brojeva poput Sudokua.

Pri tome se oslanjaju na novi pristup: takozvanu neurosimboličku AI, koja je još u ranoj fazi razvoja. Cilj je kombinovati memoriju LLM-a sa sposobnošću ljudskog mozga za logiku.

„Ljudi govore o rastućim sposobnostima AI-a da rješava stvari koje nismo očekivali", kaže Pacheco. „Istovremeno, nije iznenađenje to što je AI i dalje loša u mnogim zadacima."

Ovaj tekst je najprije objavljen na njemačkom jeziku.