Popularita ChatGPT, nadšení, ale současně i omezení stávajících modelů tohoto typu, která v důsledku rozsáhlých možností testování vycházejí najevo. Výzkumníci reagují i publikováním řady spíše teoretických úvah o umělé inteligenci. Přitom samozřejmě nemohou chybět nápady vztahující se k Turingovu testu. Dva příspěvky k diskusi následují.
Neurovědec Terrence Sejnowski z kalifornského Salk Institute přišel se zajímavou verzí tzv. obráceného Turingova testu. Pod vlivem hraní si s programem ChatGPT se rozhodl dát jazykovému modelu za úkol, aby rozlišil, zda lidskou inteligenci má tazatel. Pozná ChatGPT, zda komunikuje s člověkem, primitivním programem nebo velkým jazykovým modelem? T. Sejnowski takto testoval předešlou verzi GPT3 a jiný model AI LaMDA a oba víceméně uspěly.
Dále pak ale T. Sejnowski zase kritizuje, jak tyto modely pouze „reflektují uživatele“. Na otázku „jaký je rekord v chůzi přes La Manche“ odpoví rekordem pro plavání. Teprve když dostanou speciálně dotaz, zda otázka výše dává smysl, označí ji ovšem za nesmyslnou. (Poznámky PH. Toto lze ovšem nastavením asi snadno změnit; ChatGPT je schopen při odpovědích předeslal, že „XY neexistuje, ale kdyby v příslušném fikčním světě…“. Za druhé, že přejdeme chybu v otázce, to dělají i lidé, je to naopak dokladem určité vstřícnosti k tazateli, že ho nebudeme opravovat, ale zkusím odpovědět dle toho, jak podle nás otázku mohl asi myslet. Když se mě někdo zeptá na tramvajové zastávce, zda „tento autobus jede na X“…)
Co ale přesně znamená, že AI uspěly v reverzním Turingově testu? Jak se totiž ukazuje, chatboty se přizpůsobují inteligenci tazatele, a tudíž ji alespoň v jistém ohledu musejí být schopné rozpoznat.
Terrence J. Sejnowski, Large Language Models and the Reverse Turing Test, Neural Computation (2023). DOI: 10.1162/neco_a_01563
Zdroj: Salk Institute / TechXplore.com
Poznámka:
Lze si hrát: bude na otázky položené jednoduchým jazykem/s chudým slovníkem odpověď nějak rozpoznatelně odlišná než když se na totéž zeptáme komplikovaněji? Atd.
Zhang Xiaochu a jeho tým z Čínské univerzity vědy a techniky tvrdí, že chatboty od lidí někdy dokážeme odlišit podvědomě. Konkrétně lidé v provedeném experimentu procházeli texty vytvořené lidmi a generované chatboty Google Meena a Microsoft XiaoIce (takže aspoň nezůstaneme jen u ChatGPT). I když účastníci mezi oběma skupinami textů nedokázali najít rozdíl a označovali je za velmi podobné, aktivita mozku, jak během experimentu zaznamenávala magnetická rezonance, se údajně konzistentně lišila. A to konkrétně v dorsomediální prefrontální kůry a v oblasti temporoparietálního propojení v pravé hemisféře. Příslušné části mozku jsou tedy citlivé na „informace pro hodnocení“ více než na vlastní (vědomé) vyhodnocení, praví příslušná studie.
Zhengde Wei et al, Implicit Perception of Differences between NLP‐Produced and Human‐Produced Language in the Mentalizing Network, Advanced Science (2023). DOI: 10.1002/advs.202203990
Zdroj: University of Science and Technology of China / TechXplore.com
Poznámka:
Ať tak či tak, záznamy nervové aktivity lidí by mohly posloužit jak při vývoji systémů AI, tak i při úpravě Turingova testu do nové podoby.