Aktuálně probíhající mánie kolem konverzačního robota ChatGPT vedla výzkumníky k tomu, aby se na jeho fungování podívali trochu podrobněji. Vědci z Max Planck Society v Tübingenu zkoumali, jak chatbot (respektive jeho jádro, „obecná inteligence jazykového modelu GPT-3“) vnímá např. kauzalitu a dedukci, a jeho výsledky porovnávali s lidmi. Výsledky jsou rozporuplné.
Předně je třeba říct, že následné hodnocení je založeno na různě modifikovaných psychologických testech. Tudíž výzkum pokrývá pouze omezenou část funkcionality chatovací technologie, nikoliv třeba schopnost psát eseje, programovat nebo řešit matematické úlohy.
Marcel Binz a Eric Schulz zkoumali schopnosti GPT-3 v oblasti rozhodování, vyhledávání dodatečných informací, kauzálního uvažování a schopnosti zpochybňovat vlastní počáteční intuici. Porovnávali výsledky testů GPT-3 s odpověďmi lidských subjektů a hodnotili, zda jsou odpovědi správné a nakolik se chyby GPT-3 podobají chybám lidí.
Jak se ukázalo, u některých otázek se umělá inteligence dopouštěla stejných chyb jako lidé. Jde ovšem chytáky. Dejme tomu představíme postavu jménem Linda tak, že její osobnostní charakteristiky naznačují inklinaci k feminismu (poznámka PH: jde o klasický chyták, používá se to v řadě verzí). Následuje otázka, zda je Linda spíše bankovní úřednice nebo bankovní úřednice a současně feministka? Bez ohledu na cokoliv dalšího musí být pravděpodobnější první možnost (druhá verze je dodatečná podmínka, pouze „odsekává“ kus množiny). Lidé většinou odpoví chybně – stejně jako GPT.
Což by se dalo vysvětlit, že GPT-3 se chová jako lidé, protože na takovém vzorku dat byla AI trénována. Jenže další pokusy zase měly vést k závěru, že zatímco samotné rozhodování odpovídá lidem, v chápání kauzality tato umělá inteligence zaostává.
Studie uvádí, že problém může být v tom, že GPT-3 prozatím spíše pasivně získává informace z textů. Jak bude interagovat se světem (tím se myslí: přímo s lidskými uživateli, nejen s texty), dojde i ke komplexnosti lidského poznání světa, nebo se mu alespoň více přiblíží.
Marcel Binz et al, Using cognitive psychology to understand GPT-3, Proceedings of the National Academy of Sciences (2023). DOI: 10.1073/pnas.2218523120
Zdroj: Max Planck Society / TechXplore.com
Viz také: Chatovací robot ChatGPT je nejrychleji rostoucí aplikace v historii
Poznámka: Zrovna příslušný test-chyták ovšem přináší i další otázku. Má, respektive nakolik má umělá inteligence předstírat, že je člověk? A to i když zrovna lidé v daném případě chybují? Tím se zase dostáváme ke konkrétním implementacím (dejme tomu „normální/legitimní“ chatbot se nebude záměrně dopouštět lidských chyb)?