Meze algoritmů známe již skoro století, od objevů Alana Turinga (problém zastavení) a Kurta Gödela (nerozhodnutelnost). Z hlediska reálného nasazení počítačů příslušné paradoxy dosud nepředstavovaly podstatnější omezení; na rozdíl od jiných limitů (výpočet v rozumném čase), kvůli nimž vznikla teorie výpočetní složitosti.
Neuronová síť není výpočetně o nich schopnější než Turingův stroj (ostatně podle jiné teze Churche a Turinga by silnější výpočetní zařízení ani nemělo existovat). Následující studie o mezích neuronových sítí vycházejí ovšem z toho, že mohou narazit na ještě jiný, více omezující typ problémů, které jsou se slavnými matematickými paradoxy ne sice totožné, ale jim analogické.
Konkrétně třeba u problému zastavení může jít o to, že existuje algoritmus, který by problém vyřešil, my ho ale nedokážeme najít (míněno systematickým prohledáváním pomocí jiného algoritmu). Vědci z University of Cambridge a University of Oslo identifikovali tento druh omezení i pro neuronové sítě; pro některé typy problémů lze dokázat, že k jeho řešení existují stabilní a přesné neuronové sítě, nikoliv ale algoritmus, který by je dokázal vytvořit. „Bez ohledu na to, jak přesná jsou vaše data, nikdy nemůžete získat dokonalé informace pro sestavení požadované neuronové sítě,“ uvedl spoluautor studie Vegard Antun z University of Oslo. Nemožnost sestavit (přitom existující) neuronovou síť přitom platí bez ohledu na množství trénovacích dat.
Mnohé systémy hlubokého učení se dají relativně snadno i přímo oklamat. Souvisejícím typem problémů neuronových sítí je pak důvěra tohoto typu systému v to, zda došel ke správnému výsledku. Mnohdy by nám příliš nevadilo, kdyby neuronová síť dokázala rozpoznat své omezení; použili bychom jiný učící algoritmus apod. Bohužel ani na to se nelze spolehnout, tedy alespoň v obecné rovině. A ještě větší problém míra spolehlivosti samozřejmě představuje v případě, že umělou inteligenci máme k dispozici pouze jako černou skříňku.
Autoři výzkumu na základě svých výsledků proto navrhují vytvořit klasifikační teorii popisující, kdy lze neuronové sítě vycvičit tak, aby za konkrétních podmínek poskytovaly důvěryhodný systém umělé inteligence (tedy takový, jehož spolehlivost bychom mohli i dokázat). „Jsme ve fázi, kdy praktické úspěchy umělé inteligence daleko předbíhají teorii a porozumění. K překlenutí této mezery je zapotřebí přístup zaměřený na pochopení základů výpočetní techniky AI,“ dodává další ze spoluautorů studie, Anders Hansen z University of Cambridge.
Podle autorů tedy potřebujeme obecné teorie základů matematiky/informatiky upřesnit speciálně ve vztahu k umělé inteligenci.
Matthew J. Colbrook et al, The difficulty of computing stable and accurate neural networks: On the barriers of deep learning and Smale’s 18th problem, Proceedings of the National Academy of Sciences (2022). DOI: 10.1073/pnas.2107151119
Douglas Heaven, Why deep-learning AIs are so easy to fool, Nature (2019). DOI: 10.1038/d41586-019-03013-5
Zdroj: University of Cambridge / TechXplore.com a další
Poznámka PH: Otázkou samozřejmě je, zda se neobjeví způsoby, jak popsané limity dostatečně spolehlivě (s dostatečnou přesností/mírou aproximace) obcházet i bez nějaké celkové, zastřešující teorie. Možná i speciální limity neuronových sítí budou zajímavé pouze pro teorii. Z historie např. známe omezení pro jednovrstvé neuronové sítě, s nímž přišel specialista na umělou inteligenci Marvin Minsky, dodatečně se však ukázalo, že to prakticky příliš omezující není… A ještě pravděpodobnější je, že pro praxi podstatné budou mnohem silnější než teoretické limity (není rozhodující, zda něco „vůbec nejde“, stačí, když to nejde dostatečně rychle, v reálném čase).