Systémy pro zpracování přirozeného jazyka, až už jde o konverzační roboty, automatické překladače nebo systémy extrahující znalosti z textu, běžně narážejí na problém nejednoznačnosti gramatiky. Často uváděným případem je např. „Kosmická loď fotografovala Zemi za letu k Marsu.“ V angličtině, kde prakticky neexistuje ohýbání slov, je nejednoznačností tohoto typu ještě mnohem víc než v češtině.
Současné metody vývoje aplikací pro práci s jazykem se snaží těmto problémům předejít hlavně využitím rozsáhlých sad dat – a to jak frází z běžně používaného jazyka, tak i sad, které jsou určeny pro výuku jazyka (ať už pro mluvčí jiného jazyka, nebo pro demonstraci gramatických a dalších lingvistických jevů). Používání příslušných datových sad je ovšem poměrně náročné na výkon. Je možné z těchto datových sad namísto toho příslušnou znalost zkusit extrahovat pomocí strojového učení ještě před nasazením systému do provozního prostředí, to ale zase obvykle vyžaduje lidskou asistenci (lidé ručně označují programu správné volby). Na Stanfordu nyní přicházejí s metodou, která lidskou asistenci nevyžaduje, navíc by zde software měl být schopen stále lépe zpracovávat více jazyků – ať už proto, že se učí nějaké univerzálně platné poznatky o gramatice, nebo tím, že získává informace o stavu reálného světa, což mu má umožnit rozhodnout o situacích, které čistě gramaticky jednoznačné nejsou.
Podstata metody je následující: software „hraje hry“ doplňující slova do existujících vět a herní algoritmus se postupně odlaďuje – původní inspirací byly slovní hry typu Mad Libs. Nakonec program Googlu Alpha Zero se tímto způsobem sám naučil např. šachy. Nový výzkum využil pokročilý model, který pro zpracování přirozeného jazyka vyvinul právě Google – BERT (Bidirectional Encoder Representations from Transformers) a podíleli se na něm rovněž specialisté na umělou inteligenci z Facebooku. Výsledek jde daleko za jednoduché algoritmy, jako např. hádání vhodných slov podle toho, jak často se vyskytují blízko sebe.
Jak se navíc ukazuje, i zdánlivě zcela odlišné jazyky mají nějaké zákonitosti společné. Jak software získává schopnost porozumění a rozšiřuje množství zpracovávaných jazyků, zrychluje se jeho schopnost zvládat jazyky další. Popsané metody učení by tak mohly vytvořit automatizované systémy i pro jazyky, které používá relativně málo lidí a kde by se klasický vývoj dodavateli nemusel vyplatit; software, který ovládá (příklad) angličtinu, španělštinu a čínštinu, už prý např. češtinu dokáže zvládnout relativně snadno. Alespoň tedy podle autorů příslušného výzkumu.
Christopher D. Manning et al. Emergent linguistic structure in artificial neural networks trained by self-supervision, Proceedings of the National Academy of Sciences (2020). DOI: 10.1073/pnas.1907367117
Zdroj: Stanford University/TechXplore.com