Velké jazykové modely obvykle používají ke zpracování informací a zodpovídání dotazů pouze přirozený jazyk, což jim může ztěžovat plnění úloh vyžadujících výpočty nebo symbolické uvažování.
Velký jazykový model si například může být schopen zapamatovat a odříkat seznam nedávných amerických prezidentů a jejich narozenin, ale pak selže (může selhat), pokud mu položíte otázku: „Kteří američtí prezidenti zvolení po roce 1950 se narodili ve středu?“ (Správná odpověď zní Jimmy Carter.)
Informatici z MITu a dalších vědeckých institucí proto navrhli novou techniku, která umožňuje velkým jazykovým modelům řešit úlohy přirozeného jazyka, matematické a datové analýzy a symbolického uvažování pomocí generování programů. Výzkum byl prozatím zveřejněn na preprintovém serveru arXiv (tj. bez recenze/odborné oponentury).
Tzv. přístup NLEP (natural language embedded programs) zahrnuje vyzvání jazykového modelu k vytvoření a spuštění programu v jazyce Python, který vyřeší uživatelův dotaz, a poté výstup řešení zobrazí v podobě přirozeného jazyka. Stále zde ovšem bude i příslušný program.
Autoři výzkumu tvrdí, že přístup NLEP umožňuje velkým jazykovým modelům dosahovat vyšší přesnosti v široké škále argumentačních úloh. NLEP také zlepšují transparentnost, protože uživatel může zkontrolovat program, aby přesně viděl, jak model uvažoval o dotazu, a opravit kód, pokud model dal špatnou odpověď.
„Chceme, aby umělá inteligence prováděla složité uvažování způsobem, který je transparentní a důvěryhodný. Ještě je před námi dlouhá cesta, ale ukázali jsme, že spojení schopností programování a přirozeného jazyka ve velkých jazykových modelech má velmi dobrý potenciál,“ uvádí průvodní tisková zpráva.
NLEP je šablona pro řešení problémů se čtyřmi kroky. Nejprve model zavolá potřebné balíčky nebo funkce, které bude potřebovat k vyřešení úlohy. Druhý krok zahrnuje import reprezentace znalostí přirozeného jazyka, které úloha vyžaduje (například seznam narozenin amerických prezidentů, viz výše). Ve třetím kroku model implementuje funkci, která vypočítá odpověď. A v posledním kroku model vypíše výsledek jako řádek přirozeného jazyka s případnou automatickou vizualizací dat.
Uživatel může snadno prozkoumat program a opravit případné chyby v kódu přímo.
Tento přístup také nabízí vyšší efektivitu než některé jiné metody. Má-li uživatel více obdobných otázek, může vygenerovat jeden základní program a poté v něm nahrazovat určité proměnné.
Jak dále uvádí průvodní tisková zpráva: „Spolu se zvýšením přesnosti velkých jazykových modelů by NLEP mohly také zlepšit ochranu dat. Vzhledem k tomu, že programy NLEP jsou spouštěny lokálně, není třeba citlivá data uživatelů posílat do společností, jako je OpenAI nebo Google, aby je model zpracoval. Kromě toho mohou NLEP umožnit malým jazykovým modelům dosahovat lepších výsledků, aniž by bylo nutné model pro určitou úlohu přeškolovat, což může být nákladný proces.“
Tianhua Zhang et al, Natural Language Embedded Programs for Hybrid Language Symbolic Reasoning, arXiv (2023). DOI: 10.48550/arxiv.2309.10814
Zdroj: Massachusetts Institute of Technology / MIT News / Techxplore.com, přeloženo / zkráceno