Proč AI halucinuje? Pohled pod pokličku jazykových modelů

Umělá inteligence dneska zvládá věci, které ještě nedávno vypadaly jako čisté sci-fi. Píše texty, navrhuje programátorský kód a radí nám s hromadou složitých úkolů. Čím plynuleji a přesvědčivěji ale její odpovědi znějí, tím snáze zapomínáme na jedno velké riziko: AI dokáže vytvořit naprosto smyšlenou odpověď, která ale na první pohled působí stoprocentně věrohodně. 

Tenhle fenomén dostal pojmenování „AI halucinace“. Nejde o žádnou náhodnou softwarovou chybu nebo schválně zapomenutou funkci, kterou by vývojáři prostě jen nevypnuli. Je to přirozený a hluboce zakořeněný důsledek toho, jak jsou dnešní velké jazykové modely (LLM) vymyšlené a trénované. Pojďme se podívat pod pokličku toho, jak tyhle systémy fungují, abychom pochopili, proč tak sebevědomě „kecají“. 

Co jsou AI halucinace?

U generativní umělé inteligence se jako halucinace označuje situace, kdy model vytvoří odpověď, která sice gramaticky i stylisticky vypadá dokonale a věrohodně, ale v reálném světě nemá vůbec žádnou oporu. 

Modely umí halucinovat opravdu překvapivými způsoby. Klidně si vymyslí neexistující paragrafy zákonů, nasekají chyby v matematických výpočtech nebo vám vygenerují realisticky znějící vědecké studie včetně konkrétních jmen autorů a webových adres, které přitom nikdy neexistovaly. Zvláštní je, že se to děje i u úplně banálních dotazů, například když chcete ověřit datum narození nějaké osobnosti nebo dohledat oficiální historická čísla o počtu obyvatel v archivu. 

Co se děje uvnitř jazykového modelu

Abychom pochopili, kde se tyhle chyby berou, musíme si ujasnit jednu věc: velcí chatboti jako ChatGPT nebo Gemini nefungují jako internetové vyhledávače a nejsou to ani žádné obří databáze faktů. Nemají žádné skutečné znalosti o našem světě a vůbec netuší, co je pravda a co lež. 

Jazykový model je ve své podstatě obrovská neuronová síť, což je vlastně komplikovaná sada „vytrénovaných instinktů“. Tyhle instinkty získala analýzou bilionů slov z internetu, knih a diskusí. Cílem celého tohoto finančně i technologicky mimořádně náročného tréninku není naučit stroj chápat význam textu, ale prostě ho naučit skvěle a plynule napodobovat lidskou řeč. 

Jak AI pracuje s tokeny

Když do chatbota napíšete svoji otázku, neuronová síť s vašimi slovy nepracuje přímo. Text nejdřív rozkouskuje na takzvané tokeny. Tokeny jsou předem připravená slova nebo jejich části, kterým odpovídají konkrétní čísla. Matematická síť uvnitř počítače totiž umí chroustat jenom čísla. 

Model vezme tahle čísla (váš dotaz spolu s celým předchozím kontextem konverzace) a prožene je svými vrstvami. Výsledkem ale není to, že by se podíval do nějakého šuplíku pro „správnou odpověď“. Výstupem je čistě matematická předpověď: model spočítá, který další token má s největší pravděpodobností následovat za textem, který už byl napsán. 

Proč model predikuje místo ověřování

Celý princip fungování umělé inteligence stojí na odhadování pravděpodobností, ne na ověřování pravdivosti. Model dává text dohromady slovo po slově (token po tokenu). Každé nově vygenerované slovo se okamžitě zařadí do zadání a na základě tohohle čerstvého kontextu se hned počítá pravděpodobnost pro slovo další. 

Aby výstupy nebyly úplně nudné a suché, používá se při generování skrytý parametr, kterému se říká „teplota“ (temperature). Když je teplota na nule, model vybere vždycky ten nejvíc předvídatelný token, což vede k fádním a pořád stejným odpovědím. Vyšší teplota dává modelu možnost sáhnout i po méně pravděpodobných slovech. Tím se sice odemyká kreativita a schopnost psát zajímavé příběhy, ale zároveň tím drasticky roste šance, že model sklouzne k naprostým výmyslům.

Jak vzniká jedna odpověď krok za krokem

Celý proces od zadání dotazu po finální halucinaci vypadá v praxi takhle:

1. Analýza zadání: Váš dotaz se převede na čísla (tokeny).  
2. Výpočet pravděpodobností: Model zváží kontext a ze stovek možných kandidátů vybere slova, která statisticky nejlépe pasují dál.  
3. Skládání omáčky: Pokud model narazí na téma, kde mu chybí pevná data, nesnaží se přiznat, že neví. Použije plynulý jazyk a začne skládat text, který sice zní naprosto logicky, ale detaily si prostě statisticky domyslí.  
4. Zacyklení kontextu: Jakmile model v půlce věty vygeneruje chybný detail (třeba špatný rok nebo smyšlené jméno), tenhle detail se stane pevnou součástí kontextu. V dalších krocích pak model staví na své vlastní lži a nabaluje na ni další věrohodně vypadající zdůvodnění.

Některé otázky vedou k halucinacím častěji

Při trénování (tzv. předtrénování) vidí model pouze správné, plynulé texty. Jenže v datech jsou různé druhy informací. Pravopisná pravidla nebo správné uzavírání závorek se v textech opakují neustále, takže se je AI naučí bezchybně. 

Problém nastává u specifických faktů, která se v datech objevují zřídka a nesledují žádný opakovatelný vzorec. Typickým příkladem jsou přesná čísla, letopočty, data narození nebo málo známé historické události. Protože tahle fakta v datech působí v podstatě náhodně, model je nedokáže spolehlivě odvodit. Pokud se tedy umělé inteligence zeptáte na konkrétní číselný údaj nebo detaily, které si člověk musí přesně pamatovat z archivu, riziko halucinace vystřelí raketově nahoru. 

Jak se AI modely snaží halucinace omezit?

V současnosti vývojáři používají několik hlavních strategií, jak divokou fantazii modelů zkrotit:

• Externí nástroje a vyhledávání. Podobně jako modely dostaly kalkulačky pro matematické výpočty, mají dnes možnost před odpovědí prohledat web. Přečtou si relevantní stránky a ty pak citují. Výrazně se tím snižuje šance, že si odpověď vycucají z prstu, byť i s citacemi mohou halucinace stále vznikat.  
• Přemýšlející modely (Reasoning). Pokročilé systémy (např. řada o3 nebo o5 od OpenAI) vedou před vygenerováním odpovědi vnitřní monolog. Nejdřív si promyslí postup, zkontrolují si zdroje a teprve pak vypustí text k uživateli. Halucinací je tu podstatně méně, ale pokud se objeví, jsou o to rafinovanější a hůře odhalitelné.  
• Architektura RAG (Retrieval-Augmented Generation). Používá se hlavně ve firmách. Model se odpojí od volného hádání a donutí se pracovat výhradně s dodanou databází interních dokumentů. Pravděpodobnost chyby se tak stlačí na minimum.

Hlavní problém ale vězí v tom, jak se modely hodnotí v testech. Většina žebříčků měří čistou úspěšnost (přesnost) na škále 1 (správně) nebo 0 (špatně). Opatrné přiznání „nevím“ skončí vždycky nulou, zatímco za riskantní tipování může model občas získat bod. Systém tak umělou inteligenci doslova motivuje k tomu, aby raději sebevědomě hádala, než aby přiznala nejistotu. Společnost OpenAI proto ve svých výzkumech prosazuje úpravu metodiky hodnocení, která by modely za vymýšlení informací penalizovala a naopak je bodově odměňovala za otevřené přiznání nejistoty. 

Jak z AI získat spolehlivější odpovědi

Dokud se systémy hodnocení nezmění, musíme jako uživatelé k výstupům z chatbotů přistupovat kriticky. Zde je několik tipů, jak eliminovat rizika: 

• Dodejte data přímo do promptu. Pokud chcete, aby AI analyzovala text nebo zákon, vložte mu ho přímo do zadání a explicitně zakažte přidávání čehokoliv, co v textu není. Šance na výmysly tím klesá na minimum.  
• Změňte tón otázky. Netlačte model do kouta dotazy na věci, které si nemůže logicky odvodit (přesná statistická čísla, detaily z biografií).  
• Všechno důležité ověřujte. Zejména v citlivých oblastech, jako je právo, medicína nebo finance, berte výstupy z AI pouze jako hrubý pracovní polotovar, který musíte sami zkontrolovat v nezávislých, ověřitelných zdrojích.

Často kladené dotazy

Proč mi AI někdy slíbí, že mi pošle e-mail nebo dokončí úkol později, i když to nedokáže?

Model nemá žádné povědomí o svých reálných technických možnostech ani o aktuálním čase. Pouze doplňuje text na základě statistické pravděpodobnosti. Když mu napíšete úkol, vyhodnotí jako nejpřirozenější pokračování věty zdvořilé potvrzení, že na věci už pracuje, i když na pozadí žádný proces neběží.  

Může si chatbot kompletně vymyslet knihu nebo vědecký článek, který vypadá jako skutečný?

Ano, stává se to velmi často. AI se z textů naučila strukturu odborných citací, takže dokáže vygenerovat názvy, které zní velmi reálně a odborně. Informace v takové citaci ale mohou být zcela smyšlené a jediný způsob, jak to zjistit, je pokusit se dané dílo nezávisle dohledat.  

Pomůže proti halucinacím to, když se stejné věci zeptám znovu v novém chatu?

Ano, otevření nového chatu je velmi účinná pomoc. Smažete tím totiž celý předchozí kontext konverzace. Pokud AI udělala v předchozích větách chybu, v původním chatu by na ní kvůli své povaze dál stavěla, zatímco v čistém okně začíná s výpočtem pravděpodobností od nuly.  

Když zapnu vyhledávání na internetu, mám jistotu, že odpověď bude bez chyb?

Jistotu bohužel nemáte. Vyhledávač sice dodá modelu správná data, ale AI z nich text stále sestavuje odhadováním dalšího slova. Testy ukazují, že chatboti i s přístupem na web dokážou informace špatně pochopit, poplést souvislosti a vytvořit chybu, kterou navíc proloží reálnými odkazy.  

Má vůbec smysl umělou inteligenci používat, když vím, že takhle chybuje?

Určitě ano, jen je potřeba změnit očekávání. Pro brainstorming, psaní e-mailů, vymýšlení kreativních konceptů nebo hledání netradičních souvislostí je tato volnost modelu obrovskou výhodou. Musíte ale fungovat jako editor, nechat AI psát a faktické detaily si vždy pohlídat sami.