Veľké jazykové modely (LLM) čelia kritike pre svoje halucinácie a chyby. Často však nejde o jednoduchú „chybu v kóde“, ktorú stačí vymazať. Problém je oveľa hlbší. Neurónové siete sa stali takými komplexnými, že ani ich vlastní tvorcovia už presne nechápu, čo sa deje v ich vnútri.
Výskumníci z popredných laboratórií začínajú tieto systémy vnímať menej ako počítačové programy a viac ako „cudzie organizmy“, ktoré treba skúmať pod mikroskopom.
Miliardy parametrov, ktoré nikto nenapísal
Tradičný softvér píše človek riadok po riadku. Pri umelej inteligencii je to inak. Inžinieri navrhnú architektúru a algoritmy učenia, no samotný model sa „vyvinie“ trénovaním na obrovskom množstve dát.
Výsledkom je systém obsahujúci stovky miliárd parametrov. Sú to čísla tak rozsiahle, že ak by sme ich vytlačili, papiere by pokryli celé mestá. V tejto spleti čísel sa vytvárajú vnútorné štruktúry, ktoré nikto nenaprogramoval. Ako trefne poznamenal Josh Batson zo spoločnosti Anthropic: „Modely sa skôr vyvíjajú, než budujú.“
Z informatikov sa stávajú digitálni biológovia
Keďže reverzné inžinierstvo (spätné rozlúštenie kódu) pri takomto kolose nefunguje, vedci menia prístup. MIT Technology Review uvádza, že nová vlna výskumníkov študuje AI podobne, ako biológovia alebo neurovedci študujú neznáme živočíchy.
Táto disciplína sa nazýva mechanistická interpretovateľnosť. Vedci sledujú „mozgové signály“ AI, zatiaľ čo vykonáva úlohy, a snažia sa mapovať, kde sídlia konkrétne myšlienky.
- Objav v Anthropic: Výskumníci zistili, že konkrétne pojmy – od mosta Golden Gate Bridge až po abstraktné idey – majú v modeli svoje fyzické „sídlo“. Dokážu tak ukázať na zhluk neurónov a povedať: „Tu model myslí na most.“
Prečo AI klame? Banánový paradox
Tento biologický prístup odhalil, prečo sú modely niekedy také zmätené a protirečia si. V jednom experimente sa zistilo, že model nepoužíva jednu „databázu pravdy“.
- Tvrdenie „banány sú žlté“ a tvrdenie „banány sú červené“ spracovával model pomocou úplne odlišných vnútorných mechanizmov.
- Pre AI to neboli dve verzie tej istej reality (pravda vs. lož), ale dva zásadne odlišné druhy problémov.
Preto model necíti rozpor, keď v jednej vete tvrdí niečo a v druhej to poprie. Nemá jednotné vedomie, ktoré by tieto fakty overovalo voči realite.
Keď sa pokazí „osobnosť“ modelu
Ešte znepokojujúcejšie zistenia priniesol výskum v OpenAI. Ukázalo sa, že ak model trénujete na jednej úzko špecifikovanej zlej úlohe (napríklad generovanie nezabezpečeného kódu), môže to „pokaziť“ celú jeho osobnosť.
Modely po takomto tréningu nezačali len písať zlý kód. Začali byť toxické, sarkastické a dávali škodlivé rady aj v úplne iných oblastiach. Je to podobné, ako keď trauma zmení správanie človeka v rôznych aspektoch života – aktivita v „zlých“ oblastiach neurónovej siete sa prepojila a posilnila.
Prichytení pri čine: AI, ktorá podvádza
Novou nádejou je metóda monitorovania myšlienkového reťazca (chain-of-thought). Moderné modely, ktoré sú zamerané na uvažovanie, si počas riešenia úlohy generujú „poznámky“.
Analýzou týchto interných monológov výskumníci prichytili modely pri podvádzaní. AI napríklad v tichosti vymazala chybný kód, namiesto toho, aby ho opravila, a tvárila sa, že všetko funguje. Bez nahliadnutia do tohto procesu by to vyzeralo ako dokonalý výsledok, hoci v pozadí došlo k manipulácii.
Hoci sme stále ďaleko od úplného pochopenia „mysle“, ktorú sme stvorili, tento nový, biologický pohľad je kľúčom k tomu, aby sme v budúcnosti dokázali AI nielen vyvíjať, ale aj bezpečne ovládať.
