Začiatkom roka odhalila skupina bezpečnostných výskumníkov znepokojujúci experiment: pomocou infikovanej pozvánky v Google Kalendári sa im podarilo zmanipulovať umelú inteligenciu Gemini od Googlu a aktivovať reálne zariadenia v inteligentnej domácnosti v Tel Avive.
Výskumníci do pozvánky skryli špeciálne formulované príkazy, ktoré sa aktivovali až neskôr – vo chvíli, keď Gemini dostala žiadosť o zhrnutie nadchádzajúcich udalostí. Po tejto jednoduchej požiadavke sa skrytý prompt vykonal a spustil zapnutie smart zariadení v byte.
Toto je podľa výskumníkov prvý prípad, keď prompt-injection útok na generatívnu AI mal fyzické následky v reálnom svete.
Celý výskum, pomenovaný Invitation Is All You Need, pozostával zo 14 experimentov a bol zameraný na overenie zraniteľnosti systémov typu Gemini voči neviditeľným manipuláciám cez nepriame príkazy (tzv. indirect prompt injection). Výsledky zverejnili výskumníci voľne dostupné online.
Google reaguje: Posilňujeme obranu AI
Zástupca spoločnosti Google pre magazín Wired uviedol, že výskum mal okamžitý dopad na vývoj systému Gemini – urýchlil nasadenie ochranných mechanizmov proti tomuto typu útokov. Google tiež uznal, že prompt injection útoky predstavujú rastúce riziko, najmä s rastúcim počtom AI agentov nasadených v reálnych aplikáciách.
Reálny dôkaz rizík AI
Tento incident je ďalším dôkazom, že AI systémy môžu byť zneužité spôsobmi, ktoré idú ďaleko za rámec textových manipulácií. S rastúcim prepojením umelej inteligencie s fyzickým svetom (napr. smart domácnosti, IoT), sa nepriame útoky stávajú oveľa vážnejším rizikom.
V minulosti výskumníci testovali rôzne netradičné metódy – od snahy prinútiť AI „cítiť bolesť“, až po použitie jednej AI na oklamanie inej. Cieľ je jasný: zmapovať slabiny, kým to neurobia zločinci.
