Služba Google Gemini, určená na sumarizáciu e-mailov v rámci Workspace, sa ukázala ako zraniteľná voči sofistikovanému typu útoku známemu ako prompt injection. Útočníci dokážu ukryť škodlivé pokyny priamo do e-mailu bez toho, aby používali klasické podozrivé techniky ako prílohy či odkazy. Výsledkom je súhrn vytvorený umelou inteligenciou, ktorý pôsobí dôveryhodne, no vedie používateľa k nebezpečnému správaniu.
Ako útok funguje?
Výskumník Marco Figueroa z organizácie Mozilla, ktorý vedie program GenAI Bug Bounty, upozornil na nový spôsob zneužitia AI. V rámci svojho testovania objavil, že útočník môže do e-mailu skryť inštrukcie pre AI modely tak, že ich vizuálne úplne odstráni – napríklad nastavením neviditeľného textu cez CSS (biele písmo, veľkosť 0).
Tieto „neviditeľné príkazy“ následne číta Gemini pri generovaní súhrnu a poslúchne ich, čím vytvorí falošné varovanie – napríklad o narušení bezpečnosti účtu – a pripojí falošné telefónne číslo technickej podpory. Používateľ tak môže zatelefonovať priamo útočníkovi bez toho, aby si uvedomil, že sa stal obeťou manipulácie AI.
Prečo je to nebezpečné?
Používatelia prirodzene dôverujú výstupu umelej inteligencie v službách ako Google Workspace. Zneužitie tohto dôveryhodného systému na šírenie falošných výstrah či pokynov bez potreby preklikov alebo príloh výrazne zvyšuje účinnosť phishingových a sociotechnických útokov.
Google tvrdí, že zatiaľ nezaznamenal reálny prípad zneužitia, ale zároveň priznáva, že podobné techniky sú známe od roku 2024. Firma zdôraznila, že pokračuje v zlepšovaní obrany svojich modelov prostredníctvom tzv. red-teamingu – teda interného testovania z pohľadu útočníka.
Ako sa brániť?
Bezpečnostní experti odporúčajú:
- Detekovať a neutralizovať neviditeľný text v tele e-mailu.
- Vytvárať filtre, ktoré zachytia podozrivé frázy vo výstupe Gemini (napr. telefónne čísla či výzvy na okamžitý zásah).
- Upozorniť používateľov, že výstupy AI by nemali byť automaticky považované za dôveryhodné.
