Chaotický a problematický. Tak by sa dal opísať prvý týždeň fungovania novej AI aplikácie Sora 2 od OpenAI. Hoci sa stala okamžitým hitom, jej spustenie sprevádza vlna kontroverzií od bezstarostného porušovania autorských práv až po oveľa temnejšie využitie – takmer okamžite sa stala nástrojom pre stalkerov a obťažovanie.
Okamžitý nástroj pre stalkerov: Prípad Taylor Lorenz
Najalarmujúcejší príklad prišiel len deň po spustení. Novinárka Taylor Lorenz na sociálnych sieťach uviedla, že jej „psychotický stalker“ už používa Sora 2 na vytváranie videí o nej. Tento muž má podľa nej dlhú históriu obťažovania, vrátane najímania fotografov, aby ju sledovali, a vydávania sa za jej priateľov online.
„Je desivé pomyslieť si, čo AI robí, aby podporila bludy môjho stalkera,“ napísala Lorenzová. Hoci sa jej podarilo pomocou nástrojov v aplikácii nahlásiť a zmazať videá so svojou podobizňou, upozornila na zásadný problém: stalker si už mohol videá stiahnuť a predovšetkým, nikdy nemali byť vytvorené.
„Cameos“: Nevinný názov pre nebezpečnú technológiu
Jadrom problému je kľúčová funkcia aplikácie, nevinne nazvaná „Cameos“. V skutočnosti ide o používateľsky prívetivý nástroj na tvorbu „deepfake“ videí. Používatelia môžu naskenovať svoju podobu a následne ju vložiť do akejkoľvek scény. Súčasťou je aj sociálna funkcia, ktorá umožňuje (so súhlasom) použiť podobu svojich priateľov.
Prípad Taylor Lorenz však ukazuje, aké tenké sú hranice súhlasu a aké ľahké je túto technológiu zneužiť na obťažovanie.
Deravá bezpečnosť a priznanie zlyhania
Problémom sú aj nedostatočné bezpečnostné opatrenia. Samotná spoločnosť OpenAI vo svojej systémovej karte k Sora 2 priznala, že model zlyhal pri blokovaní nevhodných pokynov (napríklad na generovanie nahoty s použitím podoby skutočnej osoby) v 1,6 % prípadov. Pri miliónoch pokusov to predstavuje obrovské množstvo škodlivého obsahu.
Okrem toho sa už objavili videá s chránenými postavami, ako je SpongeBob variaci metamfetamín, alebo falošné zábery zo sledovacích kamier, na ktorých CEO OpenAI Sam Altman pácha zločiny, čo len potvrdzuje, aké ľahké je technológiu zneužiť.
Problém, ktorý OpenAI podceňuje
Prípad Sora 2 je ďalšou ukážkou širšieho problému AI-generovaného obťažovania. Kritici upozorňujú, že OpenAI a jej šéf Sam Altman závažnosť deepfake videí podceňujú a snahou o ich normalizáciu ako „neškodnej zábavy“ ignorujú skutočnú a vážnu ujmu, ktorú táto technológia už teraz spôsobuje.
