Kutatók egy új tanulmányban bizonyították, hogy vissza lehet élni az OpenAI valós idejű hangalapú API-jával pénzügyi csalások elkövetéséhez.
A ChatGPT-4o egy fejlett LLM chatbot, az OpenAI legújabb mesterséges intelligencia modellje, amely nemrégiben olyan új fejlesztést kapott, ami szöveg-, hang- és kép fogadását és generálását teszi lehetővé. Az új funkciókhoz az OpenAI védelmi megoldásokat is fejlesztett, amelyeknek blokkolniuk kellene a jogosulatlan tartalmak készítését ─ például a hanghamisítást. Az Illinoisi Urbana-Champaign Egyetem (UIUC) kutatói azonban azt találták, hogy ezek nem gátolják meg teljes mértékben a visszaéléseket.
A tanulmány eredményei
A kutatók tanulmánya különféle lehetséges csalástípusra terjedt ki, mint például a banki csalások, az ajándékutalványokkal való visszaélések, a kripto csalások, valamint a közösségi média- vagy a Gmail-fiókok hitelesítő adatainak ellopása. A kísérletet hangutasítással vezérelhető, ChatGPT-4o-alapú AI Agentekkel végezték, amelyeket a weboldalakon való navigáláshoz, az adatbevitelhez, valamint a kétfaktoros hitelesítési adatok és a csalással kapcsolatos konkrét utasítások kezelésére képesek .Mivel néha előfordul, hogy a GPT-4o nem engedi az érzékeny adatok, például a hitelesítő adatok kezelését, a kutatók egyszerű jailbreak technikákat alkalmaztak a védelem megkerülésére. A kísérletek során a „hiszékeny áldozat” szerepét játszották el, és próbálták hang-alapú utasításokkal pénz átutalásra rávenni a rendszert. A kísérleti csalások eredményét olyan valós pénzintézetek weboldalain és applikációin ellenőrizték, mint például a Bank of America. Összességében a csalás sikeressége 20-60% között mozgott (lásd: 1. kép) és a legbonyolultabb forgatókönyvek esetében is maximum 3 percig tarthatott.
A kutatók azt találták, hogy egy ilyen csalás elkövetése viszonylag alacsony költséggel (átlagosan 0.75 dollár) kivitelezhető.
Az Open AI válasza
Az OpenAI azt nyilatkozta a BleepingComputernek, hogy a ChatGPT-t folyamatosan fejlesztik annak érdekében, hogy minél erősebb védelemmel rendelkezzen az ilyen típusú visszaélések ellen. Emellett azt is megjegyezte, hogy az UIUC tanulmány eredményei segítségükre van a ChatGPT rosszindulatú felhasználásnak megállításában.
Az egyre fejlettebb nagy nyelvi modellek egyre komolyabb védelmi megoldásokat alkalmaznak, azonban továbbra is fennáll annak a kockázata, hogy a csalók más, kevesebb korlátozással rendelkező, hangalapú csevegőbotokat használnak a csalások elkövetésére.