Több államilag támogatott csoport is (különösen Kínából és Iránból) kísérletezik a Google mesterséges intelligencial alapú szoftverével, a Geminivel, hogy növeljék a termelékenységüket, és kutatásokat végezzenek a támadások potenciális infrastruktúrájáról vagy a célpontokról.
A Google Threat Intelligence Group (GTIG) megfigyelései alapján ezek a fejlett állandó fenyegetést jelentő csoportok (APT), elsősorban a termelékenység növelésére alkalmazzák a Geminit, nem pedig új, AI alapú kibertámadások kifejlesztésére vagy végrehajtására, amelyek megkerülhetnék a hagyományos védelmet.
A támadók különböző mértékű sikerrel próbálták kihasználni az AI eszközöket támadásaik végrehajtására, mivel ezek a segédprogramok lerövidíthetik az előkészítési időszakot.
A Google több mint 20 országból származó APT csoport Gemini tevékenységét azonosította, de a legkiemelkedőbbek a kínai és iráni csoportok.
A Gemini segítségével kódolási feladatokat végeznek, nyilvánosan ismert sebezhetőségeket kutatnak, technológiai információkat keresnek a detektálás elkerülésére, jogosultságok kiterjesztésére vagy belső felderítésre használják egy kompromittált hálózaton belül.
A Google szerint iráni, kínai, észak-koreai és orosz APT-csoportok egyaránt kísérleteztek a Gemini AI eszközzel, hogy feltérképezzék annak lehetőségeit a biztonsági rések felfedezésére, a detektálás elkerülésére és kompromittálás utáni tevékenységeik megtervezésére:
Ezeket így foglalhatjuk össze:
Az iráni fenyegetési szereplők használták a Geminit a legintenzívebben, széleskörű célokra, például védelmi szervezetek és nemzetközi szakértők felderítésére, nyilvánosan ismert sebezhetőségek kutatására, adathalász kampányok fejlesztésére, valamint befolyásolásra alkalmas műveletekhez szükséges tartalmak létrehozásához. Emellett a Gemini fordítási és technikai magyarázatok nyújtására is szolgált számukra, különösen a kiberbiztonság és katonai technológiák területén, beleértve a pilóta nélküli légijárműveket, valamint a rakétavédelmi rendszereket.
A kínai támogatású fenyegetési szereplők elsősorban az Egyesült Államok katonai és kormányzati szervezeteinek felderítésére használták a Geminit, valamint sebezhetőségek kutatására, script-ek írására, laterális mozgásra és jogosultság kiterjesztéshez. Emellett kompromittálás utáni tevékenységekre is alkalmazták (például a detektálás elkerülésére és a hálózatokban való tartós jelenlét fenntartására).
Azt is vizsgálták, hogyan férhetnek hozzá a Microsoft Exchange rendszeréhez jelszóhash-ek segítségével, valamint hogyan lehet visszafejteni biztonsági eszközöket (például a Carbon Black EDR-t).
Az észak-koreai APT csoportok a Gemini segítségével a támadási ciklusuk több szakaszát is támogatták, beleértve az ingyenes tárhelyszolgáltatók felderítését, célzott szervezetek kutatását, valamint a rosszindulatú szoftverek fejlesztését és a detektálást elkerülő technikák kidolgozását. Tevékenységük jelentős része Észak-Korea titkos IT-munkavállaló csalás programjára összpontosított, amelyben a Gemini segítségével állásajánlatokat, motivációs leveleket és pályázatokat készítettek, hogy ál-személyazonossággal munkát kapjanak a nyugati vállalatoknál.
Orosz támadásoknál minimális mértékben (leginkább script-ek írására) fordításra és káros kódok készítésére használták a Geminit. Tevékenységük magába foglalta a nyilvánosan elérhető rosszindulatú programok átírását különböző programozási nyelvekre, titkosítási funkciók használatát a kártékony kódokhoz, és hogy jobban megértsék a nyilvánosan elérhető malware-ek működését. A korlátozott használat arra mutathat rá, hogy az orosz szereplők leginkább a belföldön fejlesztett mesterséges intelligencia modelleket részesítik előnyben, vagy operatív biztonsági okokból kerülik a nyugati AI platformokat.
A Google arról is beszámolt, hogy megfigyelték ahogy a támadók nyilvánosan elérhető jailbreak-módszerek használatával próbálkoznak a Gemini ellen (vagy átfogalmazták a parancsokat, hogy megkerüljék a platform biztonsági intézkedéseit). Ezek a kísérletek azonban bizonyítottan sikertelenek voltak.
Az Open AI, a népszerű ChatGPT chatbot fejlesztője, 2024 októberében tett hasonló , így a Google legfrissebb közleménye megerősíti, hogy a támadók minden szinten nagy mértékben visszaélnek a generatív AI eszközökkel.
Amíg a jailbreak-módszerek és a biztonsági korlátozások megkerülése komoly gondot jelentenek a mainstream AI termékekekkel kapcsolatban, a mesterséges intelligencia piac fokozatosan telik meg olyan modellekkel, amelyek nem rendelkeznek megfelelő védekezéssel a visszaélések megakadályozására. Sajnos egyes könnyen kijátszható korlátozásokkal rendelkező modellek is egyre nagyobb népszerűségnek örvendenek.
A KELA kiberbiztonsági hírszerző cég nemrég tett közzé részleteket a DeepSeek R1 és Alibaba Qwen 2.5 sérülékenységeivel kapcsolatban. Ezek a modellek sebezhetők promptinjektálási támadásokkalszemben, amelyekkel így könnyebben visszaélhetnek.
A Unit 42 kutatói hatékony jailbreak-technikákat is bemutattak, a DeepSeek R1-en és V3-n jelezve, hogy ezek a modellek könnyen kompromittálhatóak.
