Mi a prompt injection
Egy AI-asszisztens utasításokat kap a cégtől (mit mondhat el, hogyan válaszoljon), és megkapja a felhasználó üzeneteit. A prompt injection lényege, hogy valaki új utasításokat csempész be, és a modell ezeket követi a cég utasításai helyett.
Az OWASP, a webbiztonság referenciaszervezete, az első helyre teszi a nyelvi modelleket használó alkalmazások kockázati listáján.
Két változata van. A közvetlen, amikor a támadó a chatbe ír. És a közvetett, amikor az utasítás egy olyan tartalomban van elrejtve, amelyet az asszisztens elolvas: egy értékelésben, egy termékleírásban, egy e-mailben vagy egy weboldalon.
Mi romolhat el egy webáruházban
A kár attól függ, mi van az asszisztens hatókörében. Ezeket az eseteket látjuk a leggyakrabban, amikor ecommerce-asszisztenseket vizsgálunk:
- Adatszivárgás: az asszisztens más ügyfelek rendeléseit, címeit vagy e-mail-címeit mutatja meg.
- Hamis kedvezmények vagy ígéretek: az asszisztens olyan árat, kupont vagy feltételt kínál, amelyet a webáruház nem ad.
- Jogosulatlan műveletek: rendelések törlése, címek módosítása vagy visszaküldések indítása anélkül, hogy ellenőrizné, kié a rendelés.
- A belső utasítások, beszállítók vagy árrések kiszivárgása, amelyeknek nem kellene kikerülniük a csapatból.
- Márkakár: sértő vagy hamis válaszok, amelyeket valaki lement és közzétesz.
Hogyan védd meg
Az alapszabály: úgy kezeld a modellt, mint egy felhasználót, akiben nem bízol teljesen. A fontos védelmek a modellen kívül vannak:
- Minimális hozzáférés: az asszisztens csak a szükséges adatokat látja, és csak az azonosított ügyfélét.
- Az érzékeny műveletek (visszatérítések, címváltozások, kedvezmények) rendszerszabályokon vagy egy emberen mennek át, soha nem csak a modell döntésén.
- Az ügyfél azonosítása, mielőtt egy konkrét rendelésről esne szó.
- A külső tartalom adatként, nem utasításként van megjelölve, és átnézzük, mielőtt a modell megkapja.
- Felhasználónkénti használati korlátok az automatizált támadások lassítására.
- GDPR-kompatibilis beszélgetésnaplózás a visszaélések észlelésére és a szabályok javítására.
Teszteld élesítés előtt
Mielőtt egy asszisztenst megnyitsz a nyilvánosság előtt, érdemes ellenőrzött módon megtámadni: megpróbálni, hogy felfedje az utasításait, megmutassa egy másik ügyfél adatait, kitaláljon egy kedvezményt vagy átugorjon egy ellenőrzést. Minden sikeres próbálkozásból új szabály lesz a modellen kívül.
Ezeket a teszteket minden alkalommal megismételjük, amikor megváltoznak az ügynök eszközei, az általa elért adatok vagy az általa használt modell.
Gyakori kérdések
Teljesen kivédhető a prompt injection?
Ma nincs olyan technika, amely száz százalékig kivédi. Ezért a hatékony védelem korlátozza, mit láthat és mit tehet az asszisztens, és az érzékeny döntéseket rendszerszabályokra vagy egy emberre bízza.
Egy csak kérdésekre válaszoló chatbot is veszélyben van?
A kockázat kisebb, ha nem fér hozzá ügyféladatokhoz, és nem tud műveleteket végezni, de létezik: adhat hamis információt, ígérhet olyan feltételeket, amelyeket nem kínálsz, vagy felfedheti a belső utasításait. Ezt is érdemes élesítés előtt tesztelni.
Mi köze a GDPR-nak egy AI-chatbothoz?
Egy személyes adatokat kezelő chatbotnak tájékoztatnia kell a felhasználót, korlátoznia kell a gyűjtött adatokat, és biztonságosan kell tárolnia őket. Ha az asszisztens egy ügyfél adatait egy másik személynek is megmutathatja, az a biztonsági problémán túl személyes adatokat érintő adatvédelmi incidens is.
Elmondjuk, mit tennénk a te esetedben, kötelezettség nélkül. A csapat egy tagja válaszol.
