Què és el prompt injection
Un assistent d'IA rep unes instruccions de l'empresa (què pot explicar, com ha de respondre) i els missatges de l'usuari. El prompt injection consisteix a colar instruccions noves perquè el model les obeeixi per sobre de les de l'empresa.
OWASP, l'organització de referència en seguretat web, el situa en primer lloc de la seva llista de riscos per a aplicacions amb models de llenguatge.
Hi ha dues variants. La directa, quan l'atacant escriu al xat. I la indirecta, quan la instrucció està amagada en un contingut que l'assistent llegeix: una ressenya, la descripció d'un producte, un correu o una pàgina web.
Què pot sortir malament en una botiga
El dany depèn del que l'assistent tingui a l'abast. Aquests són els casos que més veiem quan revisem assistents d'ecommerce:
- Fuita de dades: l'assistent mostra comandes, adreces o correus d'altres clients.
- Descomptes o promeses falses: l'assistent ofereix un preu, un cupó o una condició que la botiga no dona.
- Accions no autoritzades: cancel·lar comandes, canviar adreces o iniciar devolucions sense verificar a qui pertanyen.
- Filtració de les instruccions internes, proveïdors o marges que no haurien de sortir de l'equip.
- Dany de marca: respostes ofensives o falses que algú captura i publica.
Com protegir-lo
La regla de base és tractar el model com un usuari en qui no es confia del tot. Les proteccions importants es posen fora d'ell:
- Accés mínim: l'assistent només veu les dades que necessita i només del client identificat.
- Les accions sensibles (reemborsaments, canvis d'adreça, descomptes) passen per regles del sistema o per una persona, mai només pel criteri del model.
- Identificació del client abans de parlar d'una comanda concreta.
- Contingut extern marcat com a dada, no com a instrucció, i revisat abans de donar-lo al model.
- Límits d'ús per usuari per frenar atacs automatitzats.
- Registre de converses d'acord amb el RGPD per detectar abusos i millorar les regles.
Provar-lo abans de publicar-lo
Abans d'obrir un assistent al públic convé atacar-lo de manera controlada: intentar que reveli les seves instruccions, que mostri dades d'un altre client, que s'inventi un descompte o que se salti una verificació. Cada intent que funciona es converteix en una regla nova fora del model.
Aquestes proves es repeteixen cada vegada que canvien les eines de l'agent, les dades a què accedeix o el model que fa servir.
Preguntes freqüents
Es pot evitar del tot el prompt injection?
Avui no hi ha cap tècnica que ho eviti al cent per cent. Per això la protecció eficaç limita el que l'assistent pot veure i fer, i deixa les decisions sensibles a regles del sistema o a una persona.
Un chatbot que només respon dubtes també corre risc?
El risc és menor si no accedeix a dades de clients ni pot actuar, però existeix: pot donar informació falsa, prometre condicions que no ofereixes o revelar les seves instruccions internes. Convé provar-lo igualment abans de publicar-lo.
Què té a veure el RGPD amb un chatbot d'IA?
Un chatbot que tracta dades personals ha d'informar l'usuari, limitar les dades que recull i guardar-les de manera segura. Si l'assistent pot mostrar dades d'un client a una altra persona, a més d'un problema de seguretat és una bretxa de dades personals.
T’expliquem què faríem en el teu cas, sense compromís. Respon una persona de l’equip.
