O que é o prompt injection
Um assistente de IA recebe instruções da empresa (o que pode contar, como deve responder) e as mensagens do utilizador. O prompt injection consiste em introduzir instruções novas para que o modelo lhes obedeça acima das da empresa.
A OWASP, a organização de referência em segurança web, coloca-o em primeiro lugar na sua lista de riscos para aplicações com modelos de linguagem.
Há duas variantes. A direta, quando o atacante escreve no chat. E a indireta, quando a instrução está escondida num conteúdo que o assistente lê: uma avaliação, a descrição de um produto, um email ou uma página web.
O que pode correr mal numa loja
O dano depende do que o assistente tem ao seu alcance. Estes são os casos que mais vemos ao rever assistentes de ecommerce:
- Fuga de dados: o assistente mostra encomendas, moradas ou emails de outros clientes.
- Descontos ou promessas falsas: o assistente oferece um preço, um cupão ou uma condição que a loja não dá.
- Ações não autorizadas: cancelar encomendas, alterar moradas ou iniciar devoluções sem verificar a quem pertencem.
- Divulgação das instruções internas, fornecedores ou margens que não deveriam sair da equipa.
- Dano à marca: respostas ofensivas ou falsas que alguém captura e publica.
Como protegê-lo
A regra de base é tratar o modelo como um utilizador em quem não se confia totalmente. As proteções importantes ficam fora dele:
- Acesso mínimo: o assistente só vê os dados de que precisa e apenas do cliente identificado.
- As ações sensíveis (reembolsos, alterações de morada, descontos) passam por regras do sistema ou por uma pessoa, nunca apenas pelo critério do modelo.
- Identificação do cliente antes de falar de uma encomenda concreta.
- Conteúdo externo marcado como dado, não como instrução, e revisto antes de ser entregue ao modelo.
- Limites de utilização por utilizador para travar ataques automatizados.
- Registo de conversas em conformidade com o RGPD para detetar abusos e melhorar as regras.
Testá-lo antes de o publicar
Antes de abrir um assistente ao público, convém atacá-lo de forma controlada: tentar que revele as suas instruções, que mostre dados de outro cliente, que invente um desconto ou que salte uma verificação. Cada tentativa que funciona torna-se uma regra nova fora do modelo.
Estes testes repetem-se sempre que mudam as ferramentas do agente, os dados a que acede ou o modelo que usa.
Perguntas frequentes
É possível evitar totalmente o prompt injection?
Hoje não há uma técnica que o evite a cem por cento. Por isso, a proteção eficaz limita o que o assistente pode ver e fazer, e deixa as decisões sensíveis a regras do sistema ou a uma pessoa.
Um chatbot que só responde a dúvidas também corre riscos?
O risco é menor se não aceder a dados de clientes nem puder agir, mas existe: pode dar informação falsa, prometer condições que não oferece ou revelar as suas instruções internas. Convém testá-lo na mesma antes de o publicar.
O que tem o RGPD a ver com um chatbot de IA?
Um chatbot que trata dados pessoais deve informar o utilizador, limitar os dados que recolhe e guardá-los de forma segura. Se o assistente puder mostrar dados de um cliente a outra pessoa, além de um problema de segurança é uma violação de dados pessoais.
Dizemos-lhe o que faríamos no seu caso, sem compromisso. Responde uma pessoa da equipa.
