Início
Cibersegurança

Prompt injection: como proteger o seu chatbot de IA

Óliver Vega Lora · CTO da Webimpacto
Publicado: · 7 min de leitura

O que é o prompt injection

Um assistente de IA recebe instruções da empresa (o que pode contar, como deve responder) e as mensagens do utilizador. O prompt injection consiste em introduzir instruções novas para que o modelo lhes obedeça acima das da empresa.

A OWASP, a organização de referência em segurança web, coloca-o em primeiro lugar na sua lista de riscos para aplicações com modelos de linguagem.

Há duas variantes. A direta, quando o atacante escreve no chat. E a indireta, quando a instrução está escondida num conteúdo que o assistente lê: uma avaliação, a descrição de um produto, um email ou uma página web.

O que pode correr mal numa loja

O dano depende do que o assistente tem ao seu alcance. Estes são os casos que mais vemos ao rever assistentes de ecommerce:

  • Fuga de dados: o assistente mostra encomendas, moradas ou emails de outros clientes.
  • Descontos ou promessas falsas: o assistente oferece um preço, um cupão ou uma condição que a loja não dá.
  • Ações não autorizadas: cancelar encomendas, alterar moradas ou iniciar devoluções sem verificar a quem pertencem.
  • Divulgação das instruções internas, fornecedores ou margens que não deveriam sair da equipa.
  • Dano à marca: respostas ofensivas ou falsas que alguém captura e publica.

Como protegê-lo

A regra de base é tratar o modelo como um utilizador em quem não se confia totalmente. As proteções importantes ficam fora dele:

  • Acesso mínimo: o assistente só vê os dados de que precisa e apenas do cliente identificado.
  • As ações sensíveis (reembolsos, alterações de morada, descontos) passam por regras do sistema ou por uma pessoa, nunca apenas pelo critério do modelo.
  • Identificação do cliente antes de falar de uma encomenda concreta.
  • Conteúdo externo marcado como dado, não como instrução, e revisto antes de ser entregue ao modelo.
  • Limites de utilização por utilizador para travar ataques automatizados.
  • Registo de conversas em conformidade com o RGPD para detetar abusos e melhorar as regras.

Testá-lo antes de o publicar

Antes de abrir um assistente ao público, convém atacá-lo de forma controlada: tentar que revele as suas instruções, que mostre dados de outro cliente, que invente um desconto ou que salte uma verificação. Cada tentativa que funciona torna-se uma regra nova fora do modelo.

Estes testes repetem-se sempre que mudam as ferramentas do agente, os dados a que acede ou o modelo que usa.

Perguntas frequentes

É possível evitar totalmente o prompt injection?

Hoje não há uma técnica que o evite a cem por cento. Por isso, a proteção eficaz limita o que o assistente pode ver e fazer, e deixa as decisões sensíveis a regras do sistema ou a uma pessoa.

Um chatbot que só responde a dúvidas também corre riscos?

O risco é menor se não aceder a dados de clientes nem puder agir, mas existe: pode dar informação falsa, prometer condições que não oferece ou revelar as suas instruções internas. Convém testá-lo na mesma antes de o publicar.

O que tem o RGPD a ver com um chatbot de IA?

Um chatbot que trata dados pessoais deve informar o utilizador, limitar os dados que recolhe e guardá-los de forma segura. Se o assistente puder mostrar dados de um cliente a outra pessoa, além de um problema de segurança é uma violação de dados pessoais.

Aplicamos isto ao seu negócio?

Dizemos-lhe o que faríamos no seu caso, sem compromisso. Responde uma pessoa da equipa.

Peça uma proposta
Por
Óliver Vega Lora
CTO da Webimpacto · Webimpacto

Responsável técnico da Webimpacto. Dirige as equipas de desenvolvimento que constroem, migram e mantêm lojas em Shopify, PrestaShop, Adobe Commerce, VTEX e WooCommerce.