Что такое Prompt Injection и Indirect Prompt Injection?

Разбираем на простых примерах, как вредоносный текст может изменить поведение ИИ и AI-агента и как защититься.

Представьте простую ситуацию.

Вы просите нейросеть:

«Прочитай этот документ и сделай краткое резюме».

В документе действительно находится нужная информация. Но где-то внутри текста есть совершенно другая инструкция:

... Читать дальше »