Атаки на чат-ботов: indirect prompt injection в реальном приложении

Современные чат-боты, такие как ChatGPT, Microsoft Copilot, Google Gemini, — это сложные приложения с нетривиальным внутренним устройством, где взаимодействие компонентов координируется большой языковой моделью (LLM). Эта сложность в сочетании с вероятностным характером LLM приводит к потенциальным уязвимостям. В ходе доклада будет изучено устройство такого чат-бота и продемонстрирована его уязвимость к двум атакам, которые могут приводить к отказу в обслуживании из-за неверной обработки сторонних данных. Владислав Тушканов «Лаборатория Касперского»