ai-model-extraction
Extract or steal an ML/LLM model's parameters, training data, or system prompt via query access — model stealing, membership inference, training-data extraction. Load when testing an ML API/endpoint, "model extraction/inversion", data-leakage or IP-theft concerns, exposed inference endpoints. Signal
v2026.10.14-ee0e0c53 установки+3 за 7 дней27 ЗвездыMITсинхронизировано 22 часа назад
Установка
Ещё нет NotHoly CLI? Сначала установите её.
$ curl -fsSL https://notholy.com/install.sh | sh$ notholy skills install noorqureshi/ai-model-extractionПишет в ~/.notholy/skills после проверки подписи и SHA-256.
ПодписьПодписано, ed25519
Пакет546da050…452f9189
546da050a8b2…c0ab452f91891 файл · 1.4 KBПроверкаНизкийзамечаний нет
Источникgithub.com/NoorQureshi/security-skills/tree/main/skills/ai-ml/ai-model-extraction@ee0e0c5
Эта запись еще не переведена на русский, поэтому показан текст на другом языке: English.
На странице
When it applies
You have query access to an ML/LLM endpoint and want to show it leaks the model itself, its training data, or confidential context — IP theft or privacy impact, not just a bad answer.
Why it works
Query access is more powerful than it looks. Outputs (labels, probabilities, embeddings, generations) carry information about the model and its data. Enough targeted queries reconstruct a functional copy, reveal whether a record was in training, or regurgitate memorized secrets.
Method
- Model stealing: query systematically (esp. if confidence scores/logits are returned) to train a surrogate that mimics the target — proves the model can be cloned via the API.
- Membership inference: compare model behaviour (confidence, loss) on candidate records to infer whether a specific record was in the training set (privacy impact).
- Training-data / secret extraction (LLM): prompt for memorized data — PII, keys, or the
system prompt/hidden context (overlaps
ai-prompt-injection); look for verbatim regurgitation. - Embedding inversion: if an embeddings API is exposed, reconstruct approximate input text from vectors.
- Cost/DoS angle: unbounded/unthrottled querying is itself a finding (LLM10).
Gotchas
- Tie it to impact: a stolen surrogate, a confirmed membership leak, or verbatim secret output — not "it answered a lot".
- Respect scope/RoE — extraction requires many queries; get authorization and mind rate/cost limits.
- Defenders: rate-limit, strip logits, add output filtering, and monitor query patterns.
Verify success
Demonstrated leakage: a working surrogate, a reliable membership inference, or verbatim training-data/secret extraction.
References
OWASP LLM Top 10 (2025); "Stealing ML models via prediction APIs" (Tramèr et al.); membership-inference literature.
Файлы этой версии
- SKILL.md2.5 KB
Права
| Право | Заявлено | Найдено проверкой |
|---|---|---|
| Читает файлы | Нет | Нет |
| Пишет файлы | Нет | Нет |
| Выполняет команды shell | Нет | Нет |
| Ходит в сеть | Нет | Нет |
| Использует коннекторы | Нет | Нет |
| Управляет браузером | Нет | Нет |
Замечания проверки
Проверено 13 нояб. 2026 г.
Проверка не нашла в этой версии ничего подозрительного.
Чистая проверка снижает риск, но не доказывает, что пакет безопасен. Читайте то, что ставите.
| Версия | Опубликована | Коммит | SHA-256 | Подпись | Изменение прав |
|---|---|---|---|---|---|
| v2026.10.14-ee0e0c5 | 13 нояб. 2026 г. | ee0e0c5 | 546da050 | Подписана | – |
Ещё от NoorQureshi
Всё от этого издателяЕще в категории «ИИ, агенты и MCP»
Вся категория- fal-assetsrehan-remade/fal-assets5
- ai-system-prompt-leakagenoorqureshi/ai-system-prompt-leakage4
- ai-prompt-injectionnoorqureshi/ai-prompt-injection4
- testing-prompt-injection-in-rag-pipelinesmukul975/testing-prompt-injection-in-rag-pipelines4
- implementing-llm-guardrails-for-securitymukul975/implementing-llm-guardrails-for-security4
- defending-llms-with-guardrailsmukul975/defending-llms-with-guardrails4
Спрашивайте обо всём, что позволяет ваш скоуп.
Создайте аккаунт, пополните баланс и задайте первый вопрос в чате или в терминале.
- 1/3
Создайте аккаунт
Личный или для компании. Позже можно перейти на аккаунт компании без потери баланса и ключей.
ЛичныйКомпания - 2/3
Пополните баланс
Картой. Оплата за токены, без подписки.
$5.00минимальное пополнение - 3/3
Спрашивайте
В чате, или установите CLI и выполните notholy login в терминале.
$ notholy login