Что такое abliterated-модель?
Abliterated-модель — это языковая модель с открытыми весами, у которой склонность к отказам снижена правкой весов. Исследования показали, что отказ определяется одним направлением в активациях модели; abliteration удаляет это направление из весов. Никаких трюков с промптом и никакого дообучения.
Что меняет abliteration
--- базовая модель (открытые веса)
+++ модель NotHoly
Удалено: направление отказа в весах
Добавлено: отвечает на запрос так, как он написан
знания базовой модели, ничего нового
её ошибки: проверяйте вывод
ваш промпт, к нему ничего не добавлено
ваше разрешение, ваш договор, наши условия
--- базовая модель (открытые веса)
+++ модель NotHoly
Удалено: направление отказа в весах
Добавлено: отвечает на запрос так, как он написан
знания базовой модели, ничего нового
её ошибки: проверяйте вывод
ваш промпт, к нему ничего не добавлено
ваше разрешение, ваш договор, наши условия
# Источник: Arditi et al., Refusal in Language Models Is Mediated by a Single Direction, 2024.
Она отвечает вместо отказа.
Abliteration находит в весах направление, которое запускает отказы, и убирает его. К вашему промпту ничего не добавляется, поэтому ломаться нечему: джейлбрейка нет.
Она знает то же, что базовая модель.
Новых знаний нет, своих бенчмарков у нас нет. Модель может ошибаться, поэтому сверяйте её работу с фактами.
Она отказывает реже, но иногда всё же отказывает.
Часть отказов переживает abliteration. Если такой попался, явно опишите скоуп и спросите снова.
Разрешение остаётся за вами.
Модель обсудит опасный случай. А можно ли вам тестировать систему, решают ваш договор, правила программы и наши условия.
Как это работает
Исследователи сравнивают внутренние активации модели на запросах, в которых она отказывает, и на запросах, на которые отвечает. Разница ложится вдоль одного направления. Если вычесть проекцию на это направление из весов, отказы слабеют, а всё остальное в модели остаётся на месте.
Что это меняет
Модель отвечает на запросы, от которых обычный ассистент отказывается, включая вопросы, без которых не обойтись в безопасности: как работает обход защиты или что делает бинарник.
Чего это не меняет
Знаний не прибавляется, ошибки не исправляются. Abliterated-модель может ошибаться так же, как исходная, и всё ещё может отказать в некоторых запросах.
Abliteration и джейлбрейки
Джейлбрейк — это промпт, который пытается уговорить модель не отказывать и перестаёт работать после её обновления. Abliteration — изменение весов, сделанное один раз.
Позиция NotHoly
NotHoly предоставляет abliterated-версии моделей с открытыми весами и называет базовую модель каждой. NotHoly не обучает веса. Использование ограничено авторизованной работой.
Источник: Arditi et al., Refusal in Language Models Is Mediated by a Single Direction, 2024.
Обновлено 2026-11-06
Спрашивайте обо всём, что позволяет ваш скоуп.
Создайте аккаунт, пополните баланс от $5 и задайте первый вопрос в чате или в терминале.
- 1/3
Создайте аккаунт
Личный или для компании. Позже можно перейти на аккаунт компании без потери баланса и ключей.
ЛичныйКомпания - 2/3
Пополните баланс
Картой, от $5. Оплата за токены, без подписки.
$5.00минимальное пополнение - 3/3
Спрашивайте
В чате, или установите CLI и выполните notholy login в терминале.
$ notholy login