Как Anthropic заставила нас переплачивать за «запрещенку» Fable 5
Коллеги из Комитета АКОС по международным связям и Комитета АКОС по Digital Communications (лидеры — Интериум) подкинули мне свежий международный Дайджест. Пока листал его, наткнулся на блок новостей про регулирование, и у меня окончательно сложился пазл вокруг истории с Fable 5. Потому что буквально вчера эта безопасность ударила лично по моей работе.
У меня была задача: написать сложную экспертную статью на заказ. Для структуры материала мне нужно было разобрать классическую методологию по модели ADDIE (аббревиатура от Analyze, Design, Development, Implement, Evaluate — анализ, проектирование, разработка, внедрение и оценка).
Но Fable 5 внезапно посчитала этот запрос запрещенным, стёрла ответ и перекинула меня на модель Opus 4.8.
Для тех кто не знает, модель ADDIE, это база педагогического дизайна. По ней строят обучающие курсы во всём мире аж с 1970 х годов. В ней нет ничего опаснее, чем в учебнике для первоклассника. Но самая мощная нейросеть планеты посмотрела на неё и решила, что я задумал какое - то киберпреступление.
Сначала я списал это на случайный глюк. Оказалось, что нет. Это система.
Что произошло с запрещенкой после разблокировки?
Напомню: 12 июня правительство США заблокировало Fable 5 и Mythos 5 по линии экспортного контроля. Через 18 дней доступ вернули, но модель принудительно обновили. Anthropic перезапустила её с выкрученными на максимум фильтрами безопасности.
Я наткнулся на интересный тест компании BridgeMind в сети Х, которая прогнала обновленную Fable 5 через свой бенчмарк BridgeBench и сравнила результаты с версией до блокировки.
Цифры выглядят печально:
⏺️Отладка кода: обвал с 86.2 до 25.9 балла (падение более чем в 3 раза).
⏺️Рефакторинг: падение с 73.6 до 38.4 балла (почти вдвое).
⏺️Устойчивость к галлюцинациям при анализе кода: просадка с 75.9 до 61.7 балла.
И дело не в том, что сама модель резко стала тупой. Когда Fable 5 всё-таки соизволит ответить - то качество выдачи то же, что и раньше. Появляется только проблема в механике цензуры.
Усиленные классификаторы безопасности теперь работают по принципу пост-генерационного фильтра:
1. То есть мы пишем обычный запрос, модель начинает генерировать абсолютно нормальный технический ответ;
2. Затем, встроенный цензор сканирует уже создаваемый моделью текст на наличие подозрительных слов триггеров;
3. Если фильтр находит совпадение, то генерация мгновенно зачищается, а запрос перекидывается на более слабую Opus 4.8, которая переписывает ответ заново.
Именно из-за этой механики под флаг безопасности попадают невинные вещи. В X и на Reddit сейчас масса жалоб. Один разработчик проверял изоляцию собственных серверов (свои iptables, свой SSH), и получил бан запроса. Я разбирал образовательную методику полувековой давности и тоже самое...
Мало того, что падает качество, так это ещё и дико бесит по времени: на то, чтобы стереть ответ и перегенерировать его другой моделью, уходят лишние десятки секунд.
У Anthropic похоже нет других вариков, она оказалась зажата между молотом и наковальней. С одной стороны прессингует государство в лице Минторга США, требующее, чтобы модель было невозможно взломать. С другой стороны пользователи, которые платят за премиальный ИИ, а на выходе получают Opus 4.8 на ровном месте.
Компания выбрала трусливую перестраховку: им проще зарезать 100 нормальных бизнес запросов, чем пропустить один потенциально опасный. Вот только платит за эту паранойю обычный пользователь.
Самую продвинутую языковую модель в мире пропустили через жесткое государственное сито. На выходе мы получили продукт, который в трети рабочих сценариев выдает результат хуже предыдущего поколения.
🔥 если тоже ловили странные блокировки на ровном месте
#Anthropic #Fable5 #Claude #ИИ #расследование #BrainAidAI
