🧠 Почему вам нужно крайне осторожно относиться к LLM как факт-чекеру и как вас ИИ легко может ввести в заблуждение и что с этим делать?
Для начала нужно понимать, что у ИИ нет никакого своего мнения как у эксперта-человека. В зависимости от контекста LLM моментально «переобуется в полёте» и будет выдавать разные точки зрения на вроде бы аналогичные запросы. Давайте рассмотрим, «как ИИ думает» и какие техники есть для получения более качественных ответов на валидацию информации.
Прежде всего стоит помнить о заморозке семантики в KV Cache у LLM. Это легко превращает ИИ в «упрямого осла», даже если его аргументы были ошибочными. Хотя все LLM на RL-обучении тренируют «передумывать», старая семантика ошибочных векторов никуда не исчезает, и за счёт Attention Sink ИИ очень склонен удерживать ошибочную точку зрения, потому что старые векторы для него — «центр семантического притяжения». Поэтому всегда открывайте новые сессии и под разным стартовым ICL для серьёзных вопросов.
Но есть ещё более важное заблуждение обывателей об ИИ, которые думают, что ИИ сообщает какие-то сведения в силу своей «экспертной убеждённости». Это ошибочный антропоцентризм для ИИ. Тут нужно заглянуть, как ИИ учил факты из pretraining и SFT. На самом деле там обучение в духе «Попугай Попка», так как ИИ заставляют учить datasets дословно и токен-в-токен его повторять. Это не тема про «экспертизу». Эти знания ИИ использует для ответа на ваши вопросы как интерполяцию между кейсами из этого байесовского разнообразия обучения. Однако вы критически зависимы от того, какой был dataset. В реале ИИ будет выбирать не верные, а частотные кейсы. Например, если в dataset было много утверждений в духе «Claude хорошо программирует» или «американские LLM лучшие», то для модели это облако кейсов в её гиперпространстве смысла создаёт мощнейший центр притяжения как семантическая чёрная дыра. ИИ будет крайне склонен при интерполяции кейсов в ответах сдвигаться к этим частотным облакам кейсов в силу их частоты, а не логической верности.
Хотя на RL-обучении все LLM учат логично рассуждать через тот же PRM, перебить «заблуждения частности» из своего обучения в реале ИИ не может. Без хорошего ICL сам ИИ будет работать как Капитан Очевидность, что для ответов однозначных обычно ок, но для экспертных, где ещё есть даже среди учёных битвы «остроконечников» и «тупоконечников», будет без ICL даже ИИ беспомощен, так как ему нужна от вас исходная информация, к какому лагерю гипотез примыкать. Его выбор может быть даже случайным в таких ситуациях.
📌 Основная мораль тут в том, что всегда имейте в виду: ИИ имеет потенциальное «заблуждение частотности» и потом ещё станет упрямым ослом в заблуждении из-за замерзания KV Cache. Старайтесь через ICL сразу смещать под разными углами вопросы к ИИ. Создавайте ансамбли разных ИИ. Не давайте ИИ коллапсировать в одну гипотезу-ответ, а стройте стратегию работы с ним через суперпозицию смыслов с анализом альтернативных гипотез трактования.
Просто бросить какой-то контекст без ICL на анализ ИИ — часто способ того, что LLM вас одурачит своим наукообразием ответов, и вы поверите в нерациональное решение модели. Правильные ответы на деле в ваших руках. Сам ИИ без позиции относительно обучения, его «родная позиция» — лишь частность кейсов из dataset.