Почему LLM — рискованный факт-чекер и как не дать ИИ вас одурачить

Это не баг, который когда-нибудь починят, — это прямое следствие того, как модели учатся и как обрабатывают диалог. Чтобы получать от LLM действительно полезную валидацию, нужно понимать два механизма: заблуждение частотности, унаследованное из обучения, и залипание контекста, которое превращает чат в упрямого защитника собственных ранних ошибок. Разберём оба — и закончим практическим протоколом.

Самое распространённое заблуждение об ИИ — антропоцентрическое: людям кажется, что модель сообщает что-то в силу экспертной убеждённости. Но посмотрите, как факты на самом деле попадают в LLM. Pretraining и supervised fine-tuning ближе к дрессировке попугая Попки: модель учат воспроизводить datasets почти дословно, токен в токен. Никакого этапа «экспертизы» там нет. Когда вы потом задаёте вопрос, ответ — это интерполяция между усвоенными кейсами, выборка из байесовского разнообразия обучающих данных.

И вот подвох: интерполяция тяготеет к частотным кейсам, а не к верным. Если в обучающих данных какое-то утверждение повторяется тысячи раз — «модель X лучше всех программирует», «лаборатория Y впереди всех», — это облако примеров становится мощным центром притяжения в семантическом пространстве модели, своего рода семантической чёрной дырой. Ответы сдвигаются к нему в силу частоты, а не логической верности. «Родная позиция» модели — это просто частотная структура её dataset.

Второй механизм живёт внутри самого диалога. Всё уже сказанное в сессии заморожено в KV Cache модели — attention-памяти диалога — в виде зафиксированных семантических векторов. Внимание постоянно подтягивается к этим ранним токенам (эффект attention sink), поэтому сказанное первым становится центром семантического притяжения для всего последующего.

Теперь представьте, что модель выдала шаткий аргумент в начале чата. Современное RL-обучение действительно учит модели передумывать — но старые ошибочные векторы из контекста никуда не исчезают. Они продолжают притягивать, и модель вращается вокруг своей первой гипотезы, защищая её как упрямый осёл — даже после того, как вы указали на ошибку.

Практическое правило следует напрямую: по важным вопросам не спорьте внутри одного длинного чата. Открывайте новую сессию и меняйте стартовую рамку — примеры и угол, с которых начинаете (ICL). Чистый контекст — единственная настоящая кнопка сброса.

Все фронтирные лаборатории учат модели рассуждать по шагам, с обратной связью в духе PRM на само рассуждение. Это реально помогает — но на практике не может перебить частотные приоры, вшитые на pretraining. Логически чистая цепочка рассуждений всё равно может стартовать с частотно-смещённой посылки и очень убедительно привести не туда.

Без хорошей рамки в контексте модель по умолчанию играет Капитана Очевидность. Для вопросов с одним устоявшимся ответом это нормально. Но на действительно спорных экспертных вопросах — там, где даже учёные делятся на остроконечников и тупоконечников, — модель без рамки беспомощна: ей нужно, чтобы вы сказали, какой лагерь гипотез взвешивать, какие свидетельства приоритетны, какие контраргументы принимать всерьёз. Без этого её выбор между лагерями может быть почти случайным — упакованным, как всегда, в уверенную прозу.

Исходите из презумпции: модель несёт частотное смещение из обучения и упрямится внутри сессии. Ни то ни другое не видно по тону ответа — проза звучит одинаково авторитетно в обоих случаях.

Задавайте один и тот же вопрос несколько раз под действительно разными углами: каждый раз новая сессия, другой стартовый контекст, другая постановка вопроса. Если вердикт меняется вместе с рамкой — вы узнали главное: устойчивой позиции по этому вопросу у модели нет, а её «уверенность» была артефактом вашего промпта.

Не давайте модели коллапсировать в одну гипотезу. Явно просите альтернативные трактовки и сильнейшие аргументы против её собственного вывода. Держите на столе несколько конкурирующих прочтений — суперпозицию гипотез — и сравнивайте их, вместо того чтобы принять первый уверенный синтез.

И никогда не бросайте модели сырой контекст «на анализ» без рамки. Это классический способ дать себя одурачить: ответ будет выглядеть как наука, читаться как экспертиза — и унаследует все смещения выше. Модель даёт широту и скорость; вердикт остаётся за вами.

Самая эффективная техника из этого списка — ансамбль разных моделей. Claude, GPT, Gemini, DeepSeek и Kimi обучались на разных данных с разными приоритетами — а значит, и частотные смещения у них разные. Там, где они независимо сходятся, уверенность оправдана; там, где расходятся, — вы нашли ровно то место, которое заслуживает вашего собственного суждения.

Ансамбли практичны только тогда, когда смена модели дёшева. С Kumo это так: один OpenAI-совместимый base URL и один предоплаченный баланс перед каталогом фронтирных моделей, поэтому прогнать один вопрос через три семейства моделей — это смена параметра, а не три аккаунта. Вы платите за токены, видите ставку каждой модели до расхода, и модель никогда не подменяется втихую — что важно, когда весь смысл в том, чтобы сравнить, кто что сказал.