Главная мысль
Галлюцинация — не сбой и не ложь. Это тот же механизм, который пишет верные ответы: модель собирает самое типичное продолжение под твои слова. На вопрос «когда» типичное продолжение — дата, на «какой номер» — номер, на «где почитать» — ссылка. Форма ответа приходит всегда; факт — только если он был в стопке примеров. Уверенный тон — часть формы, а не знак правды.
Объяснение
Уверенный ответ без источника
Тот самый случай из начала. Ты задал вопрос, на который есть один правильный ответ, и получил ответ — законченный, с деталями, без оговорок. Единственное, чего у него не было, — источника. Не потому, что чат его скрыл: источника не существовало. Ответ был собран, а не найден. Слово для этого — галлюцинация (hallucination): правдоподобный текст, за которым нет ничего, что можно открыть и проверить.
Важно понять: снаружи эти два ответа неотличимы. Тот же тон, та же структура, те же уверенные слова. Верный ответ и галлюцинация — два выхода одной сборки; разница не в том, как они написаны, а в том, было ли это в стопке примеров. Поэтому «на глаз» галлюцинацию не ловят. Её ловят у источника.
Зачем это тому, кто уже жмёт кнопку ▶
Почему цифра, дата и ссылка приходят всегда
Спроси «в каком году вышла книга» — и год придёт, даже если книги не существует. Спроси «дай ссылку на исследование» — придёт ссылка, аккуратная, с правдоподобным адресом, которая никуда не ведёт. Это не хитрость. Модель училась на миллионах текстов, где за вопросом «в каком году» шёл год, а за «где почитать» — адрес. Она собирает форму ответа так же, как собирает слова: по частоте. Цифра для неё — не факт, а самый типичный вид продолжения.
Заметь, что происходит с уверенностью. Ты ждёшь, что на незнакомый вопрос модель ответит «не знаю». Но «не знаю» — редкое продолжение в стопке: люди в интернете редко так пишут, они пишут ответы. Значит, типичное продолжение — ответ, а не отказ. Уверенный тон — это не измеренная уверенность модели в цифре. Это среднее по тому, как люди отвечают на вопросы.
Зачем это тому, кто уже жмёт кнопку ▶
Где выдумка встречается чаще всего
Галлюцинации не размазаны ровно по всем ответам. Они кучкуются там, где в стопке примеров было мало или где форма важнее содержания. Зная эти места, ты знаешь, что проверять первым.
- Точные числа и даты — численность, стоимость, год, день. Форма «число» приходит всегда, конкретное число — по частоте.
- Номера и названия документов — приказы, статьи, ГОСТы, постановления. Правдоподобный номер собирается легче, чем находится настоящий.
- Ссылки и адреса — модель не открывает страниц; адрес собран из типичных кусков и может вести в никуда.
- Дословные цитаты — «как сказал автор» почти всегда пересказ в форме цитаты, с кавычками и номером страницы.
- Малоизвестные люди, компании, места — мало примеров в стопке, среднее размыто, детали добираются.
- Всё, что случилось после заморозки — модель не может знать событий позже своей стопки (урок 4), но форму ответа даст.
Зачем это тому, кто уже жмёт кнопку ▶
Как просить, чтобы «не знаю» стало возможным ответом
Раз «не знаю» — редкое продолжение, его надо сделать частым прямо в запросе. Это делается не просьбой «не выдумывай» (это оценка, не опора), а формой ответа, которую ты задаёшь сам: три раздела — «знаю точно», «предполагаю», «не знаю». Когда форма требует раздела «не знаю», типичное продолжение под такую форму — заполнить его. Ты не меняешь модель; ты меняешь, какой ответ для неё типичен.
Заставь модель разделить «знаю / предполагаю / не знаю»
Заготовка — запрос с формой ответа из трёх разделов. Впиши свой вопрос (лучше такой, где есть цифра или документ) или оставь пример. Кнопка откроет чат с этим текстом.
Сообщение спишет 1ⓥ ≈ 30 ₽ — цену сообщения сайт показывает под полем до отправки. Потом открой правовую базу или официальный сайт и сверь раздел «знаю точно» построчно: это и есть проверка у источника.
Зачем это тому, кто уже жмёт кнопку ▶
Что проверять у источника
Проверка — не «спросить ещё раз» и не «спросить другой чат». Второй чат — такой же сборщик, и совпадение двух сборок означает лишь, что типичная форма у них общая. Проверка — это открыть первоисточник: сам документ в правовой базе, официальную страницу организации, саму книгу, сам отчёт. И сверить не «похоже ли», а построчно.
Зачем это тому, кто уже жмёт кнопку ▶
Аналогия
Представь рассказчика у костра. Он слышал тысячи историй и рассказывает складно, никогда не запинается и никогда не молчит. Спроси его, в каком году построили мост через реку, — он назовёт год, потому что история про мост без года звучит хуже. Спроси, кто архитектор, — назовёт фамилию. Он не врёт: он рассказывает так, как рассказывают. Пауза «не знаю» в его ремесле — брак, он её не выучил.
Если тебе нужен год моста для документа — ты идёшь в архив, а не переспрашиваешь рассказчика громче. Но рассказчика можно попросить иначе: «расскажи и отдельно скажи, что из этого ты слышал сам, что додумал, а чего не знаешь». Хороший рассказчик умеет и так — если форму задал ты. А если положить перед ним архивную справку, он перескажет её — и тогда его складность работает на тебя, а не против.
Что это значит на практике
- Считай каждую цифру, дату, номер, ссылку и цитату из чата гипотезой, пока не открыл источник. Уверенный тон — форма, не доказательство. Помечай их «(проверить)» ещё в черновике.
- Задавай форму ответа сам: «знаю точно / предполагаю / не знаю», «ссылок не придумывай», «если нет в памяти — так и скажи». Это делает «не знаю» типичным ответом.
- Факт нужен — неси источник в чат: документ во вложении, выдержку в сообщении, режим с источниками там, где он есть. Ответ «только по документу с указанием абзаца» проверяется за минуту.
- Проверяй у первоисточника, не у второго чата. Открыл документ — сверил номер, дату, контекст, действует ли. Что уходит наружу от твоего имени — проверяется всегда.
Заблуждение, которое мешает
Заблуждение, которое убивает этот урок: «Если чат ответил уверенно и с деталями — он знает. Сомневался бы — написал бы «не знаю». А если попросить проверить, он проверит».
Оно вредит сразу в трёх местах.
Первое: ты несёшь номер приказа из чата в договор или в пост от имени компании. Проверка заняла бы минуту, разбор последствий занимает недели, и виноват в глазах людей будешь ты, а не чат.
Второе: ты ждёшь «не знаю» как сигнала и не получаешь его никогда — потому что в стопке примеров его почти нет. Пока ты веришь, что молчание придёт само, ты не задаёшь форму, в которой оно возможно.
Третье: ты просишь «проверь себя» и успокаиваешься, когда чат подтверждает свой же ответ. Проверял тот же сборщик, тем же способом, без источника. Совпадение двух сборок — не проверка.
Из этой веры вырастает либо доверие там, где его быть не должно, либо обида «нейросеть врёт» и отказ от инструмента, который прекрасно работает — с источником перед ним.
Проверка
Выбери вариант — разбор появится сразу, и на верный, и на неверный.
Понял?
Отмечай только то, что можешь прямо сейчас сказать вслух своими словами. Это не галочки для отчёта, а проверка, что урок улёгся.
Итог
- Галлюцинация — уверенный ответ без источника, собранный тем же способом, что и верный. Снаружи не отличить; отличает проверка.
- Цифра, дата, номер, ссылка, цитата — типичная форма ответа, а не факт. Чем конкретнее деталь без источника, тем обязательнее проверка.
- Форму ответа задаёшь ты: «знаю / предполагаю / не знаю» делает «не знаю» возможным. Факт — только от первоисточника: открыть и сверить построчно.