Как проверить ответ нейросети за пять минут
Три простых приёма, которые за пять минут ловят большинство выдуманных фактов и ссылок в ответе нейросети.
Для вас: Ошибка нейросети не попадёт в курсовую, пост или письмо клиенту — и не придётся исправлять её после публикации.

промптНиже — ответ нейросети на вопрос: [вопрос]. Выпиши списком все факты из него: цифры, даты, имена, названия, ссылки. Для каждого укажи, откуда он взят, насколько ты уверен (высоко, средне, низко) и как я могу проверить е…
Нейросеть пишет уверенно даже тогда, когда ошибается. Она не знает, что выдумала дату или ссылку: модель подбирает самые вероятные следующие слова, и выдуманный факт выходит таким же гладким, как настоящий. Поэтому проверять стоит не тон ответа, а его опоры — цифры, имена и ссылки.
Хорошая новость: на большинство ошибок хватает пяти минут и трёх простых приёмов. Ниже — как ими пользоваться, готовый промт для проверки и что делать, если ответ проверку не прошёл.
Почему неверный ответ звучит убедительно
Модель училась на огромном количестве текстов и пишет то, что обычно идёт дальше. Встроенного чувства «я не знаю» у неё нет. Когда факта не хватает, она заполняет пробел тем, что подходит по шаблону: правдоподобным годом, похожим на настоящий адресом сайта, цитатой в нужном стиле. Такие ошибки часто называют галлюцинациями.
Ошибки собираются в предсказуемых местах:
- точные числа: проценты, цены, население, даты;
- имена и должности, особенно не самых известных людей;
- ссылки и названия статей, книг, законов;
- цитаты, приписанные реальным людям;
- местные детали — казахстанские города, ведомства, правила. В обучающих данных их меньше, чем мировых тем.
Общие объяснения («что такое инфляция», «как работает вакцина») обычно надёжнее конкретных утверждений. Отсюда понятно, на что тратить пять минут.
Приём первый: попросить источник и открыть его самому
Напишите чат-боту: На какие источники опирается этот ответ? Дай ссылки. Затем откройте каждую ссылку сами. Не верьте тексту ссылки или названию — смотрите на саму страницу.
Обычно бывает три исхода:
- Ссылка открывается, и на странице написано то же самое. Хорошо — у факта есть опора.
- Ссылка открывается, но страница о другом или цифра там другая. Ответ под вопросом.
- Ссылка не открывается вовсе, или такой страницы на сайте нет. Считайте факт неподтверждённым.
Если ссылка не открывается или говорит о другом, ответ под вопросом. Посмотрите и на дату страницы: верная цифра пятилетней давности сегодня может быть устаревшей. Некоторые чат-боты ищут в интернете и показывают, откуда взяли текст, другие отвечают только по памяти. Во втором случае ссылку проверяйте обязательно: она могла быть не найдена, а сочинена.
Приём второй: задать тот же вопрос иначе
Откройте новый чат, чтобы модель не повторяла свой прошлый ответ, и спросите то же самое другими словами. Например, вместо «Когда приняли закон?» спросите «Что изменилось после вступления этого закона в силу и с какой даты?».
Если факты в двух ответах расходятся, хотя бы один из них выдуман. Если совпадают — это не доказательство, но хороший знак. Можно задать и обратный вопрос. Если бот говорит, что компания основана в определённом городе, спросите: «Какие компании были основаны в этом городе в этом году?» — и посмотрите, будет ли первая в списке.
Это занимает минуту и ловит много выдумок: сочинённый факт редко получается одинаковым дважды.
Приём третий: сверить ключевую цифру с официальным сайтом
Выберите одну цифру, которая в ответе важнее всего, — ту, на которой держится ваш текст, решение или аргумент. Найдите её на официальном сайте: ведомства, которое отвечает за эту сферу, самой компании, университета, службы статистики. Если официальная цифра другая, берите её, а к остальному ответу относитесь осторожнее.
Проверять каждое слово не нужно. Одна ключевая цифра, проверенная как следует, лучше десяти, проверенных наспех.
Промт для проверки
Нейросеть можно заставить помочь с проверкой собственного ответа. Вставьте ответ и попросите выписать все факты из него:
Ниже — ответ нейросети на вопрос: [вопрос]. Выпиши списком все факты из него: цифры, даты, имена, названия, ссылки. Для каждого укажи, откуда он взят, насколько ты уверен (высоко, средне, низко) и как я могу проверить его сам. Если источника нет, так и напиши. Ничего не добавляй от себя.
[текст ответа]
Вместо скобок подставьте свой вопрос и ответ, который проверяете. Так модель найдёт не все свои ошибки, но у вас появится понятный список того, что проверить. Начинайте с пунктов с низкой уверенностью и без источника. Что не подтвердилось — убирайте из текста.
Варианты промта:
- Для студента: добавьте «отметь, какие факты мне нужно указать в списке литературы».
- Для журналиста: добавьте «отдельно отметь каждую цитату и кто её сказал».
- Короткий:
Перечисли факты в этом ответе, которые мне стоит проверить перед использованием.
Что это значит для вас и что сделать сегодня
В Казахстане с чат-ботами пишут курсовые, посты, бизнес-планы, письма на казахском и русском. Слабее всего модели как раз в местных фактах: названиях ведомств, правилах, городских цифрах. Поэтому привычку стоит завести уже сейчас:
- Прежде чем копировать ответ во что-то публичное, отметьте каждую цифру, имя и ссылку.
- Откройте каждую ссылку. Те, что не открываются, удалите.
- Задайте главный вопрос ещё раз в новом чате и другими словами.
- Сверьте одну ключевую цифру с официальным сайтом.
- Сохраните промт выше в заметках.
Пять минут проверки дешевле, чем исправление в опубликованном тексте — и дешевле, чем сниженная оценка или потерянный клиент.




Комментарии
Войдите, чтобы оставить комментарийКомментариев пока нет — будьте первым.