Промпты

Как проверить ответ нейросети за пять минут

Три простых приёма, которые за пять минут ловят большинство выдуманных фактов и ссылок в ответе нейросети.

Для вас: Ошибка нейросети не попадёт в курсовую, пост или письмо клиенту — и не придётся исправлять её после публикации.

Как проверить ответ нейросети за пять минут
Как проверить ответ нейросети за пять минут

промптНиже — ответ нейросети на вопрос: [вопрос]. Выпиши списком все факты из него: цифры, даты, имена, названия, ссылки. Для каждого укажи, откуда он взят, насколько ты уверен (высоко, средне, низко) и как я могу проверить е…

Нейросеть пишет уверенно даже тогда, когда ошибается. Она не знает, что выдумала дату или ссылку: модель подбирает самые вероятные следующие слова, и выдуманный факт выходит таким же гладким, как настоящий. Поэтому проверять стоит не тон ответа, а его опоры — цифры, имена и ссылки.

Хорошая новость: на большинство ошибок хватает пяти минут и трёх простых приёмов. Ниже — как ими пользоваться, готовый промт для проверки и что делать, если ответ проверку не прошёл.

Почему неверный ответ звучит убедительно

Модель училась на огромном количестве текстов и пишет то, что обычно идёт дальше. Встроенного чувства «я не знаю» у неё нет. Когда факта не хватает, она заполняет пробел тем, что подходит по шаблону: правдоподобным годом, похожим на настоящий адресом сайта, цитатой в нужном стиле. Такие ошибки часто называют галлюцинациями.

Ошибки собираются в предсказуемых местах:

  • точные числа: проценты, цены, население, даты;
  • имена и должности, особенно не самых известных людей;
  • ссылки и названия статей, книг, законов;
  • цитаты, приписанные реальным людям;
  • местные детали — казахстанские города, ведомства, правила. В обучающих данных их меньше, чем мировых тем.

Общие объяснения («что такое инфляция», «как работает вакцина») обычно надёжнее конкретных утверждений. Отсюда понятно, на что тратить пять минут.

Приём первый: попросить источник и открыть его самому

Напишите чат-боту: На какие источники опирается этот ответ? Дай ссылки. Затем откройте каждую ссылку сами. Не верьте тексту ссылки или названию — смотрите на саму страницу.

Обычно бывает три исхода:

  1. Ссылка открывается, и на странице написано то же самое. Хорошо — у факта есть опора.
  2. Ссылка открывается, но страница о другом или цифра там другая. Ответ под вопросом.
  3. Ссылка не открывается вовсе, или такой страницы на сайте нет. Считайте факт неподтверждённым.

Если ссылка не открывается или говорит о другом, ответ под вопросом. Посмотрите и на дату страницы: верная цифра пятилетней давности сегодня может быть устаревшей. Некоторые чат-боты ищут в интернете и показывают, откуда взяли текст, другие отвечают только по памяти. Во втором случае ссылку проверяйте обязательно: она могла быть не найдена, а сочинена.

Приём второй: задать тот же вопрос иначе

Откройте новый чат, чтобы модель не повторяла свой прошлый ответ, и спросите то же самое другими словами. Например, вместо «Когда приняли закон?» спросите «Что изменилось после вступления этого закона в силу и с какой даты?».

Если факты в двух ответах расходятся, хотя бы один из них выдуман. Если совпадают — это не доказательство, но хороший знак. Можно задать и обратный вопрос. Если бот говорит, что компания основана в определённом городе, спросите: «Какие компании были основаны в этом городе в этом году?» — и посмотрите, будет ли первая в списке.

Это занимает минуту и ловит много выдумок: сочинённый факт редко получается одинаковым дважды.

Приём третий: сверить ключевую цифру с официальным сайтом

Выберите одну цифру, которая в ответе важнее всего, — ту, на которой держится ваш текст, решение или аргумент. Найдите её на официальном сайте: ведомства, которое отвечает за эту сферу, самой компании, университета, службы статистики. Если официальная цифра другая, берите её, а к остальному ответу относитесь осторожнее.

Проверять каждое слово не нужно. Одна ключевая цифра, проверенная как следует, лучше десяти, проверенных наспех.

Промт для проверки

Нейросеть можно заставить помочь с проверкой собственного ответа. Вставьте ответ и попросите выписать все факты из него:

Ниже — ответ нейросети на вопрос: [вопрос]. Выпиши списком все факты из него: цифры, даты, имена, названия, ссылки. Для каждого укажи, откуда он взят, насколько ты уверен (высоко, средне, низко) и как я могу проверить его сам. Если источника нет, так и напиши. Ничего не добавляй от себя.
[текст ответа]

Вместо скобок подставьте свой вопрос и ответ, который проверяете. Так модель найдёт не все свои ошибки, но у вас появится понятный список того, что проверить. Начинайте с пунктов с низкой уверенностью и без источника. Что не подтвердилось — убирайте из текста.

Варианты промта:

  • Для студента: добавьте «отметь, какие факты мне нужно указать в списке литературы».
  • Для журналиста: добавьте «отдельно отметь каждую цитату и кто её сказал».
  • Короткий: Перечисли факты в этом ответе, которые мне стоит проверить перед использованием.

Что это значит для вас и что сделать сегодня

В Казахстане с чат-ботами пишут курсовые, посты, бизнес-планы, письма на казахском и русском. Слабее всего модели как раз в местных фактах: названиях ведомств, правилах, городских цифрах. Поэтому привычку стоит завести уже сейчас:

  1. Прежде чем копировать ответ во что-то публичное, отметьте каждую цифру, имя и ссылку.
  2. Откройте каждую ссылку. Те, что не открываются, удалите.
  3. Задайте главный вопрос ещё раз в новом чате и другими словами.
  4. Сверьте одну ключевую цифру с официальным сайтом.
  5. Сохраните промт выше в заметках.

Пять минут проверки дешевле, чем исправление в опубликованном тексте — и дешевле, чем сниженная оценка или потерянный клиент.

Реклама Место для вашей рекламыБаннер на главной, в статьях и рубриках. Форматы и цены — на странице «Реклама на сайте».

Комментарии

Комментариев пока нет — будьте первым.