Технологии и инновации

Языковые модели научились читать документы на тысячу страниц

Новые языковые модели держат в памяти целый договор или учебник и находят в нём нужный абзац. Но длинный текст по-прежнему обходится дольше и дороже.

Для вас: Нужное место в длинном документе можно найти за минуту, но ответ проверьте по номеру страницы сами.

Языковые модели научились читать документы на тысячу страниц

Ещё два года назад нейросеть «забывала» начало длинного текста к его середине. Если дать ей длинный договор и спросить про условие с первой страницы, модель путалась или придумывала ответ. Поэтому документ приходилось резать на куски и отдавать по частям.

Теперь крупные модели принимают сотни тысяч токенов за раз — это объём толстой книги. Разберём, что это значит, кому пригодится и о чём помнить, когда работаете с длинными документами.

Что такое токен

Модель читает текст не словами, а токенами. Токен — небольшой кусок текста: короткое слово, часть слова или знак препинания. Одно слово может занимать один или несколько токенов.

Объём текста, который модель «видит» за раз, называют контекстным окном. Это что-то вроде её рабочей памяти. Если окно маленькое, начало длинного текста из него выпадает, и модель его «забывает». Когда окно выросло до сотен тысяч токенов, в один запрос помещается целая книга, длинный договор или учебник.

Что это даёт на практике

Возможность прочитать длинный документ целиком пригодится разным людям:

  • Юристы загружают целые договоры и спрашивают, где спрятаны штрафы. Раньше для этого нужно было вычитывать весь текст вручную.
  • Студенты загружают учебник целиком, чтобы найти определение с номером страницы. Это экономит время при подготовке курсовой и к экзамену.
  • Предприниматели могут проверить договор аренды, предложение поставщика или длинную инструкцию.
  • Журналисты быстро находят в длинном отчёте или документе ключевые цифры и заявления.

Самое полезное — просить номер страницы. Если модель указала место, вы сразу найдёте его в оригинале и проверите.

Ограничение, которое осталось

Ограничение осталось одно: чем длиннее текст, тем дольше и дороже ответ. Модель при каждом вопросе заново обрабатывает весь текст. Даже короткий вопрос к документу на тысячу страниц требует много вычислений.

В платных сервисах это напрямую влияет на цену: оплата обычно зависит от количества токенов. В бесплатных версиях дневной лимит может закончиться быстрее.

Поэтому короткие вопросы по-прежнему выгоднее задавать по нужной главе. Если вопрос касается одного раздела, загружайте только его, а не всю книгу. Ответ придёт быстрее и обойдётся дешевле.

Окно выросло, но идеальным читателем модель не стала. Она может перепутать два похожих пункта, неверно прочитать цифру в таблице или пропустить мелкую оговорку в длинном тексте. Поэтому не доверяйте полностью и ответу «в документе такого нет»: если вопрос важный, проверьте сами через поиск по тексту.

Важно и качество файла. Отсканированный документ часто хранится не как текст, а как картинка. Такие файлы некоторые сервисы читают плохо или не читают вовсе. Если есть возможность, загружайте исходный файл, из которого можно скопировать текст. С документом, где пронумерованы страницы, тоже работать проще: когда модель ссылается на место, вы быстро его находите.

Как правильно спрашивать

С длинным документом особенно важна точность вопроса. Просите у модели не только ответ, но и место в документе. Пример:

Прочитай этот документ. [Вопрос, например: найди все пункты о штрафах.] Для каждого ответа укажи номер страницы или пункта и приведи точную цитату. Если ответа в документе нет, напиши «в документе нет».

Последняя фраза важна: она снижает шанс, что модель придумает ответ.

Что сделать уже сейчас

Модели, которые читают длинные документы, экономят время и в учёбе, и на работе. Чтобы пользоваться ими с толком:

  1. Просите номер страницы и цитату. Каждый важный ответ модели сверяйте с оригиналом.
  2. Загружайте только нужную часть. Если вопрос про одну главу, не отдавайте всю книгу.
  3. Осторожнее с конфиденциальными документами. Прежде чем загрузить договор с личными данными, коммерческой тайной или сведениями о клиентах, прочитайте правила сервиса.
  4. Не заменяйте моделью юриста. Она быстро найдёт нужный пункт, но перед важной подписью лучше посоветоваться со специалистом.
  5. Используйте для учёбы, а не вместо неё. Нашли определение в учебнике — прочитайте эту страницу сами. Модель показывает путь, а понимать — ваша работа.

Модели научились «держать в голове» длинный текст. Теперь главный навык — задать им правильный вопрос и проверить ответ.

Реклама Место для вашей рекламыБаннер на главной, в статьях и рубриках. Форматы и цены — на странице «Реклама на сайте».

Комментарии

Комментариев пока нет — будьте первым.