Как проверить документы после ИИ в финансовой организации

Хорошее резюме договора ещё не показывает, что ИИ прочитал все приложения, сохранил исключения и правильно перенёс суммы. Для финансовой работы нужен результат, который можно сверить с исходником. Начать стоит с перечня документов и таблицы доказательств для каждого вывода.

На сентябрьских семинарах по ИИ в финансовых организациях мы работали с переводом банковских документов, сравнением форматов и анализом учебного договора. В этих упражнениях повторяется одна задача — сохранить связь между ответом модели и конкретным местом в документе. Ниже — порядок такой проверки на вымышленном примере.

Сначала зафиксируйте состав пакета

Допустим, нужно сопоставить договор обслуживания, тарифы и дополнительное соглашение. В договоре написан общий порядок оплаты. В тарифах указаны суммы и периодичность. Соглашение меняет одно из условий. Если модель пропустит третий файл, ответ может выглядеть связным и при этом описывать другой набор условий.

До загрузки присвойте каждому файлу короткий идентификатор. Запишите название, дату редакции, количество страниц или листов и его роль в задаче. Укажите, какую версию следует считать основной. При неясном приоритете документов нужен вопрос ответственному сотруднику.

Отдельно отметьте, что удалось прочитать. Статус «файл загружен» показывает только приём файла интерфейсом. Он не подтверждает, что распознаны таблица на последней странице, сноска или изображение с условиями.

Попросите таблицу с основаниями

Для первого прохода достаточно извлечения фактов. Попросите модель вернуть по каждому условию значение, единицу измерения, ограничение, файл, страницу или пункт и короткую цитату. Отсутствующее значение должно получить отдельный статус. Додумывать его по похожему договору нельзя.

Сопоставь условия в учебных файлах Д1, Т1 и С1. Сначала перечисли файлы и разделы, которые удалось прочитать. Затем собери таблицу с услугой, суммой, валютой, периодичностью, условием применения, идентификатором файла, пунктом и цитатой. Сохраняй исключения и отрицания. Для отсутствующего значения пиши «не найдено». Для нечитаемого фрагмента пиши «не удалось прочитать». Противоречия вынеси отдельно. Не определяй приоритет документов, если он не задан.

Это шаблон для согласованного учебного материала. Перед работой с реальными файлами организация определяет допустимую среду обработки. Само удаление ФИО из документа не разрешает его передачу во внешний сервис.

Разделяйте отсутствие и ошибку чтения

Представим, что модель вернула три строки по условному пакету. В нём намеренно заложены разные ситуации.

Все суммы здесь вымышлены. Первый результат показывает противоречие, второй — незаполненное поле, третий — технический пробел. Они требуют разных действий. Если заменить их общей фразой «условия стандартные», проверяющий потеряет основание для решения.

Полезно также разделить факт из документа, интерпретацию и вопрос специалисту. Формулировка «в пункте указан срок 30 дней» проверяется по тексту. Вывод о допустимости такого срока требует профессиональной оценки применительно к ситуации.

Проверяйте полноту независимо от модели

Сверьте перечень файлов в ответе со своим реестром. Затем сопоставьте обязательные поля с полученной таблицей. У каждого поля должен быть результат или явный статус проблемы. Повтор одного и того же пункта не должен скрывать пропуск другого.

Для пакетов большого объёма удобно вести накопительный реестр по партиям. Каждая строка сохраняет идентификатор источника. После очередной партии проверяются новые строки, пропуски и дубли. Просьба «подтверди, что прочитал всё» сама по себе такой проверки не заменяет.

Контроль по количеству нужен и при классификации обращений. Если одной записи положена одна категория, суммы по категориям должны совпасть с числом обработанных записей с учётом отдельной группы неопределённых. При нескольких метках на запись сумма меток будет другой. Правило подсчёта следует задать заранее.

Выбирайте формат по тому, что нужно сохранить

Для связного текста может подойти текстовый файл. Для таблицы важно сохранить заголовки, единицы измерения и связь между строками. Для скана сначала проверяют распознавание символов. В утверждённом документе полезно сохранить исходную страницу как визуальный эталон.

Универсального победителя среди ПДФ, Ворда и текстового файла нет. На небольшом контрольном фрагменте проверьте таблицу, сноску, отрицание, дату и сумму. После преобразования сравните их с оригиналом. Потерянная сноска может изменить условие сильнее, чем неудачная формулировка в резюме.

Расчёт вынесите в проверяемый инструмент

После извлечения данных часто нужно посчитать итог. Зафиксируйте правило расчёта, валюту, округление и состав строк. Модель может подготовить формулу или код. Выполнение и проверка проходят в Экселе, учётной системе или другом разрешённом вычислительном инструменте.

Проверьте небольшой пример вручную, затем число строк, обработку пустых значений и дубликатов. Для разных валют нужны отдельные итоги либо явно заданное правило пересчёта. Выполненный код тоже может содержать ошибку в формуле или выборе данных.

Задайте критерий приёмки

Перед передачей результата специалисту проверьте четыре вещи.

• Все ожидаемые файлы и обязательные поля отражены в реестре.
• Существенные выводы связаны с проверенными цитатами и местами в источниках.
• Нечитаемые фрагменты, противоречия и неподтверждённые значения вынесены отдельно.
• Числа рассчитаны по известному правилу и сверены с контрольным примером.

Уверенный ответ и правдоподобная ссылка могут оказаться ошибочными. Такой риск отдельно описан в профиле рисков генеративного ИИ NIST, раздел 2.2. Поэтому цитату нужно открыть и проверить в исходном документе.

Этот порядок разбираем на обучении ИИ для банков и финансовых организаций. Следующий шаг после упражнения — перенести проверенный способ работы в разрешённую среду банка.