В начале октября Mercor опубликовала результаты эксперимента, который выглядит впечатляюще. Двенадцати лицензированным бухгалтерам со средним опытом около пяти с половиной лет дали четыре задачи, похожие на те, с которыми сталкиваются при закрытии месяца: найти нужные данные в рабочих файлах компании, выполнить расчёты и подготовить итоговый результат.
Люди в среднем набрали около 37% и тратили на выполнение от получаса до трёх часов. Одна из современных моделей на тех же четырёх задачах получила максимальный результат во всех двадцати запусках и каждый раз укладывалась менее чем в десять минут.
Звучит как хороший повод написать очередную статью о том, что бухгалтеров вот-вот заменит искусственный интеллект.
Но интереснее задать другой вопрос.
Допустим, модель действительно уже способна решать отдельные бухгалтерские задачи быстрее и точнее человека. Что именно после этого можно автоматизировать в реальной компании?
И здесь между красивым тестом и настоящим бухгалтерским процессом появляется довольно большая дистанция.
В эксперименте задача уже существовала
У теста есть важное свойство, которое легко пропустить. Модели и бухгалтеру дают подготовленную среду: вот файлы компании, вот задача, вот критерии правильного ответа. Нужно разобраться в данных и получить результат.
Это действительно полезная проверка способности модели работать с бухгалтерской информацией. Причём задачи были не совсем игрушечными: требовалось искать значения в нескольких файлах, учитывать контекст компании, выполнять расчёты и не терять данные между шагами.
Но в реальной бухгалтерии значительная часть работы происходит до того момента, когда задача становится настолько хорошо определённой.
Представим банковскую операцию. Деньги списались, но закрывающего документа ещё нет. Или документ пришёл, но непонятно, к какой организации его отнести. Контрагент прислал фотографию счёта плохого качества. В назначении платежа написано одно, в самом документе другое. В учётной системе уже существует похожий документ, но номер немного отличается. Сотрудник уверен, что операция относится к одному договору, а данные из банка говорят о другом.
На тесте задача звучит примерно как «проверьте эти данные и сделайте расчёт».
В жизни довольно часто сначала приходится понять, какие данные вообще можно считать правильными.
Закрытие месяца — это не одна большая бухгалтерская задача
Для человека вне бухгалтерии выражение «закрыть месяц» может звучать как единая операция: компания получила все данные, бухгалтер что-то проверил, нажал несколько кнопок и получил отчётность.
На практике внутри этого процесса живёт множество разных задач. Нужно получить первичные документы, убедиться в их полноте, загрузить банковские операции, сопоставить платежи, проверить расчёты, найти расхождения, дождаться недостающих документов, исправить ошибки предыдущих этапов, выполнить регламентные операции и только затем проверить итоговый результат.
Часть этого процесса отлично формализуется. Часть действительно можно заметно ускорить при помощи ИИ. А часть возникает именно потому, что реальный мир не укладывается в идеально подготовленный набор входных данных.
Поэтому требование «пусть ИИ закрывает месяц, а бухгалтер только смотрит аномалии» на первый взгляд звучит разумно, но скрывает самое сложное место: кто и по каким правилам сначала определит, что именно является аномалией?
Если правила можно описать однозначно, во многих случаях для них вообще не нужен ИИ.
Если описать их однозначно нельзя, значит появляется профессиональное суждение, которое ещё нужно правильно встроить в автоматизированный процесс.
Самые полезные участки автоматизации часто гораздо скучнее
Парадокс в том, что реальная экономия обычно начинается не с идеи «автоматизировать бухгалтерию», а с гораздо более маленьких задач.
Например, компания получает несколько сотен счетов в месяц. Сейчас бухгалтер открывает письмо, скачивает вложение, определяет организацию, перепечатывает реквизиты, проверяет контрагента и создаёт документ.
Здесь ИИ вполне способен снять значительную часть работы. Он может прочитать документ, извлечь поставщика, сумму, дату, назначение, реквизиты и подготовить структурированный черновик.
Но дальше начинается обычная инженерия.
- ИНН должен иметь допустимую длину.
- БИК — правильный формат.
- Банковский счёт — определённое количество цифр.
- Контрагент должен существовать в справочнике или быть явно создан по установленным правилам.
- Документ с таким номером не должен уже находиться в системе.
- Сумма должна совпадать с оригиналом.
Для большинства этих проверок языковая модель не нужна. Их надёжнее выполнить обычным кодом.
Получается интересная конструкция: ИИ понимает документ, а программа проверяет факты.
Это значительно полезнее, чем дать модели полный доступ и сказать: «Разберись со счётом».
То же самое с банковскими выписками
Банковские выписки — ещё более показательный пример.
Если известен формат данных, организация определена, а правила загрузки понятны, языковой модели там почти нечего делать. Файл можно получить автоматически, проверить, загрузить в нужную базу, сопоставить операции и записать результат.
ИИ имеет смысл подключать только там, где возникает неоднозначность. Например, невозможно уверенно определить назначение операции или требуется разобрать свободный комментарий.
При этом остальной маршрут должен оставаться максимально детерминированным.
Это важное различие. Мы не строим «ИИ, который занимается банковскими выписками». Мы строим обычный надёжный процесс и используем модель только там, где обычных правил недостаточно.
Именно такой подход обычно работает лучше всего и с документами, и с платежами, и с другими бухгалтерскими операциями.
Модель может быть умнее человека в задаче и всё равно не владеть процессом
Здесь полезно вернуться к эксперименту Mercor.
Интересно, что у самой компании есть гораздо более широкий тест APEX-Accounting. В нём уже 160 задач по десяти моделируемым компаниям, где агент должен выполнять более длинные бухгалтерские процессы. На текущем лидерборде лучший средний результат находится примерно на уровне 62%, а Mercor указывает, что значительная часть задач всё ещё не решается моделями полностью.
Противоречия здесь нет.
Четыре более ограниченные и хорошо определённые задачи современные модели уже могут выполнять блестяще. Когда же нужно долго вести состояние, работать с неполными данными, переносить результаты между шагами и учитывать множество зависимостей, надёжность заметно снижается.
Это хорошо показывает, почему разговоры в стиле «ИИ лучше бухгалтера» не очень полезны.
ИИ может оказаться лучше человека на конкретной операции.
Но компания автоматизирует не профессию. Она автоматизирует процессы, состоящие из операций.
И это совсем другая инженерная задача.
Грязные входные данные никуда не исчезают
Есть ещё одна проблема, которую практически невозможно увидеть на демонстрации.
ИИ можно дать десять документов и попросить определить правильную проводку. Но в рабочей системе сначала может оказаться девять документов вместо десяти.
- Один прислали не туда.
- В другом неверная сумма.
- Третий относится к прошлому периоду.
- Четвёртый уже был проведён другим сотрудником.
- По пятому контрагент позже прислал исправленную версию.
Именно поэтому качество модели — только одна часть автоматизации. Не менее важны получение данных, контроль полноты, поиск дублей, управление версиями и возможность понять, откуда взялся каждый результат.
Если исходные данные неправильные, более умная модель не делает их правильными.
Она просто быстрее построит вывод на неправильной основе.
Бухгалтер постепенно перемещается из обработки в контроль
Из этого не следует, что экономия от ИИ будет небольшой.
Наоборот, если система способна автоматически обработать большую часть типовых случаев, роль специалиста может заметно измениться.
Допустим, раньше бухгалтер вручную разбирал 300 документов. После внедрения 260 из них проходят весь путь автоматически: данные извлечены, формальные проверки прошли, контрагент найден, дублей нет, суммы совпали. Остаётся 40 документов с проблемами.
Где-то плохо распознан реквизит. Где-то обнаружено расхождение. Где-то новый контрагент. Где-то модель не смогла уверенно определить назначение.
Вот этими 40 случаями и занимается человек.
Это и есть нормальный human-in-the-loop. Не ситуация, когда специалист после ИИ вручную перепроверяет все 300 документов, а процесс, в котором машина забирает типовую работу, а человек получает только исключения.
По мере роста качества моделей доля таких исключений может уменьшаться. Но архитектура процесса от этого не меняется.
Профессиональное суждение тоже можно поддерживать ИИ
Есть и задачи, которые нельзя полностью свести к формальным проверкам, но где модель всё равно может быть полезна.
Например, объяснить необычное отклонение относительно прошлого периода, собрать связанные документы, показать историю похожих операций, подготовить возможные причины расхождения или найти в учётной политике подходящий фрагмент.
В этом случае ИИ не принимает решение вместо специалиста. Он сокращает время, которое специалист тратит на сбор контекста.
Это часто недооценённая форма автоматизации. Не обязательно пытаться заменить последнее человеческое решение. Иногда намного выгоднее сделать так, чтобы человек принимал его не за двадцать минут, а за три.
Что не стоит отдавать модели только потому, что она стала умнее
Успех современных моделей иногда провоцирует ещё одну ошибку: если ИИ уже хорошо справляется с бухгалтерскими задачами, появляется желание передать ему и всю бизнес-логику вокруг них.
Но профессиональная способность модели и право совершать действие — разные вещи.
- Модель может идеально определить, что платёж выглядит корректным. Из этого не следует, что ей нужно самостоятельно отправлять деньги.
- Она может правильно сформировать документ. Это не означает, что она должна иметь неограниченное право проводить его.
- Она может найти аномалию. Это не означает, что найденная ею причина автоматически является истинной.
Чем выше цена ошибки, тем важнее отделять подготовку решения от совершения действия.
И это правило останется полезным даже тогда, когда модели станут ещё заметно сильнее.
Как начинать автоматизацию бухгалтерии сейчас
Мы бы точно не начинали с задачи «автоматизировать закрытие месяца».
Сначала полезно разложить работу на операции и посмотреть, где действительно уходит время. Сколько счетов приходит каждый месяц. Сколько банковских операций приходится разбирать руками. Какие проверки постоянно повторяются. Сколько документов возвращаются из-за ошибок. Где сотрудники копируют данные между системами. Какие ситуации требуют профессионального решения, а какие просто выполняются по давно известному правилу.
После этого обычно становится видно несколько хороших кандидатов на пилот.
- обработка одного типа входящих документов;
- автоматическая загрузка и контроль выписок;
- поиск конкретной категории расхождений;
- сверка данных между двумя системами;
- подготовка объяснений по отклонениям.
Для выбранного процесса нужно заранее измерить исходное состояние: количество операций, время обработки, число ошибок и долю исключений.
Тогда после внедрения можно ответить на гораздо более полезный вопрос, чем «насколько умная у нас модель».
Сколько человеческой работы действительно исчезло?
Что показывает эксперимент на самом деле
Самый интересный вывод из свежих результатов Mercor, на наш взгляд, вообще не в том, что ИИ «победил бухгалтеров».
Гораздо важнее другое: некоторые интеллектуально сложные бухгалтерские операции, которые ещё недавно казались исключительно человеческой работой, модели уже способны выполнять очень быстро и качественно.
Значит, граница автоматизации действительно двигается.
Но вместе с ней меняется и сама задача внедрения. Теперь всё меньше смысла спрашивать: «Может ли ИИ это сделать?»
Намного полезнее спрашивать: какие данные ему нужны, как проверить результат, что делать при нехватке информации, где поставить обычные правила и в какой момент решение должен подтвердить человек.
Именно из ответов на эти вопросы получается рабочая автоматизация.
Поэтому при ИИ-аудите бухгалтерии мы бы не пытались сразу оценить, какую часть профессии можно передать нейросети. Мы бы взяли один реальный процесс, прошли его от входящего документа до конечного результата и для каждого шага определили: здесь нужен обычный код, здесь интеграция, здесь модель, здесь автоматическая проверка, а здесь человек.
Так гораздо менее эффектно, чем обещание «закрывать месяц с помощью ИИ».
Зато именно так ИИ начинает экономить деньги в реальной компании.
