Пять задач, где ИИ-агент не работает: честный разбор границ

Про то, что ИИ-агенты умеют, написано достаточно. Про то, где они не работают, пишут реже, потому что это плохо продается. А зря: почти каждое неудачное внедрение, которое я видел, разбилось не о технологию, а о неправильно выбранную задачу.

Ниже пять типов задач, которые агенту отдавать не стоит. Не потому что модель слабая, а потому что сама задача устроена так, что автоматизация в ней не дает выигрыша. По каждой скажу, что делать вместо, а в конце - четыре вопроса, которые показывают границу заранее.

Первая: задачи, за которые кто-то отвечает лично

Подписать акт. Занять позицию перед налоговой. Уволить человека. Признать брак и согласовать компенсацию. Одобрить скидку сверх регламента.

Общее у них не сложность, а то, что за результат отвечает конкретный человек своим именем, деньгами компании или своей должностью. Такую ответственность нельзя делегировать программе: она не станет ответчиком в споре и не понесет последствий.

Тут важно не перепутать. Я не говорю, что агент бесполезен в этих процессах. Он отлично готовит к решению: собирает документы, сверяет цифры, находит расхождения, показывает, как похожие ситуации решали раньше, выкладывает два-три варианта с последствиями каждого. Человеку остается выбрать и подписать.

Пример из практики. Приходит акт от подрядчика на сумму, которая не сходится с договором. Агент за минуту поднимает договор, находит нужный пункт, сверяет объемы, показывает расхождение и три прошлых случая, когда с этим подрядчиком было похожее. Дальше вопрос простой: подписываем или отправляем на пересогласование. Этот вопрос решает человек, потому что если через год документ окажется в споре, объясняться будет он.

Что делать вместо. Разделить процесс на подготовку и решение. Подготовку отдать целиком, решение оставить человеку с фиксацией, кто и когда его принял. По ощущениям это и есть основная экономия: на подготовку уходит несколько часов, на само решение - минуты.

И отдельная просьба к тем, кто выбирает подрядчика по внедрению. Если вам говорят, что агент сам примет решение и никогда не ошибется, это либо непонимание, либо продажа. Правильная формулировка звучит иначе: агент готовит решение, знает, в каких случаях обязан остановиться, и всегда показывает, откуда взял каждую цифру.

Вторая: результат нельзя проверить

Написать хороший текст. Придумать стратегию. Сделать красиво. Оценить перспективность направления.

Проблема не в креативе, а в отсутствии критерия приемки. Если нельзя за минуту сказать, получилось хорошо или плохо, то нельзя ни настроить агента, ни понять, стал ли он лучше после правок. Вы получите бесконечный цикл, где каждый результат обсуждается заново, и это дороже, чем сделать руками.

Есть и вторая беда: без критерия человек начинает проверять каждый результат целиком. Если проверка занимает столько же времени, сколько работа, экономии нет по определению.

Что делать вместо. Сначала описать критерий, потом автоматизировать. Хороший текст не критерий, а вот текст на 800-1200 знаков, где есть три обязательных блока, нет обещаний результата и все цифры взяты из приложенной таблицы - критерий. Как только он записан, задача переезжает в разряд рабочих. Часто по дороге выясняется, что критерия нет ни у кого в компании, и это само по себе полезное открытие.

Третья: процесс случается редко

Раз в квартал сдать отчетность в непривычном формате. Раз в год пересобрать прайс-лист под нового поставщика. Раз в полгода подготовить документы к проверке.

Тут все решает арифметика. Настройка агента под процесс - это несколько дней работы плюс поддержка, потому что процесс за год успевает измениться. Если задача возникает четыре раза в год и занимает по два часа, вы экономите восемь часов, а тратите гораздо больше.

Граница проходит примерно по нескольким повторениям в неделю. Каждый день - точно окупится. Раз в неделю - обычно окупится, если операция долгая. Раз в месяц - надо считать. Раз в квартал - почти никогда.

Что делать вместо. Написать инструкцию и чек-лист. Скучно, зато работает и не устаревает молча. Отдельный вариант для редких, но тяжелых процессов: не постоянный агент, а разовая помощь модели в момент выполнения, когда человек ведет процесс и пользуется ей как инструментом.

Четвертая: данные грязные и не сведены

Это самая частая причина провала, и она не про ИИ вообще.

Выглядит так. Один и тот же товар называется по-разному в трех системах. Себестоимость лежит в файле, который последний раз обновляли весной. Часть операций проходит мимо учета и живет в переписке. Отчеты из разных источников не сходятся между собой, и в компании есть человек, который знает, какую цифру брать, но правило нигде не записано.

В такой ситуации агент не спасает, он усиливает проблему. Человек, сводя данные руками, замечает странность и идет разбираться. Агент не замечает: он сведет то, что дали, и выдаст красивый отчет с неверными числами. Причем выдаст уверенно, и это самое опасное, потому что уверенная цифра попадает в решение.

Что делать вместо. Сначала навести порядок в данных, потом автоматизировать. Порядок здесь означает три конкретные вещи: у каждой сущности один идентификатор во всех системах, у каждой метрики один записанный источник и одна формула, у каждого расхождения есть правило, какую цифру считать верной.

Это неприятный этап, потому что он не выглядит как внедрение ИИ. Но пропустить его нельзя: агент не наводит порядок, он его требует.

Проверить себя можно за пятнадцать минут. Возьмите одну цифру, которой пользуетесь в решениях, - например, маржу по товарной группе за прошлый месяц. Попросите двух разных людей назвать ее независимо друг от друга. Если числа разошлись больше чем на пару процентов, автоматизировать пока нечего: у вас нет согласованного определения метрики, а значит, агент будет автоматизировать спор.

Пятая: переговоры с людьми

Разговор с рассерженным клиентом. Торг с поставщиком. Тяжелый разговор с сотрудником о результатах. Просьба о рассрочке.

Технически модель напишет любой из этих текстов, и напишет неплохо. Но в переговорах значение имеет не текст, а то, кто его говорит и что за ним стоит. Клиент, который понял, что ему отвечает робот в конфликтной ситуации, злится сильнее, чем злился до этого. Поставщик, получивший идеально выверенное письмо, чувствует, что с ним не разговаривают.

Отдельный слой - то, чего в переписке нет. Опыт прошлых договоренностей, репутация человека, понимание, где у второй стороны реальная граница. Агент этого не видит.

Что делать вместо. Использовать агента до разговора, а не вместо него: собрать историю отношений, посчитать, сколько стоит уступка, подготовить варианты и границу, ниже которой не идем. Разговор ведет человек.

Три границы, которые границами не являются

Отдельно про то, что мне называют как причину не внедрять, а на деле это решаемые вещи. Иначе список выше будет читаться как призыв ничего не трогать.

Агент не умеет считать деньги. Верно ровно в одной постановке: если просить модель складывать числа в уме, она ошибется. Но так никто не делает. Расчет выполняет формула или код, который можно перепроверить построчно, а модель объясняет результат, ищет странности и готовит комментарий. В такой схеме арифметика точная по построению, потому что ее делает не модель.

Агента нельзя пускать к клиентам. Нельзя пускать в конфликт и в решения о деньгах. На типовом вопросе про сроки и статус заказа быстрый точный ответ лучше, чем сорок минут ожидания оператора. Граница проходит не по клиенту, а по типу разговора.

Для этого нужен свой программист в штате. Нужен владелец системы, а это не одно и то же. Владелец отвечает за то, что правила записаны, логи читаются и есть человек, к которому идут при сбое. Технически систему может обслуживать подрядчик. Без владельца плохо кончается любое внедрение, включая покупку готового сервиса.

Как увидеть границу заранее: четыре вопроса

Прежде чем считать деньги на внедрение, прогоните задачу по четырем пунктам. Это занимает десять минут и экономит недели.

Кто отвечает за результат своим именем? Если ответ конкретный человек и последствия личные - это подготовка, а не автоматизация.

Как проверяется результат и за сколько времени? Если проверка занимает столько же, сколько работа, или критерия нет вообще - сначала критерий.

Сколько раз в неделю это происходит? Реже раза в неделю - считайте отдельно, скорее всего не окупится.

Есть ли письменные правила? Если ответа на вопрос как правильно нет на бумаге, агент его не придумает. Он начнет выдавать правдоподобные версии, а это хуже, чем не иметь агента.

Четыре ответа в пользу автоматизации - беритесь. Три - беритесь осторожно и с пилотом. Два и меньше - у вас не задача для агента, у вас задача для регламента.

Что делать с задачами по ту сторону границы

Общий принцип один: там, где агент не может выполнить работу, он почти всегда может сократить подготовку к ней.

По каждой из пяти задач схема одинаковая. Агент собирает и сверяет исходные данные, выкладывает варианты, показывает историю и последствия. Человек тратит время на само решение, а не на сбор материалов к нему. По моему опыту, в задачах с личной ответственностью подготовка занимает 70-80% времени, и вот ее снять можно.

Как это выглядит по каждому пункту. Юридическая ответственность: агент готовит папку к решению - документы, расхождения, прецеденты. Непроверяемый результат: агент помогает сформулировать критерий, разобрав, чем отличались принятые работы от отклоненных. Редкий процесс: агент не дежурит круглый год, а подключается разово в момент выполнения, по инструкции. Грязные данные: первым проектом становится не автоматизация отчета, а сведение справочников и фиксация формул. Переговоры: агент готовит позицию, границу уступки и историю отношений, разговор ведет человек.

Заметьте, что ни в одном пункте агент не исчезает. Меняется его роль: из исполнителя он становится тем, кто сокращает подготовку. Это менее эффектно, чем автономный сотрудник из презентаций, зато это работает и окупается.

И еще одно. Граница не вечная. Задача из категории нельзя переезжает в категорию можно, когда вы закрываете причину: описали критерий, свели данные, записали правила. Поэтому список выше стоит перечитывать раз в полгода - часть пунктов к тому времени перестанет быть про вас.

Коротко о главном

Пять типов задач, где агент не работает: личная ответственность, отсутствие проверяемого результата, редкость процесса, грязные данные, переговоры с людьми.

Границу видно по четырем вопросам: кто отвечает, как проверяется результат, как часто повторяется, есть ли письменные правила.

Вместо автоматизации самой задачи автоматизируйте подготовку к ней. И помните, что три причины из пяти - критерий, данные и правила - лежат не в технологии, а в порядке внутри компании. Наведете порядок - граница сдвинется сама.