Где ИИ дает бизнесу измеримый эффект и как его оценить

ИИ может быстро найти нужные сведения в документах, проверить изменения в коде или создать первую версию цифрового продукта. Но высокая скорость еще не означает, что бизнес получит выгоду.

«Начинать стоит с проблемы, которую нужно решить, а не с возможностей модели. Сначала фиксируют, что должно измениться в работе: заявки обрабатываются быстрее, ошибок становится меньше, операция обходится дешевле.

Затем выбирают показатель, который отразит это изменение: не хватает времени сотрудников — трудозатраты на одну задачу, клиенты долго ждут ответа — срок от получения заявки до результата, много переделок — доля задач, возвращенных на доработку, дорогая обработка — полная стоимость одной завершенной операции.

Основной показатель нужно измерить до внедрения — это база для сравнения. Дополнительно задают допустимые значения качества и стоимости. Ускорение не должно стоить роста ошибок или расходов».

Вадим Кондаратцев, руководитель отдела разработки программных интерфейсов, ИИ и анализа данных Friflex

Чтобы оценить пользу ИИ, нужно смотреть на конкретные результаты: сколько времени он экономит, как меняются затраты и качество работы, какие новые возможности получает компания.

Время: как ИИ сокращает трудозатраты

Чтобы оценить преимущество во времени, нужно сравнить трудозатраты на одну и ту же задачу до и после внедрения ИИ. В расчет входит весь процесс, включая подготовку данных, проверку результатов и исправление ошибок. Иначе есть риск измерить только скорость работы модели.

«Самый надежный способ — параллельное сравнение. Сопоставимые задачи делят на два потока: одни обрабатывают с ИИ, другие — без него, в один и тот же период. Задачи распределяют случайно, чтобы снизить риск перекоса: например, когда с ИИ обрабатывают преимущественно простые случаи. Остальные условия должны быть одинаковыми.

Сравнивать две команды менее надежно: разницу может объяснять опыт сотрудников, нагрузка или сложность задач.

Когда контрольного потока нет, сравнивают показатели с прошлыми периодами. Такое сравнение показывает изменение, но не позволяет отделить вклад ИИ от сезонности, новых регламентов или состава команды. Поэтому фиксируют все изменения процесса, а выводы формулируют осторожно.

Дополнительно измеряют время отдельных этапов. Если ИИ ускорил поиск информации, проверяют, сократился ли общий срок обработки или выигрыш потерялся в ожидании проверки и согласования».

Вадим Кондаратцев, руководитель отдела разработки программных интерфейсов, ИИ и анализа данных Friflex

Например, раньше обработка одного документа занимала 20 минут, а с ИИ, включая проверку результата, — пять. При объеме 100 документов в месяц трудозатраты сокращаются с 33 до восьми часов. Компания высвобождает 25 рабочих часов каждый месяц.

Сокращение трудозатрат не всегда означает снижение расходов. Если зарплаты сотрудников остаются прежними, компания не начинает автоматически тратить меньше денег. Но за то же рабочее время команда может выполнить больше задач.

Кураторы ДМС помогают клиентам решать вопросы по медицинскому обслуживанию, а для этого регулярно обращаются к внутренним документам и правилам страховых программ.

На базе платформы Flexar мы разработали для них ИИ-помощника. Ему можно задать вопрос и получить ответ на основе корпоративной базы знаний. В результате нагрузка на кураторов снизилась на 30%, а скорость получения ответов выросла на 80%.

Рассказали, где еще ИИ-агенты могут взять на себя часть задач.

Качество: насколько надежен результат ИИ

Скорость и снижение затрат важно оценивать вместе с качеством результата. Например, ИИ может быстрее проверять код, но пропускать ошибки или оставлять необоснованные замечания. Пропущенные ошибки создают риски для продукта, а разбор лишних замечаний отнимает время разработчиков.

Оценить качество автоматической проверки кода помогают два показателя:

• Точность — доля обоснованных замечаний среди всех замечаний ИИ. Показывает, насколько часто система указывает на действительные проблемы.
• Полнота — доля обнаруженных проблем среди всех известных проблем в проверяемом наборе. Показывает, сколько проблем система находит, а сколько пропускает.

Оценить полноту поможет набор изменений с заранее известными ошибками или экспертная проверка. Но она тоже может пропустить ошибки, поэтому не всегда дает точную оценку.

Эти показатели дополняют друг друга. Даже если 90% замечаний ИИ обоснованы, это не значит, что система обнаружила 90% ошибок. Какие еще показатели помогают оценить качество кода — разобрали в статье.

ИИ-агенты платформы codebab.ai проверяют изменения в коде и оставляют замечания прямо в запросах на слияние (merge request). Они помогают находить ошибки в логике, проблемы с безопасностью и производительностью кода.

В проекте для крупной розничной компании время проверки кода сократилось с двух часов до 10–15 минут. Около 90% замечаний ИИ разработчики признали обоснованными.

Эксперименты: как ИИ ускоряет проверку идей

Прежде чем вкладываться в разработку цифрового решения, компании часто нужно сравнить несколько подходов. Генеративный ИИ помогает быстрее создавать прототипы, тестировать их и выбирать подходящий вариант.

Результат можно оценить по тому, насколько быстрее команда создает и проверяет прототипы и сколько вариантов успевает протестировать за то же время.

Мы проводим Вайбатоны — ИИ-хакатоны, на которых команды за 3-4 часа создают несколько решений одной бизнес-задачи. В трех Вайбатонах участвовали 34 команды. Они работали над задачами страховой компании ЭНЕРГОГАРАНТ, онлайн-кинотеатра Okko и футбольного клуба ПФК ЦСКА.

На Вайбатоне с ПФК ЦСКА команды предложили разные инструменты для создания визуального контента для стадионных экранов. Лучший прототип выбрали для тестирования.

«Решения, которые предложили участники Вайбатона, показывают, как искусственный интеллект может помогать быстрее генерировать идеи для перформансов, адаптировать визуальный контент под конкретный матч или событие. И в целом — делать общение с болельщиками более ярким и персонализированным».

Егор Хохрин, руководитель отдела развития цифровых продуктов и сервисов ПФК ЦСКА.

Деньги: во сколько обходится одна операция

Быстрее не всегда означает дешевле. ИИ требует затрат на использование моделей, интеграции, техническую поддержку. Иногда эти расходы выше стоимости ручной работы. Как их рассчитать, рассказали в статье об ИИ-автоматизации бизнеса.

Полезно считать стоимость одной операции: например, сколько компания тратит на обработку обращения или документа до внедрения ИИ и после.

Допустим, компания ежемесячно обрабатывает 1 000 документов. Раньше это обходилось в 100 000 рублей, а после внедрения ИИ расходы снизились до 65 000 рублей при том же объеме работы и качестве результата. В новую сумму входят использование модели, проверка результатов и техническая поддержка. Первоначальные затраты на внедрение учитываются отдельно.

Получается, компания экономит 35 рублей на каждом документе, или 35 000 рублей в месяц. Текущие расходы на обработку документов сократились на 35%.

Как посчитать окупаемость ИИ

Время, качество, количество проверенных решений и объем автоматизированной работы — самостоятельные показатели эффективности ИИ. Но если компания хочет оценить финансовую окупаемость проекта, нужно отдельно сравнить выгоду с затратами.

Один из способов — рассчитать возврат инвестиций (ROI).

В затраты включают разработку или покупку решения, интеграции, использование моделей, инфраструктуру, обучение сотрудников, проверку результатов и техническую поддержку.

В финансовую выгоду можно включать снижение расходов, предотвращенные затраты и дополнительную прибыль. При этом важно не учитывать один и тот же эффект дважды.

Например, первоначальные вложения в ИИ составили 210 000 рублей, а ежемесячная экономия после вычета текущих расходов — 35 000 рублей. Вложения окупятся за шесть месяцев. За год чистый финансовый эффект составит 210 000 рублей, а ROI — 100%.

«После запуска вопрос меняется: интересует уже не то, работает ли ИИ вообще, а то, работает ли он стабильно и во сколько обходится поддержка.

Регулярно отслеживают три группы показателей:

1. Главный показатель процесса, ради которого внедряли ИИ: трудозатраты, срок обработки, объем выполненной работы.

2. Качество: доля ошибок и доработок, отдельно — критические ошибки и сбои.

3. Полную стоимость успешно выполненной операции: с проверкой результатов, повторными попытками, инфраструктурой и поддержкой.

Дополнительно отслеживают, какая доля подходящих задач проходит через ИИ и как часто вмешивается человек. Низкое использование ограничивает общий эффект, даже если система работает качественно».

Вадим Кондаратцев, руководитель отдела разработки программных интерфейсов, ИИ и анализа данных Friflex

Для расчета ROI важно выбрать период: например, год после внедрения. Финансовую выгоду и затраты нужно считать за один и тот же срок, включая первоначальные вложения.

Что в итоге

Эффект ИИ зависит от задачи. В одном проекте важнее сократить трудозатраты, в другом — повысить точность работы или быстрее проверять решения. Каждый из этих результатов можно измерить.

Главное — заранее определить, какой результат нужен бизнесу и по каким показателям его оценивать. А если задача связана с сокращением расходов или возвратом инвестиций, рассчитать финансовый эффект.

«ИИ может готовить ответ за минуту, но клиент не получит его быстрее, если отправка по-прежнему привязана к расписанию согласований. Сэкономленные часы тоже не гарантируют результата: важно, удалось ли сократить очередь, уменьшить сверхурочные или выполнить больше задач.

Польза появляется, когда решение встроено в процесс и понятно, во что превращается улучшение: компания обрабатывает больше заявок, сокращает расходы или снижает число ошибок. Без ответственного за процесс сложнее закрепить и проверить результат.

Поэтому эффективность ИИ в итоге оценивают по результату всего процесса: срокам, качеству и полной стоимости работы. Успех внедрения — не быстрый ответ модели сам по себе, а измеримое улучшение работы компании с учетом затрат и рисков».

Вадим Кондаратцев, руководитель отдела разработки программных интерфейсов, ИИ и анализа данных Friflex