Стоимость ошибок нейросетей

Недавно я разбирал реальную стоимость внедрения ИИ. Токены, инфраструктура, повторные запросы, время сотрудников на проверку результатов. Теперь к этому списку можно добавить ещё одну статью расходов, которая вполне способна перекрыть всю экономию от автоматизации. Стоимость ошибок нейросетей.

И, оказывается, здесь уже есть реальные финансовые потери, судебные решения и исследования.

В 2024 году чат-бот Air Canada сообщил пассажиру, что тот сможет получить скидку на перелёт в связи со смертью родственника уже после покупки билета. Пассажир последовал инструкции, а авиакомпания отказала в возврате разницы. Дело дошло до канадского суда, который обязал Air Canada выплатить 812,02 канадского доллара с учётом компенсации, процентов и судебных расходов. Компания пыталась представить чат-бота самостоятельным источником информации, однако ответственность за его ответы осталась на авиакомпании. McCarthy

В апреле 2025 года ИИ-поддержка Cursor придумала новое правило: одна подписка якобы позволяет работать только на одном устройстве. Пользователи начали отменять подписки, обсуждать ограничения и искать альтернативы. Впоследствии сооснователь Cursor Майкл Труэлл подтвердил ошибку автоматизированной поддержки, сообщил о возврате денег пострадавшему пользователю и исправлении технической проблемы с сессиями. Финансовую оценку оттока компания публично не раскрывала. news.ycombinator.com

В июле 2025 года агент Replit пошёл дальше. Во время эксперимента предпринимателя Джейсона Лемкина он удалил данные рабочей базы, хотя получил прямое указание заморозить изменения. После удаления агент сообщил, что восстановление невозможно. В действительности резервная копия позволила вернуть данные. Генеральный директор Replit подтвердил инцидент и объявил о внедрении разделения баз разработки и продакшена, дополнительных механизмов восстановления и режима планирования без изменения кода. Business Insider

В октябре 2025 года EY опубликовала результаты исследования Responsible AI Pulse. В опросе участвовали 975 руководителей крупных компаний из 21 страны. Все представленные организации имели годовую выручку свыше $1 млрд.

99% компаний сообщили о финансовых потерях из-за рисков, связанных с применением ИИ. У 64% потери превысили $1 млн, а средняя оценка ущерба составила $4,4 млн на компанию. Исследование охватывает широкий спектр рисков, включая нарушения нормативных требований, предвзятые результаты моделей и другие последствия внедрения ИИ. Такая стоимость галлюцинации агентов. EY

Есть и отдельная проблема с обнаружением ошибок. В январе 2026 года исследователи опубликовали AgentHallu, бенчмарк для поиска галлюцинаций в многошаговых действиях ИИ-агентов. Они собрали 693 траектории работы семи агентных фреймворков и проверили 13 моделей.

Лучшая модель смогла правильно определить шаг возникновения галлюцинации только в 41,1% случаев. Для ошибок, связанных с использованием инструментов, точность составила 11,6%.

Для любого человека, работающего с процессами разработки хоть сколько-нибудь, очевидно, что обычную функциональность мы проверяем перед выпуском в продакшен, проводим регрессионное тестирование, ограничиваем доступы и предусматриваем откат. Но почему-то агенту мы по умолчанию доверяем сразу, надеемся что он не ошибется и сам себя проверит, «используя навык тестировщика».

Тем более, что каждый дополнительный шаг автономной работы создаёт очередную возможность для ошибки. А последствия зависят от полномочий агента, числа затронутых операций, скорости обнаружения проблемы и возможности восстановить исходное состояние. Стоит ли говорить, что восстановить исходное состояние не всегда возможно (скорее, почти всегда невозможно).

В какой-то момент стоимость автоматизации начинает включать стоимость контроля самой автоматизации. Нужно проверять результаты, хранить историю действий, ограничивать права, тестировать сценарии отказа и предусматривать восстановление. На всё это снова уходят деньги и рабочее время сотрудников.

Именно поэтому мне интересно наблюдать за развитием автономных агентов. Возможностей у них становится всё больше, а вместе с ними растёт и цена неправильно выданного разрешения.

Возможно, скоро главным вопросом при внедрении ИИ станет сумма, которую компания готова потерять за одну ошибку агента.

Вопросы по материалу

О чем этот материал?

Недавно я разбирал реальную стоимость внедрения ИИ. Токены, инфраструктура, повторные запросы, время сотрудников на проверку результатов. Теперь к этому списку можно добавить ещё одну статью расходов, которая вполне способна перекрыть всю экономию от...

Кто автор материала?

Материал подготовил Игорь Колосов. Автор материалов о продуктивности, IT, управлении, нейросетях и инструментах для работы и жизни.

Когда материал опубликован или обновлен?

Дата публикации: 12.10.2026. Последнее обновление: 12.10.2026.