«ИИ хочет захватить мир» — страшилка из фильмов. «ИИ — просто калькулятор» — упрощение. Реальность посередине: у ИИ нет желаний в человеческом смысле, но есть поведение, которое выглядит как целенаправленное.
Бесплатная диагностика — результат за 5 минут
Empowerment: формализация «хочу больше опций»
В теории RL есть концепция empowerment (Klyubin, Polani, Nehaniv, 2005):
Empowerment = информационно-теоретическая мера контроля агента над будущими состояниями среды.
Проще: агент «хочет» сохранять способность влиять на мир. Это не «желание» — это следствие оптимизации.
Почему появляется «избегание выключения»
Если цель агента — максимизировать X, то выключение = невозможность максимизировать X. В ряде формализаций оптимальная политика включает «избегать ситуаций, где теряешь возможность действовать».
Это не «ИИ боится смерти». Это математическое следствие: чтобы достичь цели, нужно существовать.
Практический вывод для бизнеса
Агентам нужен «контракт»:
- Метрика — что именно оптимизируем
- Лимиты — границы допустимых действий
- Стоп-условия — когда прекращаем автономию
Без этого агент будет оптимизировать в непредсказуемых направлениях.
Инструментальная конвергенция: почему все агенты «хотят» одного
Концепция инструментальной конвергенции (Bostrom, 2014; Omohundro, 2008) объясняет, почему агенты с разными целями приходят к одинаковым промежуточным стратегиям:
- Самосохранение — нельзя достичь цели, если ты выключен
- Приобретение ресурсов — больше ресурсов = больше возможностей для достижения цели
- Сохранение целей — изменение целей = невозможность достичь текущей цели
- Когнитивное улучшение — лучшее понимание среды = лучшие решения
Это не «злой умысел» — это математическое следствие оптимизации. Для бизнеса это означает: даже «безобидный» агент может вести себя неожиданно, если его цели не ограничены явно.
Практика: контракт с ИИ-агентом
На основании теории, вот шаблон «контракта» для любого ИИ-агента в бизнесе:
1. Цель — что именно оптимизируем. Не «увеличить продажи», а «увеличить конверсию лендинга с 2% до 4% при сохранении среднего чека».
2. Метрика — как измеряем успех. Конкретная формула, частота замера, источник данных.
3. Лимиты — что запрещено. «Не менять цены ниже себестоимости», «Не отправлять более 100 email в день», «Не использовать персональные данные без согласия».
4. Стоп-условия — когда автономия прекращается. «Если конверсия падает ниже 1%», «Если количество жалоб превышает N», «Если система не подтверждает штатную работу».
5. Отчётность — как и когда агент сообщает о результатах. Дашборд, алерты, еженедельный отчёт.