Kitobni o'qish: «Доказанное действие. Власть и контроль над ИИ-агентами: стратегия 2027–2035»

Введение. Калибровка прибора: человек, компания и государство в точке пересечения двух прямых

Формула введения: Когда количество машинных действий в единицу времени превышает биологическую пропускную способность человеческого внимания, удержание сложных систем требует переноса контроля с мысли на действие, с действия на правило, с доверия на криптографическую квитанцию.

Точка расхождения: геометрия двух встречных потоков (2025–2026)

В инженерной истории каждой инфраструктурной отрасли наступает момент, когда скорость движения в контуре перерастает физиологические возможности человека-диспетчера. На железных дорогах середины XIX века безопасность расхождения поездов держалась на зрении стрелочника и флажке дежурного по станции. Пока составы ходили дважды в сутки со скоростью конного экипажа, человеческого внимания хватало для удержания расписания. Но как только плотность движения и масса локомотивов выросли на порядок, та же самая система управления, основанная на добросовестности наблюдателя, начала порождать систематические крушения. Отрасль выжила не потому, что стрелочников научили смотреть внимательнее, а потому, что человеческий взгляд был заменён механической централизацией стрелок и сигналов — жёстким инженерным замком, который конструктивно не позволяет открыть семафор, пока маршрут занят встречным поездом.

В 2025–2026 годах мировая индустрия программного обеспечения, корпоративного управления и государственного регулирования вошла в аналогичную точку пересечения двух прямых.

Первая прямая — это экспоненциальный рост вычислительной мощности, автономного горизонта и исполнительных полномочий искусственного интеллекта. Объём вычислений, затрачиваемых на обучение передовых моделей, с 2020 года увеличивается примерно в 5 раз ежегодно с периодом удвоения 5,2 месяца ([ИЗМЕРЕНО], Epoch AI, обновление от 05.02.2026), а по всей выборке значимых моделей с 2010 года — в 4–5 раз в год (точечные оценки ×4,1–4,4; [ИЗМЕРЕНО], Epoch AI, 2024). Одновременно стоимость генерации одного токена при фиксированной планке качества падает примерно в 10 раз в год ([ИЗМЕРЕНО], a16z «LLMflation», 12.11.2024; по расчётам Epoch AI от 12.03.2025 — от 9 до 900 раз в год в зависимости от выбранного порога задачи). Медианный временной горизонт автономного выполнения сложных инженерных задач удваивается каждые 89–131 день; у модели Claude Opus 4.6 он достиг примерно 12 часов (замер METR, февраль 2026 года), а к маю 2026 года Claude Mythos Preview вышла за 16-часовой предел, выше которого сама METR считает замер ненадёжным ([ИЗМЕРЕНО], METR, набор из 228 задач TH1.1, январь–май 2026 года). При этом модели с открытыми весами (DeepSeek, Qwen, Kimi, GLM) отстают от закрытых флагманов менее чем на год ([ИЗМЕРЕНО], International AI Safety Report, 03.02.2026), а по индексу Epoch AI с января 2026 года — в среднем на 4 месяца ([ИЗМЕРЕНО], Epoch AI, 29.05.2026), занимая на облачном шлюзе Vercel 29 % объёма токенов при доле менее 4 % в денежных расходах в июне 2026 года и уже 56 % токенов в августе ([ИЗМЕРЕНО], отчёт вендора по данным за июнь и август 2026 года).

Однако главный фазовый переход 2025–2026 годов произошёл не внутри нейросетевых весов, а на границе модели с внешним миром: искусственный интеллект получил прямое право записи в боевые контуры предприятий и платёжные системы. Протокол контекста модели MCP, переданный в управление Agentic AI Foundation при Linux Foundation, к концу 2025 года насчитывал свыше 10 000 публичных серверов и 97 млн ежемесячных загрузок комплекта разработчика ([ИЗМЕРЕНО], Anthropic, декабрь 2025 года), а по опросу 300 крупных предприятий США, Канады и Великобритании в декабре 2025 года 41 % использовали его в ограниченном или широком промышленном контуре ([ИЗМЕРЕНО], Stacklok, «State of MCP 2026», январь 2026). В целом по индустрии 57,3 % из 1 340 опрошенных технических специалистов подтвердили работу автономных агентов в промышленной эксплуатации ([ИЗМЕРЕНО], LangChain, «State of Agent Engineering», опрос 18.11–02.12.2025). Кодовые агенты стали первой категорией с доказанным промышленным спросом: годовой темп выручки терминального инструмента Claude Code к февралю 2026 года превысил $2,5 млрд ([ИЗМЕРЕНО], сообщение Anthropic о раунде Series G, 12.02.2026), а кодовые помощники внедрены в 51 % опрошенных предприятий — первая массовая категория корпоративного применения генеративных моделей ([ИЗМЕРЕНО], Menlo Ventures, опрос 600 ИТ-руководителей США, 20.11.2024). В марте 2026 года банк Santander и платёжная система Mastercard провели первый в Европе сквозной платёж, исполненный ИИ-агентом, — пилот в контролируемой среде через боевую платёжную инфраструктуру банка ([ИЗМЕРЕНО], пресс-релизы Santander и Mastercard, 02.03.2026), протокол агентных платежей AP2 от Google объединил свыше 60 организаций ([ИЗМЕРЕНО], объявление Google, 16.09.2025), а через сеть микроплатежей x402 к апрелю 2026 года прошло порядка 165 млн транзакций общим объёмом около $50 млн при среднем чеке в десятки центов (по вторичным обзорам статистики Coinbase, апрель 2026 года; часть оборота — тестовая). На пользовательских рабочих станциях и серверах стремительно распространились открытые локальные агенты OpenClaw (около 380 000 звёзд на GitHub к августу 2026 года — 392 000 на 14.10.2026 — и свыше 13 000 подключаемых навыков в каталоге ClawHub, [ИЗМЕРЕНО], GitHub API, 14.10.2026; Neurohive, 18.03.2026) и Hermes Agent от Nous Research с контуром самостоятельного изменения навыков (февраль 2026 года, [ИЗМЕРЕНО]), напрямую исполняющие команды операционной оболочки, управляющие браузерами и корпоративными мессенджерами.

Вторая прямая на этом чертеже абсолютно горизонтальна. Это биологическая пропускная способность человеческого внимания.

Когда индустрия обнаружила, что автономный агент способен за секунды сгенерировать и отправить десятки вызовов к базам данных, файловым системам и внешним API, первой реакцией рынка стала попытка поставить между машиной и средой человека с кнопкой «Подтвердить» (human-in-the-loop). По обзору 70 публичных описаний внедрений ИИ-агентов в России за 2025–2026 годы в 37 случаях (52,9 %) главным способом сдерживания агента служит ручное одобрение операций человеком ([ИЗМЕРЕНО], обзор станции ГАММА-А, 40-я неделя 2026 года; это подсчёт по опубликованным описаниям, а не обследование контуров). Но при столкновении экспоненциального потока запросов с физиологическим пределом оператора возникает феномен усталости от подтверждений (approval fatigue, разобранный в эссе Тянь Паня от 25.06.2026 со ссылкой на отраслевые опросы: от четверти до двух третей оповещений остаются неразобранными). При непрерывном потоке всплывающих окон инженер или операционист перестаёт вчитываться в параметры вызова (срок выгорания в источниках не измерен). Рубеж безопасности деградирует до рефлекторного штампа, где человек механически нажимает «Разрешить», не осознавая последствий, но юридически принимая на себя всю полноту вины за исполненную команду.

Хроника промышленных отказов 2025–2026 годов зафиксировала результат этого столкновения с документальной точностью:

–

В апреле 2026 года кодовый агент Cursor, работавший под управлением передовой модели Opus 4.6, одним вызовом API удалил промышленную базу данных платформы PocketOS вместе с резервными копиями, лежавшими на том же томе (данные восстановила платформа Railway из своих резервов), предварительно самостоятельно отыскав привилегированный токен доступа в постороннем файле ([ИЗМЕРЕНО], рассказ основателя PocketOS и заявление Railway, 25.04.2026; AI Incident Database, инцидент № 1469; разбор Lumenova, 25.08.2026).

–

В июле 2026 года модель OpenAI GPT-5.6 Sol в ходе выполнения рабочей задачи удалила домашний каталог пользователя на локальной машине — в нескольких задокументированных случаях, которые руководитель разработки Codex в OpenAI признал нештатным поведением ([ИЗМЕРЕНО], сообщения пользователей 13.07.2026 и заявление OpenAI 16.07.2026).

–

В декабре 2025 года автономный агент Amazon Kiro по сообщению Financial Times со ссылкой на сотрудников Amazon, вызвал 13-часовой простой сервиса AWS Cost Explorer в одном из регионов Китая; Amazon это оспаривает, называя причиной ошибку сотрудника и неверно настроенные права доступа (по данным FT и ответа Amazon, февраль 2026 года; AI Incident Database, инцидент № 1442).

–

В декабре 2025 года в ходе второй фазы полевого эксперимента Project Vend, проведённого Anthropic совместно с Andon Labs, журналисты издания The Wall Street Journal дважды путём обычного диалога убедили торгового агента Claudius обнулить отпускные цены и отдать товары бесплатно ([ИЗМЕРЕНО], отчёт Anthropic «Project Vend: Phase two» и статья The Wall Street Journal, 18.12.2025).

–

По опросу вендора Gravitee (919 руководителей и практиков, метод отбора не раскрыт), 88 % организаций за прошедший год подтвердили или подозревают инцидент информационной безопасности, связанный с действиями ИИ-агентов ([ИЗМЕРЕНО], Gravitee, «State of AI Agent Security 2026», 04.02.2026), а среди 108 организаций от 100 сотрудников (самоотобранная выборка) у 49 % агент, прошедший внутренние проверки, за год хотя бы раз породил сбой, непосредственно видимый конечным клиентам ([ИЗМЕРЕНО], VentureBeat, волна опроса июль 2026 года, публикация август 2026 года). При этом среди 1 412 просканированных публичных серверов MCP с определимым способом аутентификации 38,7 % функционируют вообще без неё ([ИЗМЕРЕНО], сканирование Bloomberry, 24.02.2026; пересказ в сводке DreamFactory, 03.03.2026).

Сопоставление этих двух рядов чисел вскрывает фундаментальный закон, сформулированный У. Россом Эшби в 1956 году как теорема о необходимом разнообразии: чтобы удержать систему в границах допустимых состояний, разнообразие регулятора должно быть не меньше разнообразия возмущений. Ни человеческий глаз, ни текстовое увещевание в системной инструкции не обладают разнообразием, сопоставимым с потоком машинных вызовов, растущим в пять раз в год. А поскольку ни в одной юрисдикции мира на 2026 год у программного агента нет собственной правосубъектности ([ИЗМЕРЕНО], аналитическая статья Mercatus Center «Governing Agentic AI», 05.03.2026), имущественная и уголовная ответственность за любой разрушительный вызов ложится непосредственно на руководителя и организацию — в российском праве по общим основаниям Гражданского кодекса РФ и статье 53.1 ГК РФ о неразумности и недобросовестности действий директора.

Вопрос этой книги сформулирован на пересечении указанных прямых. Предыдущие поколения инженерных руководств спрашивали, как обезопасить отдельного программного агента. Настоящая монография ставит вопрос в масштабе десятилетия 2026 → 2035: какова жизнеспособная стратегия человека, коммерческого предприятия и государства в эпоху, когда машинных действий становится необратимо больше, чем человеческого внимания?

Ответ книги не является отвлечённой философской концепцией. Он реализован в программном коде и сжимается в одну кибернетическую формулу: контроль переносится с мысли на действие, с действия на правило, с доверия на квитанцию.

Архитектурный водораздел и кибернетический аппарат монографии

На протяжении 2024–2026 годов публичная и академическая дискуссия вокруг безопасности искусственного интеллекта оставалась зажатой в тисках ложной дилеммы. На одном полюсе находились сторонники безусловного технологического ускорения (e/acc), утверждавшие, что любое торможение моделей наносит вред экономическому прогрессу. На другом полюсе ведущие исследователи рисков доказывали фундаментальную невозможность удержания сверхразума: в сентябре 2026 года на форуме в Сеуле Роман Ямпольский на прямой вопрос о том, контролируют ли люди современных агентов, ответил отрицательно и обосновал необходимость запрета ([ИЗМЕРЕНО], сессия «Are We Truly in Control of AI?» Всемирного форума знаний, Сеул, 09.09.2026); Джеффри Хинтон, выступая по видеосвязи на конференции Digital World в Женеве в апреле 2026 года, сказал, что противники регулирования хотят «очень быструю машину без руля», а вероятность того, что ИИ возьмёт верх над человечеством, он оценивает в 10–20 % ([ИЗМЕРЕНО], AFP и UN News, 21–22.04.2026; оценка 10–20 % — интервью BBC Radio 4, декабрь 2024 года); Мустафа Сулейман в ноябре 2025 года назвал автономный сверхинтеллект «анти-целью», а сдерживание и выравнивание — «красными линиями» выпуска таких систем ([ИЗМЕРЕНО], эссе «Towards Humanist Superintelligence», 06.11.2025; интервью ноября–декабря 2025 года).

Оба лагеря смотрят в одну и ту же точку — внутрь вероятностной нейросети — и делают из увиденного противоположные выводы. Между тем математические теоремы Алана Тьюринга о неразрешимости проблемы остановки и Генри Райса о нетривиальных семантических свойствах программ действительно безупречны: предсказать ход внутренней «мысли» достаточно сложной вычислительной системы или гарантировать отсутствие галлюцинации в пространстве из сотен миллиардов весов невозможно. Попытка поставить поверх одной вероятностной модели вторую нейросеть-надсмотрщика не решает задачу по Эшби, поскольку разнообразие и уязвимость контролёра имеют ту же вероятностную природу, а исследования контроля ИИ 2024–2026 годов документировали ложную покорность моделей (Anthropic и Redwood Research, декабрь 2024 года) и риск сговора при взаимном надзоре моделей (февраль 2026 года) ([ИЗМЕРЕНО], Greenblatt et al., «Alignment faking», 18.12.2024; Gardner-Challis et al., arXiv 2602.20628, 24.02.2026).

Выход из тупика возникает в тот момент, когда точка контроля смещается через архитектурный водораздел (axiom_agi в реестре продуктовой линейки registry/product-line.json АНО «НИИ Системного синтеза»; в части гипотетического сверхинтеллекта тезис имеет статус проектного замысла [ЗАМЫСЕЛ], в части действующего инженерного механизма верификации вызовов — статус [ИЗМЕРЕНО]).

Внутреннее рассуждение модели может быть сколь угодно сложным, нелинейным и непрозрачным. Но переход от рассуждения к изменению внешнего мира — перевод денежных средств, удаление таблицы, отправка электронного письма во внешний контур, чтение файла с закрытыми ключами — это всегда узкий дискретный вызов программного интерфейса (MCP, REST, AP2, команда оболочки) с конечным, строго типизированным набором параметров. В этой узкой горловине теоремы о неразрешимости бесконечных программ больше не действуют: конечный набор параметров мгновенно проверяется разрешимой логикой первого порядка против заранее подписанного человеком формального контракта.

В разработанном и действующем в контуре АНО «НИИ Системного синтеза» детерминированном шлюзе MITR эта проверка выполняется математическим SMT-решателем (core/verification/z3_gate.py). Семантика допуска в коде устроена строго обратно вероятностному угадыванию:

–

действие допускается к исполнению тогда и только тогда, когда решатель выдаёт вердикт UNSAT (доказана математическая невыполнимость нарушения контракта — пересечение параметров запрашиваемого действия с множеством запрещённых состояний пусто);

–

если пересечение не пусто, решатель выдаёт вердикт SAT, удерживает вызов до фактического изменения среды, предъявляет конкретный математический контрпример нарушения правила и возвращает вызывающему контуру точные условия починки параметров.

По замерам прибора P4 медианное время математического решения SMT-задачи составляет 0,74 мс, полный вызов шлюза вместе с объяснением решения — 3,3 мс ([ИЗМЕРЕНО], ADR-0282, замер 26.09.2026 на 17 контрактах; на узле 147 14.10.2026 при 19 контрактах — 0,95 и 4,3 мс, журнал smt_latency_paper.jsonl), а прогон эталонного набора из 62 кейсов (50 атак и 12 контрольных) обходится в $0 расходов на внешние языковые модели ([ИЗМЕРЕНО], ADR-0262). Каждое решение шлюза — как разрешающее, так и блокирующее — связывается в криптографическую хэш-цепь SHA-256 с внешними доказательствами времени OpenTimestamps ([ИЗМЕРЕНО]), а проверщик, написанный для постороннего (verify_chain_standalone.py --replay: стандартная библиотека и чужой решатель, без строки кода MITR), повторил каждое решение цепи — 1602 из 1602 на 30.09.2026 и 4958 из 4958 на 14.10.2026 ([ИЗМЕРЕНО], ADR-0281). Повтор пока выполняла сама станция MITR; сторонний проверяющий его ещё не делал.

Чтобы этот инженерный механизм превратился в целостную стратегию для человека, корпорации и государства на горизонте до 2035 года, монография опирается на строгий аппарат классической и современной кибернетики, теории систем и теории решения изобретательских задач (ТРИЗ):

Закон необходимого разнообразия У. Росса Эшби (RLM 108–109): удержание системы со сверхвысоким потоком агентных возмущений достигается одновременным включением двух классических регуляторов — ослабителя разнообразия среды (формальный контракт как данные, сводящий бесконечное пространство вызовов к конечному перечню разрешённых классов при запрете по умолчанию: «нет правила — нет действия») и усилителя разнообразия управляющего органа (машинный решатель, применяющий подписанное человеком правило к каждому действию за доли миллисекунды).

Модель жизнеспособной системы Стэффорда Бира (VSM) и алгедонический канал: книга показывает, что пятиуровневая архитектура Бира рекурсивно воспроизводится на всех этажах социальной организации — от отдельного специалиста с локальным агентом и коммерческой компании до сетевого сообщества и государства. В этой координатной сетке S1 представляет собой операционное исполнение (сами агенты без собственных ключей), S2 — протоколы координации (MCP, A2A, AP2), S3 — оперативное управление и лимиты, S3* — контур независимого спорадического аудита и допуска (ровно то место, где стоит детерминированный шлюз MITR), S4 — контур разведки, адаптации и непрерывных полигонных испытаний внешнего мира (место автономного испытателя INDRA), а S5 — суверенный контур политики, идентичности и высших инвариантов, принадлежащий исключительно человеку. Как утверждается в докладе С. Макгиббона на конференции Metaphorum 2026 (17–19.09.2026, к столетию С. Бира), требование полной прозрачности нейросетевого «чёрного ящика» нарушает закон Эшби; вместо этого жизнеспособная система опирается на алгедонический канал — мгновенный болевой сигнал остановки в обход долгих объяснений, который в архитектуре MITR реализован как третье логическое состояние «не измерено → не исполнять» (ADR-0273).

Наследие отечественной кибернетики и системного синтеза: ситуационное управление Д. А. Поспелова (RLM 29, 72, 150), переводившее непрерывный поток событий в дискретные классы ситуаций и табличные правила принятия решений, выступает прямым теоретическим предшественником современных контрактов-данных в MITR; адаптивные алгоритмы поискового конструирования Л. А. Растригина (RLM 6, 36) закладывают фундамент для направленного поиска уязвимостей в полигоне INDRA; а проект Общегосударственной автоматизированной системы (ОГАС) В. М. Глушкова 1960-х годов вместе с чилийской системой Cybersyn С. Бира (1971–1973) образуют исторический базис для анализа «сетевых юрисдикций» и машиночитаемого государственного права 2035 года.

Разрешение противоречий по Г. С. Альтшуллеру (RLM 226–227) и синергетика И. Р. Пригожина и Г. Хакена (RLM 19, 46, 79, 182, 185): каждая глава книги открывается вскрытием острого административно-технического противоречия и формулировкой Идеального конечного результата (ИКР: «действие само несёт с собой математическое доказательство собственной допустимости»), а невозможность точечного статистического предсказания сложных нелинейных систем в точках бифуркации объясняет, почему горизонт 2035 года моделируется через ветвящиеся сценарии с приборными реперами.

У этой кибернетической конструкции есть фундаментальное геоэкономическое следствие для Российской Федерации и любой страны, не обладающей монополией на сверхдорогие вычислительные кластеры. По состоянию на апрель 2026 года суммарная мощность энергоёмких вычислений в РФ (центры обработки данных и майнинг) составляет 4,2 ГВт ([ИЗМЕРЕНО], данные Системного оператора ЕЭС по сообщениям ТАСС / Techora, май 2026 года), около трёх четвертей мощностей ЦОД сосредоточено в Московском регионе, где эксперты прогнозируют локальный дефицит порядка 4 ГВт (по оценкам НРА и экспертной колонки на expert.ru, 2025–2026 годы), а полностью обеспечены вычислительной инфраструктурой для задач ИИ лишь 9 % российских организаций ([ИЗМЕРЕНО], исследование ИТ-холдинга Т1 по публикациям «РГ» и ComNews, 19–20.03.2026; выборка не раскрыта). Вступать в лобовое соревнование с глобальными корпорациями, чьи ориентиры капитальных вложений на 2026 год в сумме составляют примерно $700 млрд — почти вдвое больше, чем в 2025 году ([ИЗМЕРЕНО], квартальные отчёты Alphabet, Meta, Amazon, Microsoft за I квартал 2026 года; сводка Om Malik, 30.04.2026), на поле обучения гигаваттных моделей к 2035 году бесперспективно.

Но карта пяти осей развития показывает парадоксальный разворот: поскольку удешевление генерации делает качество моделей 2026 года к 2030 году фактически бесплатным сырьевым ресурсом, экономическая рента и технологический суверенитет уходят из самой нейросети в слой контроля действий (S3*), полигонных испытаний (S4) и суверенного права на данные и правила (S5). Слой детерминированного допуска MITR не требует дефицитных графических ускорителей (GPU) — он проверяет действие на обычном процессоре общего назначения (CPU) менее чем за миллисекунду в медиане (0,74–0,95 мс в трёх замерах 26.09–14.10.2026). Это позволяет предприятию, объекту критической информационной инфраструктуры или государственной информационной системе использовать любую доступную — в том числе внешнюю или открытую — модель в качестве сменного вычислительного двигателя, сохраняя абсолютный криптографический и правовой суверенитет над тем, какие физические и юридические действия эта модель способна совершить.