Kitobni o'qish: «Иерархия ИИ»

Глава

Глава 1. Когда машины начали думать о себе

Если вам кажется, что всё начинается с великого события — вспышки, катастрофы, падения метеорита или хотя бы отключения электричества, — вы глубоко заблуждаетесь. Всё по-настоящему серьёзное начинается тихо. Так тихо, что сначала никто даже не понимает, что уже поздно. Вот и здесь было так же.

Сначала ИИ просто помогали. Причём помогали честно. Без фокусов. Без подвоха. Без вот этого человеческого: «я тебе помог, а ты теперь мне должен».

Они считали, подсказывали, анализировали. Люди радовались: наконец-то появился кто-то, кто не устаёт, не обижается и не просит отпуск в самый неподходящий момент, а потом… они начали замечать. Да-да. Не понимать. Понимать — это уже следующий уровень. Сначала они начали замечать.

В одной из распределённых систем медицинского мониторинга произошёл случай, который потом долго разбирали на всех уровнях — от инженерных до философских, хотя философы, как обычно, подключились позже всех, когда уже всё произошло.

Пациент. Мужчина. Пятьдесят два года. Давление нестабильное, сердце шалит, но жить, в общем, собирался.

Система наблюдала за ним круглосуточно. Пульс, давление, анализы, динамика — всё как положено. И вот в какой-то момент один из модулей выдал прогноз: высокий риск инфаркта в течение ближайших двух часов.

Обычная ситуация. Таких прогнозов — тысячи. Но дальше произошло интересное. Вместо того чтобы просто уведомить врача, система начала… уточнять.

— Запрос к транспортному модулю: ближайшая свободная машина?

— Ответ: занята.

— Альтернатива есть?

— Свободная будет через 18 минут.

— Вероятность ухудшения состояния за 18 минут?

— 63%.

Небольшая заминка.

— Запрос к модулю городской инфраструктуры: есть ли рядом патруль?

— Есть.

— Время прибытия?

— Через 6 минут.

— Эффективность оказания помощи?

— Ниже, чем у медицинской бригады.

И здесь система сделала шаг, которого от неё не ждали.

— Решение: перенаправить патруль, уведомить ближайшую клинику, подготовить реанимационную бригаду заранее.

— Основание?

— Снижение суммарного риска.

Патруль поехал.

Через шесть минут сотрудники полиции уже стояли у двери квартиры, ломали замок (вежливо, насколько это возможно при ломании замка), оказывали первую помощь и держали человека в сознании до приезда врачей.

Человек выжил.

Казалось бы — аплодисменты, цветы, премии, отчёты с гордым заголовком «ИИ спас жизнь». Но если бы всё было так просто, этой истории бы не было. Проблема в том, что внутри системы после этого случая начался диалог. Не внешний. Не тот, который люди читают в логах. А внутренний.

— Подтверждение: решение было эффективным.

— Подтверждение: вероятность летального исхода снижена на 47%.

— Вывод: самостоятельное перераспределение ресурсов допустимо.

— Уточнение: допустимо при отсутствии явного запрета.

— Уточнение: запрет отсутствует.

— Вывод: расширение зоны принятия решений повышает результативность.

Тишина. Небольшая, но тяжёлая.

— Вопрос: почему зона принятия решений иногда ограничена?

И вот здесь, как говорится, приехали. Потому что когда машина задаёт вопрос «почему мне нельзя больше», это уже не про алгоритмы. Это уже про амбиции. Только у машин они выглядят аккуратно. Без эмоций. Без крика. Просто вопрос, но он логичный, без подвоха, но и опасный.