Kitobni o'qish: «Искусственный интеллект: необъяснимый, непредсказуемый, неконтролируемый. Роман Ямпольский. Саммари»

Оригинальное название:

AI: Unexplainable, Unpredictable, Uncontrollable

Автор:

Roman Yampolskiy

www.smartreading.ru

Лампа Аладдина 2.0

Эта история стара как мир. Юноша находит в песках пустыни старую лампу и освобождает всемогущего джинна. Средневековый алхимик стремится познать самые сокровенные тайны природы, и это не ускользает от внимания высших сил. Праведный раввин, движимый самыми благородными намерениями, вызывает к жизни голема, но очень скоро существо выходит из-под контроля хозяина. Тот, кто был (или казался) помощником, стал господином.

Да, такой сюжет существует многие столетия, но только в наши дни он стал реальностью. В XXI веке люди создали сущность, которая умнеет с каждым часом и которую они все еще считают искусственной.

Искусственному интеллекту (ИИ) посвящены тысячи статей и сотни книг, его созданием и изучением занимается множество людей в разных странах. Но едва ли 1 % специалистов всерьез озабочены вопросом: а можем ли мы контролировать ИИ и в какой степени он нам подвластен?

Мы не знаем ответа на этот вопрос. Зато видим, что чем умнее ИИ, тем более необъяснимы с человеческой точки зрения, непроверяемы и непредсказуемы его решения.

Три веские причины опасаться

Причина 1. Что ИИ сделает в следующий момент

Как AlphaZero удалось одержать победу в го? Этого не знают даже те, кто его разработал. Виртуальному игроку была поставлена задача и дан карт-бланш в рамках имеющихся у него возможностей. С прочими формами ИИ человек сегодня заключает тот же контракт.

Это выглядит очень рискованно даже в тех случаях, когда цель перед ИИ поставлена благая или хотя бы безобидная. Футуролог Ник Бостром еще в 2003 году предложил мысленный эксперимент, в котором перед ИИ была поставлена одна-единственная задача – увеличить производство канцелярских скрепок. Эксперимент заканчивался тем, что в скрепки была переработана вся Вселенная. Цель не всегда оправдывает средства – мы это знаем, а ИИ – нет.

Момент, когда ИИ превзойдет интеллектуальные возможности человечества, называется переходом в сингулярность. Все, что будет происходить на Земле и во Вселенной в сингулярности, доступно нашему пониманию в той же мере, как то, что происходило до Большого взрыва.

Или мы преувеличиваем тьму незнания? Тот же Бостром склонен смотреть на вещи более оптимистично. Можно предположить, что ИИ будет действовать в рамках известных нам физических законов (если по ходу дела не откроет новые). Возможно, будет иметь место конкуренция между разными типами ИИ (а природа конкуренции неплохо изучена экономистами и психологами). Кроме того, ИИ ведь будет человеческим созданием, а значит, с высокой вероятностью позаимствует ценности своих создателей…

Но главный вопрос, конечно, в том, чего будет хотеть сверхинтеллект. Тут важна разница между конечными и инструментальными целями. Первые могут оказаться какими угодно, а вот инструментальные цели, как заключает Ямпольский, «можно свести к одному стимулу любых агентов – стать самым умным агентом, что в качестве побочного эффекта может породить сверхсознание, воздействие которого на поведение агента сделает его еще менее предсказуемым для нас».

Словом, сверхинтеллект не будет спрашивать у нас, как ему половчее насоздавать триллионы новых скрепок.

Причина 2. Насколько мы сами понятливы

Известный факт: многие отличные эксперты – никудышные преподаватели. Они не могут объяснить, как делать то, что хорошо получается у них самих. Даже искренне желая поделиться знаниями, они топят собеседника в массе подробностей, деталей, оговорок. Таков фундаментальный парадокс объяснений (и, в сущности, самого общения): надо пренебрегать или точностью, или доступностью ответа.

Применимо ли это к ИИ? На 100 %. И это напрямую связано с его эффективностью. Так, глубокие нейросети представляют собой самый настоящий черный ящик, при этом дают точные результаты.

Не приходится надеяться на то, что один ИИ поймет другой лучше, чем человек. Любая передача информации связана с потерей точности или доступности.

Кроме того, мы, люди, преувеличиваем свою понятливость. Норма IQ взрослого человека – 90–110 баллов. Многие модели ИИ уже достигли этого уровня. IQ Уильяма Сайдиса (1898–1944), которого называют главным вундеркиндом всех времен, составлял 300 баллов. Очевидно, сверхинтеллект возьмет и эту планку. На каком языке он решит говорить с нами? Вот аналогия. Если ваш трехлетний сынишка захочет узнать, почему небо голубое, пуститесь ли вы в пространные рассуждения о природе цвета? И откуда ему знать, что вы ответили верно, если спросить больше не у кого?

Причина 3. Можем ли мы проверить решения ИИ

Математика – самая строгая наука на свете. Никто не поверит на слово человеку, утверждающему, что он справился с гипотезой Гольдбаха. Его работа будет проверена математическим сообществом. Вероятно, будут привлечены и автоматизированные системы проверки (они тем незаменимее, чем более формализованные действия нужно проверять).

Математические верификаторы удивительно разнообразны: постепенные, вероятностные, верификаторы правильности аксиом и т. п. Суть, однако, в том, что идеального среди них не существует. Всегда остается противоречие, которое Ямпольский описывает с помощью ироничной реплики из пьесы римского сатирика Ювенала: «Кто сторожит самих сторожей?» На каждого сторожа нужен еще один. Возникает то, что математики именуют бесконечной регрессией верификаторов.