Kitobni o'qish: «ИИ: Необъяснимый, непредсказуемый, неконтролируемый»

Name: ИИ: Необъяснимый, непредсказуемый, неконтролируемый
Author: Роман Ямпольский
ISBN: 978-5-908058-01-8

Shrift:

Authorised translation from the English language edition published by CRC Press, a member of the Taylor & Francis Group LLC

Предисловие

«Сотворили его люди, но управлять им они не могут», – писал Джон Стейнбек в своем романе «Гроздья гнева» почти сто лет назад. И хотя речь шла о банке, сегодня эти слова можно отнести и к проблематике искусственного интеллекта (AI).

Новостной поток, который сопровождает всемирную гонку в создании искусственного сверхинтеллекта, постоянно приносит нам сообщения о превосходстве машин над человеком в решении задач. Эти успехи не только создают завышенные ожидания к разработчикам AI, но и вызывают опасения за будущее человечества среди ученых и инженеров.

Обеспокоенность эта серьезна – пионеры отрасли готовы к радикальным изменениям карьеры, чтобы обратить внимание общества на проблему контроля над AI. И хотя технология создается нами, людьми, сможем ли мы ее контролировать? Один из героев книги Ямпольского, американский специалист по AI Элиезер Юдковский, предупреждает, что «наибольшая опасность искусственного интеллекта заключается в том, что люди слишком рано решают, что понимают его».

Более того, если посмотреть в историческом плане, то первая, по-настоящему значимая технология, оказавшаяся в руках человека, – расщепление атома. Она разрабатывалась по инициативе государств, и до сих пор использование атомной энергии тщательно контролируется во всех странах. Вторая – преобразование информации. Однако есть одно важное отличие – впервые радикальная, трансформационная технология развилась и сосредоточивалась в частных компаниях.

В публичном поле сегодня представлено множество мнений о контролируемости AI. Но ситуация больше напоминает библиотеку после ремонта – книги на полках хорошие, но не на своих местах. На этом фоне работа доктора Ямпольского появилась в правильный момент: ученый предлагает несколько методов и классификаций для ответа на вопрос, можем ли мы контролировать AI. И кажется, это именно то, что нужно современному читателю, – тщательно и аккуратно разобраться в теме, используя научный подход. Обрисовывая долгосрочную перспективу, автор дает однозначный ответ – на существующей технологической парадигме мы не можем полностью и однозначно контролировать AI и последствия его применения.

Однако отнести Ямпольского к техноскептикам нельзя. Со свойственной ученым основательностью он отделяет зерна от плевел: надо использовать слабый AI там, где это полезно, например в медицине, и тщательно изучать все последствия, где есть риски. В случае искусственного суперинтеллекта любая ошибка может стать последней для человечества. И чтобы избежать катастрофических сценариев, необходимы исследования новых подходов к разработке моделей. Ямпольский считает, что любое определение AI критически ошибочно, если в нем не используется слово «безопасность».

Именно поэтому книга достойна внимания руководителей технологических компаний, разрабатывающих и внедряющих AI. Кроме того, ее будет полезно прочитать всем исследователям, вовлеченным в создание AI, – осознание небезопасности этой технологии должно стать необходимым шагом для всех дальнейших работ. Единственное, что мы не можем себе позволить, – игнорировать риски необъяснимого, непредсказуемого и неконтролируемого AI.

Альберт Ефимов, к. филос. н.,
Вице-президент – директор управления исследований и инноваций ПАО Сбербанк
Заведующий кафедрой инженерной кибернетики Университет науки и технологий МИСИС

Моему другу Яану Таллинну, человеку, сделавшему для мира больше, чем вы когда-либо узнаете.

Благодарности

Я хотел бы поблагодарить многих людей за помощь, советы, замечания к моей работе, содействие в исследованиях – или просто за то, что они так или иначе подталкивали мои размышления. Одних мне повезло встретить лично, другие остались моими виртуальными собеседниками – но для идей это неважно, так что все эти люди в равной степени замечательны. Уверен, что я многих упустил, ведь я не обладаю сверхразумом, да и память у меня скверная. Заранее приношу извинения всем, кого я здесь не упомянул. Вклад многих выдающихся ученых я признаю, цитируя их работы, ведь это главное признание для любого исследователя. Большое спасибо вам: Макс Тегмарк, Иэн Гудфеллоу, Кеннет Риган, Эдуард Френкель, Себастьен Зани, Сорен Эльверлин, Мелисса Хелтон, Анна Хусфельдт, Торе Хусфельдт, Дэвид Келли, Дэвид Джилк, Скотт Ааронсон, Роб Бенсингер, Сет Баум, Тони Барретт и Алексей Турчин. Последними, но не в последнюю очередь я хочу поблагодарить Яана Таллинна и Фонд выживания и процветания (Survival and Flourishing Fund), а также Илона Маска и Институт будущего жизни (Future of Life Institute) за частичное финансирование моей работы, посвященной безопасности ИИ.

Об авторе

Доктор Роман Владимирович Ямпольский – доцент, штатный сотрудник кафедры компьютерно-технических наук Инженерной школы Дж. Б. Спида при Луисвиллском университете. Основатель и действующий руководитель лаборатории кибербезопасности при Луисвиллском университете, автор множества книг, в т. ч. «Искусственный сверхинтеллект. Футуристический подход» («Artificial Superintelligence: A Futuristic Approach»), редактор сборников «Безопасность и защита ИИ» («AI Safety and Security») и «Технологическая сингулярность» («The Technological Singularity»). За время работы в Луисвиллском университете Роман Ямпольский получил звания почетного профессора-преподавателя, профессора года, самого популярного преподавателя своего факультета, эксперта в техническом образовании и награду за выдающееся начало карьеры в образовании, вошел в четверку лучших преподавателей факультета и десятку лучших профессоров года, а также удостоился многих других наград и почетных званий. Роман Ямпольский – старший член Общества изучения сильного и слабого ИИ института IEEE, член Академии наук штата Кентукки, ранее был научным руководителем Machine Intelligence Research Institute (MIRI) и Global Catastrophic Risk Institute (GCRI).

Роман Ямпольский получил степень доктора философии на кафедре компьютерно-технических наук университета штата Нью-Йорк в Буффало. Четыре года был стипендиатом Программы интегрированного обучения аспирантов и исследовательских стажировок Национального научного фонда США (National Science Foundation, NSF). Перед докторантурой Роман Ямпольский получил комбинированную степень бакалавра/магистра информатики (с отличием) в Рочестерском технологическом институте (шт. Нью-Йорк, США). После защиты докторской диссертации занял должность члена-корреспондента в Центре расширенного пространственного анализа Университетского колледжа Лондона в Лондонском университете. Ранее проводил исследования в Лаборатории прикладных вычислений в Рочестерском технологическом институте и в Центре комплексной биометрии и датчиков университета штата Нью-Йорк в Буффало. Роман Ямпольский – выпускник Университета сингулярности (летняя программа последипломного образования, 2012 г.) и приглашенный научный сотрудник Института сингулярности (Институт исследований машинного интеллекта).

Основная сфера интересов Романа Ямпольского – безопасность ИИ. Он автор более 200 публикаций, включая многочисленные статьи в журналах и книгах. Его исследования цитируются тысячами ученых и рассматриваются в популярных журналах как в США, так и за рубежом. Работы Романа Ямпольского упоминаются более 10 000 раз в различных статьях в СМИ более чем на 40 языках.

Глава 1
Введение¹

1.1. Введение

Стремительный прогресс искусственного интеллекта (ИИ) за последнее десятилетие сопровождался и несколькими громкими провалами [1]. Стала очевидной необходимость следить за тем, чтобы ИИ работал на благо человечества. Так возникла новая сфера исследований – безопасность ИИ [2], охватывающая широкий спектр областей. Число публикаций по безопасности ИИ в последнее время уверенно растет [3–10].

Однако в основе всех этих исследований лежит предположение, что задача контроля ИИ в принципе разрешима, хотя не существует ни строгих математических доказательств тому, ни предпосылок к их появлению. В компьютерных науках принято сначала определить, относится ли задача к числу решаемых, а затем уже вкладывать ресурсы в ее решение.

Все признают, что контроль ИИ, возможно, является одной из важнейших проблем, стоящих перед человечеством, – и тем не менее, эта сфера остается малопонятной, недостаточно изученной и плохо исследованной. Задачи компьютерных наук принято делить на решаемые, нерешаемые, неразрешимые или имеющие частичное решение – но мы до сих пор не знаем, к какому виду относится задача контроля ИИ. Мы предполагаем, что в некоторых ситуациях возможны определенные формы контроля, но существует и вероятность того, что во многих случаях частичного контроля будет недостаточно. Пока мы не понимаем ни природы, ни осуществимости задач контроля ИИ, мы не сможем выработать соответствующую методику [11].

Потенциальные методы контроля сильного ИИ (Artificial General Intelligence, AGI) делят две общие категории: методы, основанные на контроле возможностей, и методы контроля мотивации [12]. Первые призваны минимизировать вред от систем сильного ИИ, помещая их в ограниченную среду, оснащенную механизмами (триггерами) останова. Методы контроля мотивации предполагают разработку систем сильного ИИ, которые будут наделены желанием не причинять вреда даже без ограничения их возможностей. Широкого признано, что контроль возможностей – в лучшем случае временная мера и не может считаться долгосрочным решением задачи контроля сильного ИИ [12]. Кроме того, использование средств контроля мотивации может потребоваться еще до запуска системы – на стадии разработки и обучения.

1.2. Задача контроля ИИ

Мы определяем проблему контроля ИИ следующим образом:

«Как человечество может безопасным образом осуществлять контроль, используя высшую форму интеллекта с выгодой для себя?»

Это фундаментальная проблема безопасности ИИ, которая сама по себе посвящена обеспечению безопасности интеллектуальных систем для всех заинтересованных сторон.

В настоящее время для обеспечения безопасности ИИ чаще всего рассматривают метод согласования ценностей². Тем не менее, несмотря на долгие годы исследований, степень безопасности все еще сложно протестировать или точно измерить даже в программном обеспечении (ПО), которое не используют ИИ [13]. В лучшем случае мы, пожалуй, сможем отличить совершенно безопасную систему от системы, сравнимой по безопасности с человеком, выполняющим ту же задачу. Но вряд ли общество смирится с ошибками машин, даже если они возникают не чаще, чем человеческие ошибки. Мы ожидаем, что машины будут работать лучше нас, и не согласимся на частичную безопасность настолько мощных систем. Влияние ИИ (как положительное, так и отрицательное [3]) во многом зависит от его способностей. В том, что касается экзистенциальных угроз, частичная безопасность недопустима.

На первый взгляд кажется, что для решения задачи контроля нужно разработать машину, в точности выполняющую команды человека. Но такая форма контроля неоптимальна – команды могут быть противоречивыми или парадоксальными, человеческие языки неоднозначны [14], а постановка задач бывает некорректной (хотя желательно предусмотреть возможность обратной связи от человека). Предполагается, что для решения этой проблемы ИИ должен стать идеальным советником, который будет избегать проблем с неверным толкованием прямых команд и не будет допускать поступления команд от злоумышленников.

Считается, что отсутствие контроля ИИ приведет к настолько серьезным последствиям, что даже при малейшей вероятности появления враждебного ИИ потенциальный вред приобретет астрономический масштаб – а значит, исследования по безопасности ИИ в любой случае окупятся. Здравый смысл говорит о том, что огромный негативный эффект даже при его малой вероятности означает очень большой вред. И такой вариант развития событий действительно необходимо воспринимать всерьез. К тому же в реальности шансы несогласованности ИИ с целями и нормами его создателей довольно высоки. Это значит, что в отсутствие эффективной программы безопасности ИИ единственно возможный результат – почти гарантированное отрицательное событие с потенциалом экзистенциальной катастрофы. Таким образом, статистика говорит в пользу масштабного исследования безопасности ИИ. Речь о не о сценариях с низкими рисками и высокой отдачей – риски велики, а результатом будет предотвращение худшего. Неудивительно, что многие считают, что это самая серьезная задача, когда-либо стоявшая перед человечеством. Мы выбираем между нашим процветанием и нашим уничтожением. На весах находится судьба мира, поэтому доказательство решаемости или нерешаемости задачи контроля ИИ – действительно важнейшая проблема всех времен.

1.3. Что мешает контролировать ИИ

Для того чтобы контролировать модель сильного ИИ, нам нужны инструменты, которые обеспечат ее объяснимость, предсказуемость и проверяемость [15]. Но возникает вопрос доступности этих инструментов для нас.

• Концепция необъяснимости ИИ предполагает, что невозможно дать на 100 % точное и понятное объяснение конкретных решений интеллектуальной системы. Ее дополняет концепция непостижимости ИИ, которая означает, что человек не сможет до конца понять любое совершенно точное объяснение решений интеллектуальных систем [16].

• Непредсказуемость ИИ, которая также мешает достижению безопасности ИИ, – это неспособность человека точно и закономерно предсказывать действия интеллектуальной системы, которые она предпримет для достижения своих целей, даже если известны ее конечные цели [17]. Непредсказуемость связана с необъяснимостью и непостижимостью ИИ, но не совпадает с ними полностью. Она не означает, что невозможен статистический анализ с точностью выше случайной, но указывает на общее ограничение эффективности анализа, особенно ярко выраженное у передовых систем сильного ИИ в новых областях.

• Непроверяемость – фундаментальное ограничение проверки математических доказательств, ПО, поведения интеллектуальных агентов и любых формальных систем [18]. Все более очевидно, что у нас есть лишь вероятная уверенность в правильности математических доказательств и программных решений – и весьма ограниченная возможность проверки интеллектуальных агентов.

Многие исследователи предполагают, что задачу контроля ИИ можно решить, но никаких доказательств или подтверждений тому нет. Поэтому прежде чем приступать к созданию контролируемого ИИ, важно показать, что задача в принципе имеет решение, чтобы не тратить ценные ресурсы понапрасну. Бремя доказательств лежит на тех, кто утверждает, что эта задача вполне решаемая, а отсутствие таких доказательств в настоящее время свидетельствует о том, насколько рискованно разрабатывать сильный ИИ. С большой вероятностью ИИ не поддается контролю – это можно доказать приведением данной проблемы к задаче контроля со стороны человека.

Есть множество открытых вопросов о контролируемости ИИ: можно ли решить задачу контроля? Возможно ли это в принципе? Возможно ли это на практике? Можно ли при этом добиться достаточного уровня точности? Сколько времени это займет? Успеем ли мы это сделать? Каковы затраты энергии и вычислительных мощностей для данной задачи? На что будет похоже решение? Каким будет минимально осуществимое решение? Как мы поймем, что задача решена? Поддается ли решение масштабированию при дальнейшем развитии системы? Мы считаем, что интеллект без ограничений нельзя контролировать, а интеллект с ограничениями не сможет создавать что-либо новое. Если не контролировать сильный ИИ, то, кто бы ни программировал его, последствия будут катастрофическими для всех и в первую очередь – для его создателей. Неконтролируемый сильный ИИ никому не принесет пользы.

Отсутствуют публикации, подтверждающие, что менее интеллектуальный агент может бесконечно сохранять контроль над более интеллектуальным. Разрабатывая системы, уступающие нам по интеллекту, мы сохраняем контроль над ними, но если системы станут умнее нас, мы потеряем контроль. Если же мы пытаемся сохранить контроль, разрабатывая все более продвинутые интеллектуальные агенты, мы попадаем в «Уловку-22»³, так как механизм контроля должен быть умнее контролируемого агента или хотя бы иметь тот же уровень интеллекта. Это приведет к тому, что для контроля систем, возможности которых постоянно растут, потребуется целая иерархия интеллектуальных систем.

Более того, задача контроля более мощного интеллекта усложняется и, очевидно, становится недоступной для агентов с постоянным уровнем интеллекта. Контролировать ситуацию будет тот, кто умнее, и он же будет принимать окончательные решения. Насколько нам известно, на данный момент нигде в мире не существует не только действующего механизма контроля ИИ, который можно было бы масштабировать до ИИ человеческого уровня и (когда-нибудь) выше, но даже представления о том, каким мог бы быть прототип такого механизма. Никто до сих пор не доказал наличия таких технологий – а ведь если кто-то утверждает, что задача контроля ИИ решаема, он должен доказать это. Но пока, судя по всему, наша способность создавать интеллектуальное ПО намного выше нашей возможности контролировать или даже проверять его.

1.4. Определение безопасного ИИ

В статье «Определение искусственного интеллекта» («On Defining Artificial Intelligence») Пэй Ван дает следующее определение [19]: «Интеллект – это способность системы обработки информации адаптироваться к среде и при этом работать в условиях недостаточных данных и ресурсов» [20]. Ван не только дает совершенно адекватную формулировку, но и рассматривает другие определения интеллекта, уже ставшие стандартом [21]. Однако есть существенная разница между определением интеллекта вообще или человеческого интеллекта в частности и определением ИИ, что и подразумевает заголовок работы Вана. В этой главе я бы хотел обозначить фундаментальные различия между ИИ и естественным интеллектом [22].

Обычно ИИ разрабатывают специально для получения пользы создателями и пользователями, и в определение ИИ важно включить эту отличительную особенность. Ван лишь мельком упоминает в своей статье концепцию безопасности ИИ [12, 23–26] и не анализирует ни ее, ни другие смежные концепции. Но я считаю неполными, а значит, опасными определения ИИ, в которых не упоминается в явном виде безопасность или хотя бы ее составные части: управляемость, объяснимость [27], постижимость, предсказуемость [28] и возможность внесения поправок [29].

Разработка сильного ИИ предсказуемо приведет к сдвигу вектора развития человеческой цивилизации [30]. Чтобы получить выгоду, избежав подводных камней настолько мощной технологии, важно иметь возможность контролировать ее. Полный контроль над интеллектуальной системой [31] подразумевает возможность ограничить ее производительность [32] – например, установить ей потолок, эквивалентный определенному IQ. Дополнительные средства контроля могли бы отключать систему [33], включать и отключать ее сознание [34, 35], свободу воли, собственный выбор цели и задавать моральные принципы [36], которыми система должна руководствоваться в принятии решений. Также необходима возможность вносить поправки в систему после ее развертывания [1, 37] для устранения проблем, обнаруженных в ходе эксплуатации. Система ИИ должна быть способна объяснить свои решения понятным человеку языком, насколько это теоретически возможно. А разработчики и конечные пользователи должны иметь возможность в общих чертах прогнозировать ее поведение. При необходимости систему нужно ограничить определенной средой [38–40] или сократить доступные ей вычислительные ресурсы. Работа ИИ должна быть максимально непредвзятой и прозрачной, ИИ должен быть доброжелательным [41] и безопасным [2].

Соответственно, мы предлагаем следующее определение ИИ, дополняющее формулировку Вана: «Искусственный интеллект – это полностью контролируемый агент, система обработки информации которого обладает способностью адаптироваться к среде, работая в условиях недостаточных данных и ресурсов».

1.5. Управляемость ИИ

Чтобы в будущем ИИ приносил пользу всему человечеству, инициативы по управлению ИИ пытаются подчинить ИИ различным правительствам, международным организациям и транснациональным корпорациям мира, которые совместно разрабатывают нормативную базу и отраслевые стандарты. Поскольку пытаться непосредственно управлять ИИ бессмысленно, этот термин подразумевает управление исследователями и создателями ИИ – иными словами, им разрешают разрабатывать определенные продукты и услуги определенными способами. Возможность управлять учеными и инженерами, работающими над ИИ, зависит от сложности создания сильного ИИ.

Если окажется, что вычислительные ресурсы и сбор данных, необходимые для создания сильного ИИ, сравнимы по стоимости и объему человеческого капитала с «Манхэттенским проектом», в рамках которого США разработали атомную бомбу, правительства получат целый ряд способов, чтобы направлять исследователей и приспособить будущий ИИ под свои требования. С другой стороны, если выяснится, что первый сильный ИИ, или т. н. «исходный» ИИ, который может вырасти в полномасштабный сверхинтеллект, может создать подросток с тысячедолларовым ноутбуком у себя в гараже (вариант менее вероятный, но все же возможный), то попытки контроля со стороны государств могут оказаться тщетными. В реальности же мы видим, что известные из истории попытки регулировать сферу ПО (например спам, компьютерные вирусы, дипфейки) дали весьма ограниченный результат. Когда сильный ИИ обретет независимость, он может стать неконтролируемым, поскольку традиционные методы распределения ответственности, принуждения и санкций несостоятельны по отношению к ПО.

Но даже в том благоприятном случае, если дорогостоящее управление ИИ все же окажется возможным, останется ряд технических ограничений предсказуемости [17], объяснимости [16] и контролируемости ИИ [42]. Как следствие, управляемость ИИ, для которой требуются как минимум эти три параметра, тоже будет достижима лишь частично, а значит, ИИ, превосходящий интеллект человека, в некоторых важных аспектах выйдет за пределы нашего контроля. Уполномоченные лица при этом не захотят брать на себя ответственность за ошибки [43] или намеренные действия ИИ, даже если они были допущены или выполнены в установленных и регулируемых рамках – а значит, высокопроизводительный, изобретательный, неконтролируемый сильный ИИ сможет косвенно или даже напрямую контролировать некоторые организации и лица, которым будет доверено управлять интеллектуальным ПО.

1.6. Выводы

Можно обеспечить безопасность систем слабого ИИ (Narrow Artificial Intelligence, NAI), поскольку таким системам доступно лишь ограниченное число вариантов выбора, а значит, все неблагоприятные решения и грубые ошибки можно предусмотреть и принять меры. Но для сильного ИИ пространство возможных решений и ошибок бесконечно, т. е. независимо от числа устраненных уязвимостей в системе всегда останется бесконечное множество потенциальных проблем. И это бесконечное пространство возможностей нельзя ни полностью отладить, ни даже просто проверить на безопасность. То же справедливо для защиты интеллектуальных систем. У слабого ИИ площадь атаки конечна, а сильный ИИ дает злоумышленникам и хакерам безграничный простор для действий [44]. В смысле защиты это означает, что защитникам приходится оборонять бесконечный рубеж, а нападающим для преодоления защиты достаточно найти одну уязвимую точку. Кроме того, каждый новый патч для устранения ошибок защиты и каждый новый механизм защиты создают новые уязвимости – и так до бесконечности. На данный момент исследования безопасности ИИ – это фактически поиск новых видов сбоев и создание патчей для их устранения – по сути, фиксированный набор правил для бесконечного набора задач. Эта проблема носит фрактальный характер: в каком масштабе ее ни изучай, на каждом уровне возникает множество сложностей. Таким образом, проблема контроля ИИ обладает фрактальной невозможностью решения: она содержит нерешаемые подзадачи на всех уровнях абстракции и нерешаема в целом [45].

Следует помнить, что отсутствие контроля ИИ также означает, что злоумышленники не смогут полностью обратить ИИ себе на пользу. Крайне важно, чтобы любой способ разработки и внедрения ИИ предусматривал механизм отмены принятых решений, если они окажутся нежелательными. Но текущие подходы к разработке ИИ не используют этого средства защиты.

1.7. Об этой книге

Во вступительной главе мы закладываем фундамент для центральных тем, отраженных в названии книги, трех принципов невозможности ИИ: необъяснимости, непредсказуемости, неконтролируемости. Главная мысль заключается в том, что по мере своего развития ИИ становится все менее предсказуемым, его все труднее объяснить и контролировать. В каждой главе эти темы критически анализируются, автор углубляется в детали, выдвигая на передний план наиболее важные аспекты ИИ. Главы не связаны друг с другом, поэтому их можно читать в любом порядке или пропускать.

В последующих главах мы рассмотрим некоторые утверждения о непредсказуемости, необъяснимости и непостижимости ИИ, подразумевающие, что действия ИИ сложно спрогнозировать и что принципы, лежащие в основе его решений, остаются загадкой даже для его создателей. Еще одна сложная концепция – непроверяемость – подчеркивает трудности проверки доказательств, создаваемых ИИ, и тем самым бросает тень на его непогрешимость.

Как обсуждается в главе «Невозможность владения», сама суть владения ИИ конфликтует с традиционными представлениями об ответственности, что делает крайне затруднительным владение продвинутыми интеллектуальными системами. При этом концепция неконтролируемости ставит под сомнение нашу способность управлять возрастающей мощью искусственного интеллекта, особенно сильного ИИ.

В следующих главах описаны потенциальные угрозы ИИ и условия их проявления. В главе «Пути к опасному ИИ» рассматриваются потенциальные способы получить вредоносный ИИ. Глава «Сбои» экстраполирует потенциальные риски и беспрецедентные последствия сбоев ИИ. В каждой последующей главе приводятся дополнительные аргументы в пользу того, что по мере своего развития ИИ может в корне изменить общество, причем необязательно на пользу человеку.

Во второй половине книги подробно разбираются противоречивые вопросы правообъектности и сознания ИИ. Оцениваются последствия наделения ИИ юридическими правами, рассматриваются концепции возможности возникновения эгоистичных мемов и взлома правовой системы.

В главе «Персонализированные вселенные» изучается концепция согласования ценностей. В этой области много сложностей, но она предлагает пути оптимального согласования ИИ с индивидуальными человеческими ценностями.

Глава «Человек ≠ сильный ИИ» посвящена различиям между способностями сильного ИИ и человекоподобного ИИ. В ней утверждается, что человек, по сути, не обладает общим интеллектом.

В последней главе, «Скептицизм», изучаются отрицание и недооценка рисков, связанных с ИИ, проводятся параллели с другими формами научного скептицизма.

Читателя ждет увлекательный и иногда пугающий мир ИИ. Зная эти базовые концепции и понимая их следствия, человек сможет лучше подготовиться к будущему, которое будет создаваться под действием ИИ. Мы надеемся, что эта книга поможет читателю проникнуться сложностями и проблемами ИИ и осознать, что на пути к ИИ придется не только создавать интеллектуальные машины, но и разбираться в их сложных отношениях с человеком и обществом. В путь!

Использованные материалы

1. Yampolskiy R.V. Predicting future AI failures from historic examples. Foresight, 2019. 21(1): p. 138–152⁴.

2. Yampolskiy R.V. Artificial Intelligence Safety and Security. 2018: Chapman and Hall/CRC Press.

3. Cave S., Dihal K. Hopes and fears for intelligent machines in fiction and reality. Nature Machine Intelligence, 2019. 1(2): p. 74–78.

4. Avin S., et al. Filling gaps in trustworthy development of AI. Science, 2021. 374(6573): p. 1327–1329.

5. Beridze I., Butcher J. When seeing is no longer believing. Nature Machine Intelligence, 2019. 1(8): p. 332–334.

6. Tzachor A., et al. Artificial intelligence in a crisis needs ethics with urgency. Nature Machine Intelligence, 2020. 2(7): p. 365–366.

7. Cave S., OhEigeartaigh S. S. Bridging near-and long-term concerns about AI. Nature Machine Intelligence, 2019. 1(1): p. 5–6.

8. Theodorou A., Dignum V. Towards ethical and socio-legal governance in AI. Nature Machine Intelligence, 2020. 2(1): p. 10–12.

9. Nature Machine Intelligence, How to be responsible in AI publication. Nature Machine Intelligence, 2021. 3. https://www.nature.com/articles/s42256-021-00355-6 (дата обращения: 14.10.2024).

10. Crawford K. Time to regulate AI that interprets human emotions. Nature, 2021. 592(7853): p. 167–167.

11. Yampolskiy R. On controllability of artificial intelligence, in IJCAI-21 Workshop on Artificial Intelligence Safety (Al Safety 2021). 2020.

12. Bostrom N. Superintelligence: Paths, Dangers, Strategies. 2014: Oxford University Press⁵.

13. Pfleeger S., Cunningham R. Why measuring security is hard. IEEE Security & Privacy, 2010. 8(4): p. 46–54.

14. Howe W., Yampolskiy R. Impossibility of unambiguous communication as a source of failure in Al systems, in AISafety@ IJCAI. 2021.

15. Yampolskiy R.V. AGI control theory, in Artificial General Intelligence: 14th International Conference, AGI 2021, Palo Alto, CA, USA, October 15–18,2021, Proceedings 14. 2022. Springer.

16. Yampolskiy R.V. Unexplainability and incomprehensibility of AI. Journal of Artificial Intelligence and Consciousness, 2020. 7(2): p. 277–291⁶.

17. Yampolskiy R.V. Unpredictability of AI: On the impossibility of accurately predicting all actions of a smarter agent. Journal of Artificial Intelligence and Consciousness, 2020. 7(1): p. 109118⁷.

18. Yampolskiy R. V. What are the ultimate limits to computational techniques: Verifier theory and unverifiability. Physica Scripta, 2017. 92(9): p. 093001⁸.

19. Wang P. On defining artificial intelligence. Journal of Artificial General Intelligence, 2019. 10(2): p. 1–37.

20. Wang P. Non-Axiomatic Reasoning System: Exploring the Essence of Intelligence. 1995: Citeseer.

21. Legg S., Hutter M. Universal intelligence: A definition of machine intelligence. Minds and Machines, 2007. 17(4): p. 391–444.

22. Yampolskiy R.V. On the origin of synthetic life: Attribution of output to a particular algorithm. Physica Scripta, 2016. 92(1): p. 013002.

23. Yampolskiy R.V. Artificial intelligence safety engineering: Why machine ethics is a wrong approach, in Philosophy and Theory of Artificial Intelligence, V. C. Muller, Editor. 2013, Springer. p. 389–396.

24. Yampolskiy R.V., – Safety Engineering for Artificial General Intelligence. Topoi. Special Issue on Machine Ethics & the Ethics of Building Intelligent Machines, 2012.

25. Yudkowsky E. Complex value systems in friendly AI, in Artificial General Intelligence, J. Schmidhuber, K. Thorisson, and M. Looks, Editors. 2011, Springer. p. 388–393.

26. Yampolskiy R.V. Artificial Superintelligence: A Futuristic Approach. 2015: Chapman and Hall/CRC.

27. Yampolskiy, R.V., Unexplainability and Incomprehensibility of Artificial Intelligence. https://arxiv.org/abs/1907.03869 (дата обращения: 14.10.2024).

28. Yampolskiy R.V. Unpredictability of AI. arXiv preprint arXiv:1905.13053, 2019.

29. Soares N., et al. Corrigibility, in Workshops at the Twenty-Ninth AAAI Conference on Artificial Intelligence. 2015.

30. Baum S.D., et al. Long-term trajectories of human civilization. Foresight, 2019. 21(1): p. 53–83.

31. Yampolskiy R.V. The space of possible mind designs, in International Conference on Artificial General Intelligence. 2015. Springer.

32. Trazzi M., Yampolskiy R.V. Building safer AGI by introducing artificial stupidity. arXiv preprint arXiv:1808.03644, 2018.

33. Hadfield-Menell D., et al. The off-switch game, in Workshops at the Thirty-First AAAI Conference on Artificial Intelligence. 2017.

34. Elamrani A., Yampolskiy R.V. Reviewing tests for machine consciousness. Journal of Consciousness Studies, 2019. 26(5–6): p. 35–64.

35. Yampolskiy R.V. Artificial consciousness: An illusionary solution to the hard problem. Reti, Saperi, Linguaggi, 2018. (2): p. 287–318: https://www.rivisteweb.it/doi/10.12832/92302 (дата обращения: 14.10.2024)⁹.

36. Majot A.M., Yampolskiy R.V. AI safety engineering through introduction of self-reference into felidfic calculus via artificial pain and pleasure, in 2014 IEEE International Symposium on Ethics in Science, Technology and Engineering. 2014, IEEE.

37. Scott P.J., Yampolskiy R.V. Classification schemas for artificial intelligence failures. arXiv preprint arXiv:1907.07771, 2019.

38. Yampolskiy R.V. Leakproofing singularity-artificial intelligence confinement problem. Journal of Consciousness Studies JCS, 2012. 19(1–2): p. 194–214. https://www.ingentaconnect.com/contentone/imp/jcs/2012/00000019/f0020001/art00014 (дата обращения: 14.10.2024).

39. Armstrong S., Sandberg A., Bostrom N. Thinking inside the box: controlling and using an oracle AI. Minds and Machines, 2012. 22(4): p. 299–324.

40. Babcock J., Kramar J., Yampolskiy R. The AGI containment problem, in International Conference on Artificial General Intelligence. 2016. Springer.

41. Muehlhauser L., Bostrom N. Why we need friendly AI. Think, 2014. 13(36): p. 41–47.

42. Yampolskiy R.V. On controllability of AI. arXiv preprint arXiv:2008.04071, 2020.

43. Yampolskiy R.V. Predicting future AI failures from historic examples. Foresight, 2019. 21(1). https://www.emerald.com/insight/content/doi/10.1108/FS-04-2018-0034/full/html (дата обращения: 14.10.2024)¹⁰.

44. Buckner C. Understanding adversarial examples requires a theory of artefacts for deep learning. Nature Machine Intelligence, 2020. 2(12): p. 731–736.

45. Yampolskiy R.V. On the controllability of artificial intelligence: An analysis of limitations. Journal of Cyber Security and Mobility, 2022: p. 321–404. https://doi.org/10.13052/jcsm2245-1439.1132 (дата обращения: 14.10.2024)¹¹.

Глава 2
Непредсказуемость¹²

По мере обучения машины могут развить непредсказуемые стратегии такими темпами, которые недостижимы для их программистов.
Норберт Винер

Это проблема, с которой мы сталкиваемся каждый раз, когда думаем о создании интеллекта, превосходящего наш собственный.
Вернор Виндж

Творческая непредсказуемость интеллекта непохожа на хаотичную непредсказуемость генератора случайных чисел.
Элиезер Юдковский

2.1. Введение в проблему непредсказуемости

В последнее десятилетие с ростом возможностей ИИ немало ученых осознало, как важно не только создавать интеллектуальные системы, но и обеспечивать их безопасность [1–6]. К сожалению, безопасность ИИ – очень молодая сфера, и исследователи еще только определяют ее основные проблемы и ограничения. Принципы невозможности существуют во многих научных областях [7–13], а теперь и в сфере безопасности ИИ [14–16]. В этой главе мы сосредоточимся на малоизученной концепции непредсказуемости интеллектуальных систем [17], которая ограничивает наше понимание последствий разработки интеллектуальных систем и затрудняет решение задач проверки ПО, контроля интеллектуальных систем и безопасности ИИ в целом.

В теоретической информатике и разработке ПО в целом широко известен ряд утверждений о невозможности, и некоторые из них тесно связаны с предметом исследования главы. Например, согласно теореме Райса никаким эффективным вычислительным методом нельзя предсказать, проявит ли программа определенное нетривиальное поведение – например, выдаст ли она определенный результат [18]. Аналогично принцип вычислительной несводимости Вольфрама гласит, что выяснить сложное поведение программ можно, только запустив их [19]. И любая физическая система, которую можно представить как машину Тьюринга, поведет себя непредсказуемо [20, 21].

Принцип непредсказуемости ИИ – одно из многочисленных утверждений о невозможности в сфере безопасности ИИ. Используются также термины «непознаваемость» [22] и «когнитивная невместимость» [23], которые отражают нашу неспособность точно и последовательно предсказывать конкретные действия интеллектуальной машины – даже если нам известны конечные цели системы. Непредсказуемость связана с необъяснимостью и непостижимостью ИИ, но не совпадает с ними полностью. Она не означает, что невозможен статистический анализ с точностью выше случайной, но указывает на общее ограничение эффективности анализа, особенно ярко выраженное у передовых систем сильного ИИ (сверхинтеллекта) в новых областях.

На самом деле непредсказуемость таких сверхинтеллектуальных систем можно доказать. Приведем доказательство от противного. Предположим обратное – принцип непредсказуемости неверен и человек способен точно предсказать решения сверхинтеллекта. Это означает, что люди могут принимать такие же решения, что и сверхинтеллект, т. е. они настолько же умны, насколько умен сверхинтеллект. Это противоречит определению сверхинтеллекта как системы, превосходящей людей по интеллекту. Следовательно, наше первоначальное предположение ложно и принцип непредсказуемости верен.

Непредсказуемость можно формально измерить с помощью байесовой теории, по которой определяется разность между итоговыми и исходными представлениями агента, делающего предсказание [24–27]. «Непредсказуемость интеллекта неожиданна по-своему, необычным образом, нисколько не похожим на хаос или случайность. Существует удивительный баланс между непредсказуемостью действий и предсказуемостью результатов» [28]. Оценить величину неожиданности пропорционально разности в интеллекте между предсказателем и агентом, действия которого предсказываются, позволяет простейший эвристический алгоритм. Информацию об исследовании этой темы в доступной форме можно почерпнуть у Юдковского [29, 30].

Непредсказуемость можно наблюдать в действующих узкоспециализированных системах с производительностью выше человеческой. Разработчики известных интеллектуальных систем, победивших в играх – Deep Blue в шахматах [31, 32], IBM Watson в телевикторине «Jeopardy!»¹³ [33], AlphaZero в го [34, 35], – не знали, какие решения их ИИ будут принимать на каждом шаге. Они могли предсказать только то, что ИИ попытается выиграть всеми доступными средствами – и это происходило. То же справедливо и для разработчиков сильного искусственного интеллекта. Они могут знать конечные цели своих систем, но не пошаговые планы достижения этих целей, и это очень важно для безопасности ИИ [36–39]. С конкретными примерами неожиданных действий интеллектуальных агентов можно ознакомиться в двух обзорах по этой теме: в области эволюционных алгоритмов [40] и интеллектуальных агентов на слабом ИИ [41].

Любого состояния можно достичь бесконечным количеством способов. Подавляющее большинство этих способов неприемлемы и небезопасны, у многих из них есть отрицательные побочные эффекты. В более сложных задачах и в большинстве реальных случаев даже общая цель системы может быть неизвестна или известна лишь в абстрактной формулировке, такой как «сделать мир лучше». В некоторых случаях можно узнать конечную цель, но даже если мы научимся предсказывать общий результат с некой статистической значимостью, невозможно будет спрогнозировать все шаги превосходящего интеллекта на пути к цели. Более низкий интеллект не может точно предсказать все решения более высокого интеллекта. Эта концепция известна как принцип Винджа [42]. «Принцип Винджа подразумевает, что, когда один агент разрабатывает другой (или модифицирует собственный код), он должен утвердить схему другого агента, не зная в точности его дальнейших действий» [43].

2.2. Предсказуемость: что мы можем предвидеть. Обзор литературных источников

В свое время Вернор Виндж отметил в своей статье о технологической сингулярности [22], что сверхинтеллектуальные машины создадут непредсказуемое будущее. Автор говорит о горизонте прогнозирования непознаваемого (см. также тезис о горизонте событий [44]), за которым человек уже не может что-либо предсказать: «Пожалуй, первыми осознали практические последствия писатели-фантасты. Именно авторов твердой НФ¹⁴ интересует потенциальное воздействие технологий на людей. Но на пути к грядущему писатели все чаще останавливаются перед непрозрачной стеной. Когда-то они отодвигали фантазии об умных машинах на миллионы лет вперед, но теперь они видят, как их самые тщательные экстраполяции привели к непознаваемому…» [22]. Однако не все согласны с этим мнением [45]. В данном разделе приводятся примеры из литературных источников, которые утверждают, что свойства интеллектуальных систем вполне могут оказаться предсказуемыми.

Ник Бостром в своем отклике на работу Винджа под названием «Сингулярность и предсказуемость» говорит [46]: «Не уверен, что непредсказуемость сохранится… Думаю, мы можем достаточно достоверно предсказать даже кое-что, находящееся за пределами сингулярности. Например то, что сверхинтеллектуальная сущность, возникшая в сингулярности, запустит сферическую волну колонизации, которая распространится в пространстве со скоростью, близкой к скорости света… Другой пример: если существует несколько независимых конкурирующих агентов (хотя, подозреваю, их может и не быть), некоторые аспекты их поведения, возможно, окажутся предсказуемы в плане экономической целесообразности… Также может намного повыситься точность прогнозирования. Поскольку сверхинтеллект или постлюди, которые будут править миром после сингулярности, будут созданы нами – а возможно, и будут нами – на мой взгляд, мы имеем возможность повлиять на их ценности. Их ценности определят облик их мира, поскольку они будут способны за счет передовых технологий изменить мир в соответствии со своими ценностями и желаниями. Не исключено, что для предсказания событий после сингулярности достаточно определить ценности тех, кто создаст сверхинтеллект… И быть может, достаточно описать относительно небольшое число гипотез о том, каким будет мир после сингулярности. Каждая из гипотез должна соответствовать какой-либо несомненной ценности. Несомненные ценности – это ценности, которые с высокой долей вероятности разделят самые влиятельные люди к тому времени, когда будет создан первый сверхинтеллект. Каждая из этих ценностей определяет аттрактор – состояние мира, максимально полезное с точки зрения данной ценности. Затем мы можем предположить, что мир с большой вероятностью перейдет в один из таких аттракторов. В частности, можно ожидать, что в объеме колонизированного пространства материя постепенно (возможно, очень быстро) перестроится в структуры с максимальной ценностью, – т. е. вмещающие как можно больше определенной ценности» [46].

Аналогичные возражения мы встречаем у Майкла Нильсена [47]: «Что означает “непознаваемое”? Мне кажется, Виндж использует термин непознаваемого в значении “непредсказуемого”, поэтому правильный вопрос – должно ли будущее после пришествия доминирующего ИИ непременно стать непредсказуемым?.. Мне кажется нелепым считать, что мы неспособны сделать успешные прогнозы о мире доминирующего ИИ. Да, все изменится. Возможно, наши прогнозы окажутся не так правдоподобны, как раньше. Но я верю, что мы все еще можем делать обоснованные прогнозы на будущее. В крайнем случае, можно исключить некоторые варианты. Например, можно исключить то, чего не позволят законы физики. В отношении “непредсказуемости” будущего под властью ИИ часто звучит утверждение, что возможно будет все, что допускают законы физики» [47].

Авторы статей на платформе Arbital, обсуждая неопределенность Винджа, пишут: «Кроме того, наша способность размышлять о более умных агентах, чем мы сами, не ограничена знанием конкретной цели и предсказанием пути ее достижения. Если мы обнаружим огромную, виртуозно сконструированную инопланетную машину, мы сможем предположить, что инопланетяне превосходят человека по уровню интеллекта, даже если нам ничего не известно об их целях. Когда мы видим металлические трубы, мы можем предположить, что трубы – это устойчивая, оптимальная механическая конструкция, так сделанная из твердого металла, чтобы сохранять свою форму. Увидев сверхпроводящие кабели, мы можем предположить, что это способ эффективной передачи электричества из одного места в другое, даже не зная об их конечном предназначении. Это и есть инструментальная конвергенция¹⁵: если мы понимаем, что инопланетная машина эффективно получает и распределяет энергию, мы, вероятно, видим в ней разумно устроенный артефакт, служащий некой цели, хотя сама цель нам неизвестна» [31].

«Неопределенность Винджа – особое состояние познания, в котором мы рассматриваем достаточно интеллектуальные программы. В частности, мы в меньшей степени уверены в том, что сможем точно предсказать их действия, но в большей степени уверены в результате этих действий. (Обратите внимание – здесь нет утверждения, будто мы гносеологически беспомощны и ничего не можем знать о существах умнее нас.)» [31]. Юдковский с Херрешоффом еще раз подчеркивают: «Мы не можем точно предсказать действия более умного агента, но мы способны по его устройству предсказать последствия работы этого агента или выбрать одно из ряда возможных последствий путем отбора одной из возможных конструкций» [48].

Аргументы против непредсказуемости обычно делятся на два типа:

1) «Очевидная известность определенной области. Например, раз мы с высокой точностью изучили законы химии и знаем их истоки в молекулярной динамике, мы можем считать, что даже произвольный интеллектуальный агент не сумеет превратить свинец в золото с помощью химических реагентов, не обладающих радиоактивностью…

2) …Обратный логический вывод из парадокса Ферми¹⁶, который в некоторой степени свидетельствует об ограниченных возможностях даже самых мощных агентов, какие могут существовать в нашей вселенной. Например, стандартное моделирование физических процессов все еще может преподнести нам сюрпризы, но любое незапланированное путешествие на сверхсветовой скорости в ранее недоступную точку сильно затруднит объяснение парадокса Ферми» [49].

На более практическом примере предсказуемости Израэли и Голденфельд «…обнаружили, что вычислительно несводимые физические процессы можно прогнозировать и даже свести путем вычислений на грубом уровне описания. Полученные нами грубые данные [клеточные автоматы] эмулируют поведение исходных систем в целом, без учета мелких деталей» [50]. Дальнейшая работа над безопасностью ИИ будет в основном заключаться в том, чтобы определить, какие аспекты интеллектуальных машин можно прогнозировать и знать, даже если большая часть будущих состояний навсегда останется для нас непредсказуемой. В следующем разделе рассматриваются первые шаги на этом пути.

2.3. Когнитивная невместимость

Machine Intelligence Research Institute (MIRI), ведущая исследовательская организация в области безопасности ИИ, рассматривает непредсказуемость в рамках работы над безопасным самосовершенствованием агентов ИИ, обозначая ее как когнитивную невместимость. Этот термин означает, что человеческий разум неспособен представить все возможные решения и (или) стратегии передовых интеллектуальных систем. «Сильная когнитивная невместимость означает, что агенту известны некоторые факты, неизвестные нам, и он может использовать их для выработки стратегий, успешность которых мы не сможем предсказать заранее… Когда агент может достичь успеха, используя варианты, которые мы не можем ни представить себе, ни даже понять, даже заранее ознакомившись с ними, этот агент считается строго когнитивно невместимым…» [23]. «Если мы твердо уверены в способности самомодифицирующихся систем рассуждать о более умных агентах, представляется разумным выработать некую теоретическую основу для адекватного объяснения более умных агентов» [51]. Даже ИИ, уступающие человеку, могут быть непредсказуемыми для исследователей-людей. «Хотя непредсказуемость Винджа служит классической формой проявления невместимости, можно представить и другие варианты – например, ИИ, работающий в широкой области знаний, может осуществлять поиск в областях, малодоступных для людей, в целом оставаясь глупее и некомпетентнее человека. В этом случае стратегии ИИ все равно могут быть непредсказуемыми для нас, даже если в целом он менее эффективен или менее компетентен» [23].

«Аргументы в пользу сильной невместимости ссылаются на:

• Содержательность и частичную неизвестность определенной предметной области. Например, психология человека очень сложна, в ней много неизвестных связей, ранее обнаруженные уязвимости часто были совершенно неожиданными, следовательно, предметная область психологии человека должна обладать строгой невместимостью.

• Влияние взгляда извне на предшествующие способности, обусловленное когнитивными преимуществами. X век не может вместить XX век даже при том условии, что в обоих столетиях жил один биологический вид, homo sapiens. Почему мы решили, что именно наше поколение узнало истинные законы вселенной?» [49].

2.4. Выводы

Непредсказуемость – интуитивно понятная концепция. Как правило, мы можем прогнозировать результаты обычных физических процессов, не зная конкретного поведения отдельных атомов, – и точно так же мы можем предсказать общее поведение интеллектуальной системы, не зная отдельных промежуточных этапов. Рахван и Себриан отмечают, что «…сложные агенты ИИ часто проявляют внутреннюю непредсказуемость, демонстрируя неочевидное поведение, не поддающееся точному прогнозированию даже для собственных программистов. Такое поведение проявляется только через взаимодействие с миром и другими агентами вокруг… Фактически Алан Тьюринг с Алонсо Черчем доказали фундаментальную невозможность обеспечения определенных свойств алгоритма без запуска этого алгоритма. Существуют фундаментальные теоретические пределы нашей способности удостовериться в том, что определенный фрагмент кода всегда будет иметь нужные свойства, пока код не будет исполнен и человек не проследит его поведение» [52]. Более подробное исследование непредсказуемости и сопутствующих вопросов машинного поведения приведено у Рахвана и др. [53]

Другие ученые пришли к аналогичным выводам. «С учетом внутренней непредсказуемости ИИ не всегда целесообразно контролировать каждое действие бота» [54]. «По мере того, как компьютерные программы становятся все более умными и менее прозрачными, затрудняется прогнозирование неблагоприятных последствий, более того, сам процесс принятия решений программами тоже может стать непредсказуемым» [55]. «ИИ может стать настолько сложным, что погрязнет в ошибках и непредсказуемых последствиях, т. к. не сможет предугадать собственное поведение» [56]. «…поведение ИИ настолько усложнится, что станет непредсказуемым и потому потенциально опасным для человека» [57].

В контексте безопасности ИИ [58–61] и управления ИИ [62] непредсказуемость означает, что некоторые стандартные инструменты и механизмы защиты не смогут обеспечить безопасность использования развитых интеллектуальных систем. Например, Батхаи пишет о законодательном контроле: «…в силу непредсказуемости крайне маловероятно, что закон сможет поощрять или предотвращать некоторые последствия. Что хуже, слабость правовых структур позволит злоумышленникам с помощью алгоритмов перекладывать свои расходы на других без надежды на возмещение нанесенного ущерба» [55].

Напрашивается вывод, что непредсказуемость никогда не позволит нам получить полностью безопасный ИИ, но мы все равно стремимся повысить безопасность ИИ, потому что в какой-то мере можем давать прогнозы относительно разрабатываемых нами ИИ. Конечные цели агентов могут быть совершенно произвольными [63], но инструментальные цели [64] универсальны для всех достаточно интеллектуальных агентов. Дополнительный анализ показал, что все инструментальные цели можно свести к одному стимулу или метацели любых агентов – стать самым умным агентом, что в качестве побочного эффекта может породить сверхсознание [65], воздействие которого на поведение агента сделает его еще менее предсказуемым для нас.

Использованные материалы

1. Yampolskiy R.V. Artificial Intelligence Safety and Security. 2018: Chapman and Hall/CRC Press.

2. Callaghan V. et al. Technological Singularity. 2017: Springer.

3. Baum, S.D. et al. Long-term trajectories of human civilization. Foresight, 2019. 21(1): p. 53–83.

4. Duettmann A. et al. Artificial General Intelligence: Coordination & Great Powers.

5. Charisi V., et al. Towards moral autonomous systems. arXiv preprint arXiv: 1703.04741, 2017.

6. Brundage M., et al. The malicious use of artificial intelligence: Forecasting, prevention, and mitigation. arXiv preprint arXiv:1802.07228, 2018.

7. Fisher M., Lynch N., Peterson M. Impossibility of distributed consensus with one faulty process. Journal of ACM, 1985. 32(2): p. 374–382.

8. Grossman S.J., Stiglitz J.E. On the impossibility of informationally efficient markets. The American Economic Review, 1980. 70(3): p. 393–408.

9. Kleinberg J.M. An impossibility theorem for clustering, in Advances in Neural Information Processing Systems. 2003, MIT Press.

10. Strawson G. The impossibility of moral responsibility. Philosophical Studies, 1994. 75(1): p. 5–24.

11. Bazerman M.H., Morgan K.P., Loewenstein G.F. The impossibility of auditor independence. Sloan Management Review, 1997. 38: p. 89–94.

12. List C., Pettit P. Aggregating sets of judgments: An impossibility result. Economics & Philosophy, 2002. 18(1): p. 89–110.

13. Dufour J.-M. Some impossibility theorems in econometrics with applications to structural and dynamic models. Econometrica: Journal of the Econometric Society, 1997. 65: p. 1365–1387.

14. Yampolskiy R.V. What are the ultimate limits to computational techniques: Verifier theory and unverifiability. Physica Scripta, 2017. 92(9): p. 093001¹⁷.

15. Armstrong S., Mindermann S. Impossibility of deducing preferences and rationality from human policy. arXiv preprint arXiv:1712.05812, 2017.

16. Eckersley P. Impossibility and uncertainty theorems in AI value alignment (or why your AGI should not have a utility function). arXiv preprint arXiv:1901.00064, 2018.

17. Yampolskiy R.V. The space of possible mind designs, in International Conference on Artificial General Intelligence. 2015. Springer.

18. Rice H.G. Classes of recursively enumerable sets and their decision problems. Transactions of the American Mathematical Society, 1953. 74(2): p. 358–366.

19. Wolfram S. A New Kind of Science. Vol. 5. 2002: Wolfram Media Champaign.

20. Moore C. Unpredictability and undecidability in dynamical systems. Physical Review Letters, 1990. 64(20): p. 2354.

21. Moore C. Generalized shifts: Unpredictability and undecidability in dynamical systems. Nonlinearity, 1991. 4(2): p. 199.

22. Vinge V. Technological singularity, in VISION-21 Symposium Sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute. 1993.

23. Cognitive Uncontainability, in Arbital. https://arbital.com/p/uncontainability (дата обращения: 15.10.2024).

24. Itti L., Baldi P. A principled approach to detecting surprising events in video, in 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2005. IEEE.

25. Itti L., Baldi P.F. Bayesian surprise attracts human attention, in Advances in Neural Information Processing Systems. 2006, 49(10): pp. 1295–1306. MIT Press.

26. Storck J., Hochreiter S., Schmidhuber J. Reinforcement driven information acquisition in non-deterministic environments, in Proceedings of the International Conference on Artificial Neural Networks, Paris. 1995. Citeseer.

27. Schmidhuber J. Simple algorithmic theory of subjective beauty, novelty, surprise, interestingness, attention, curiosity, creativity, art, science, music, jokes. Journal of SICE, 2009. 48(1): p. 21–32.

28. Yudkowsky E. Expected Creative Surprises, in Less Wrong. https://www.lesswrong.com/posts/rEDpaTTEzhPLz4fHh/expected-creative-surprises (дата обращения: 15.10.2024).

29. Yudkowsky E. Belief in Intelligence, in Less Wrong. https://www.lesswrong.com/posts/HktFCy6dgsqJ9WPpX/belief-in-intelligence (дата обращения: 15.10.2024).

30. Yudkowsky E. Aiming at the Target, in Less Wrong. https://www.lesswrong.com/posts/CW6HDvodPpNe38Cry/aiming-at-the-target (дата обращения: 15.10.2024).

31. Vingean Uncertainty, in Arbital. https://arbital.com/p/Vingean_uncertainty (дата обращения: 15.10.2024).

32. Campbell M., Hoane Jr A.J., Hsu F.-H. Deep blue. Artificial Intelligence, 2002. 134(1–2): p. 57–83.

33. Ferrucci D.A. Introduction to “This is Watson”. IBM Journal of Research and Development, 2012. 56(3–4): p. 235–249.

34. Yudkowsky E. Eliezer Yudkowsky on AlphaGo’s Wins, in Future of Life Institute. https://futureoflife.org/2016/03/15/eliezer-yudkowsky-on-alphagos-wins (дата обращения: 15.10.2024).

35. Silver D., et al. A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. Science, 2018. 362(6419): p. 1140–1144.

36. Pistono F., Yampolskiy R.V. Unethical research: how to create a malevolent artificial intelligence. arXiv preprint arXiv:1605.02817, 2016.

37. Yampolskiy R.V. What to do with the singularity paradox? in Philosophy and Theory of Artificial Intelligence. 2013, Springer. p. 397–413.

38. Babcock J., Kramar J., Yampolskiy R. The AGI Containment Problem, in The Ninth Conference on Artificial General Intelligence (AGI2015). July 16–19, 2016. NYC, USA.

39. Majot A.M., Yampolskiy R.V. AI safety engineering through introduction of self-reference into felicific calculus via artificial pain and pleasure, in IEEE International Symposium on Ethics in Science, Technology and Engineering. May 23–24, 2014. Chicago, IL: IEEE.

40. Lehman J., Clune J., Misevic D. The surprising creativity of digital evolution, in Artificial Life Conference Proceedings. 2018. MIT Press.

41. Yampolskiy R.V. Predicting future AI failures from historic examples. Foresight, 2019. 21(1): p. 138–152¹⁸.

42. Vinge’s Principle, in Arbital. https://arbital.com/p/Vinge_principle (дата обращения: 15.10.2024).

43. Vingean Reflection, in Aribital. https://arbital.com/p/Vingean_reflection (дата обращения: 15.10.2024).

44. Cantlon J.F., Brannon E.M. Basic math in monkeys and college students. PLoS Biology, 2007. 5(12): p. e328.

45. Baum S., Barrett A., Yampolskiy R.V. Modeling and interpreting expert disagreement about artificial superintelligence. Informatica, 2017. 41(7): p. 419–428.

46. Bostrom N. Singularity and Predictability. http://mason.gmu.edu/~rhanson/vc.html (дата обращения: 15.10.2024).

47. Nielsen M. Comment by Michael Nielsen. http://mason.gmu.edu/~rhanson/vc.html (дата обращения: 15.10.2024).

48. Yudkowsky E., Herreshoff M. Tiling Agents for Self-modifying AI, and the Lobian Obstacle. MIRI Technical Report, 2013.

49. Strong Cognitive Uncontainability, in Arbital. https://arbital.com/p/strong_uncontainability (дата обращения: 15.10.2024).

50. Israeli N., Goldenfeld N. Computational irreducibility and the predictability of complex physical systems. Physical Review Letters, 2004. 92(7): p. 074105.

51. Fallenstein B., Soares N. Vingean Reflection: Reliable Reasoning for SelfImproving Agents. 2015: Citeseer.

52. Rahwan I., Cebrian M. Machine Behavior Needs to Be an Academic Discipline, in Nautilus. https://nautil.us/machine-behavior-needs-to-be-an-academic-discipline-237022 (дата обращения: 15.10.2024).

53. Rahwan I., et al. Machine behaviour. Nature, 2019. 568(7753): p. 477.

54. Mokhtarian E. The bot legal code: developing a legally compliant artificial intelligence. Vanderbilt Journal of Entertainment & Technology Law, 2018. 21: p. 145.

55. Bathaee Y. The artificial intelligence black box and the failure of intent and causation. Harvard Journal of Law & Technology, 2018. 31(2): p. 889.

56. Turchin A., Denkenberger D. Classification of global catastrophic risks connected with artificial intelligence. AI & Society, 2018. 35: p. 1–17.

57. De Garis H. The Artilect War. https://agi-conf.org/2008/artilectwar.pdf (дата обращения: 15.10.2024).

58. Babcock J., Kramar J., Yampolskiy R. V. Guidelines for artificial intelligence containment. arXiv preprint arXiv:1707.08476, 2017.

59. Trazzi M., Yampolskiy R. V. Building safer AGI by introducing artificial stupidity. arXiv preprint arXiv:1808.03644, 2018.

60. Behzadan V., Munir A., Yampolskiy R. V. A psychopathological approach to safety engineering in AI and AGI, in International Conference on Computer Safety, Reliability, and Security. 2018. Springer.

61. Ozlati S., Yampolskiy R. The formalization of AI risk management and safety standards, in Workshops at the Thirty-First AAAI Conference on Artificial Intelligence. 2017.

62. Ramamoorthy A., Yampolskiy R. Beyond mad? The race for artificial general intelligence. ITU J, 2018. 1: p. 1–8.

63. Bostrom N. The superintelligent will: motivation and instrumental rationality in advanced artificial agents. Minds and Machines, 2012. 22(2): p. 71–85.

64. Omohundro S.M. The Basic AI Drives, in AGI. 2008.

65. Yampolskiy R.V. Artificial consciousness: An illusionary solution to the Hard problem. Reti, Saperi, Linguaggi, 2018. (2): p. 287–318¹⁹.

Глава 3
Необъяснимость и непостижимость²⁰

Если бы лев умел говорить, мы бы его не поняли.
Людвиг Витгенштейн

Можно было бы описать все научно, но это не имело бы смысла; это было бы лишено смысла, как если бы вы описали симфонию Бетховена как изменение волнового давления.
Альберт Эйнштейн

Объяснять что-либо в этой жизни вообще очень трудно… Не важно, на каком языке… Особенно если объясняешь не другим, а самому себе. Очень важно не перестараться, иначе где-нибудь обязательно вылезет ложь.
Харуки Мураками

Я понимаю, что вы не понимаете.
Григорий Перельман

Если вы не можете объяснить это просто – значит, вы сами не понимаете этого до конца.
Альберт Эйнштейн

Если бы человеческий мозг был так прост, что мы могли бы его понять, мы были бы так просты, что не смогли бы его понять.
Эмерсон М. Пью

3.1. Введение

На протяжении десятилетий ИИ-проекты опирались на человеческий опыт специалистов в области инженерии знаний. Не было проблем ни с проектированием, ни с пониманием ИИ. Например, экспертные системы, которые часто создавались на основе дерева принятия решений, были идеальными моделями человеческого выбора, совершенно понятными и разработчикам, и конечным пользователям. В последнее десятилетие, когда с развитием систем машинного обучения на основе глубоких нейронных сетей (Deep Neural Network, DNN) доминирующая методология ИИ коренным образом менялась, простотой для понимания пришлось пожертвовать. Сегодняшние системы представляют собой «черные ящики» (это не то же самое, что «AI-boxing»: «ИИ в изолированной программной среде» [1, 2]), недоступные для понимания человеком, но исключительно производительные в отношении как результатов, так и обучения на новых предметных областях. Пока существуют большие данные и большие вычисления, для получения сверхчеловеческой производительности [3] не требуется человеческих знаний [4]. Благодаря новым возможностям ИИ на основе DNN такие системы применяются в принятии решений в отделах кадров [5], приемных комиссиях [6], управлении инвестициями [7], знакомствах [8], обеспечении разнообразия [9], безопасности [10, 11], рекомендательных системах [12], банковской сфере [13] и многих других важных предметных областях. Поскольку многие из таких предметных областей регулируются законодательством, очень желательно, а зачастую и обязательно [14, 15], чтобы они были способны объяснить, как они пришли к выбранному решению и доказать свою беспристрастность [16]. Еще важнее то, что для создания безопасных и защищенных систем искусственного интеллекта [17] необходимо понимать, что они делают и почему. Особый интерес для безопасности ИИ [18–25] представляет прогнозирование сбоев ИИ и объяснение их причин [26].

В настоящее время очень много исследований [27–41] посвящено разработке объяснимого ИИ. В следующем разделе рассматриваются основные результаты и общие тенденции по данной теме.

3.2. Обзор литературных источников

Объяснимому искусственному интеллекту (eXplainable Artificial Intelligence, XAI) посвящены сотни работ [42]. По словам представителей Управления перспективных исследовательских проектов Министерства обороны США (DARPA) [27], XAI должен «создавать более объяснимые модели, сохраняя высокий уровень эффективности обучения… чтобы пользователи-люди могли понимать ИИ, доверять ему и эффективно работать в партнерстве с ИИ нового поколения». В задачи данной главы не входит подробный анализ литературных источников, посвященных объяснимости и постижимости, но читателям рекомендуется ознакомиться с соответствующими обзорами [43–45]. Миллер [46] полагает, что общественные науки могли бы помочь разобраться в человеческом механизме объяснения, чтобы передать это знание XAI – но люди часто сами не понимают или не могут объяснить те или иные вещи. Например, многие люди неспособны объяснить, как они распознают лица, а ведь мы часто ставим такую задачу перед компьютерами [47, 48].

Несмотря на изобилие публикаций по XAI и смежным концепциям [49–51], тема необъяснимости или непостижимости ИИ затрагивается лишь косвенно. Иногда ограничения объяснимости обсуждаются в следующем ключе: «Алгоритмы машинного обучения (МО) по своей природе предусматривают высокую степень связности между входными признаками, из-за чего сложно вычленить такие функции в понятную для человека форму… Если одиночную линейную трансформацию можно интерпретировать по весовым коэффициентам входных признаков для каждого выходного класса, то для нескольких слоев с нелинейными взаимосвязями в каждом слое придется извлекать сверхсложную иерархическую структуру, а это нелегкая задача, необходимость решения которой неочевидна [52]… Как уже отмечалось, с учетом сложной структуры моделей МО сложные алгоритмы МО могут создавать множество точных моделей для одного и того же набора входных переменных и задач прогнозирования за счет сходных, но не идентичных внутренних методов решения в сети, поэтому в разных точных моделях подробности объяснения тоже могут различаться. Подобная системная нестабильность делает автоматически генерируемые объяснения сложными для восприятия» [42].

Сатклифф и др. говорят о непостижимых теоремах [53]: «Доступность для восприятия соответствует усилию, которое должен сделать человек для того, чтобы понять теорему. Теоремы из множества частей или со сложной структурой можно считать трудными для восприятия». Магглтон и др. [54] предлагают «использовать длительность ознакомления как приблизительный показатель непонимания, т. е. людям потребуется много времени… если программа трудна для восприятия. Время ознакомления как приблизительный показатель измерить легче, чем понимание».

Компромисс между объяснимостью и постижимостью признают [52], но не доводят до логического вывода. «Как правило, точность требует более сложных методов прогнозирования, [но] из простых интерпретируемых функций получаются не самые точные средства прогнозирования» [55]. «И действительно, одни алгоритмы поддаются интерпретации лучше других, и зачастую нужен компромисс между точностью и возможностью интерпретации: самые точные ИИ/МО-модели (глубокие нейросети, градиентный бустинг деревьев решений, случайный лес, метод опорных векторов и т. д.) обычно не очень хорошо поддаются объяснению, а самые понятные модели (линейная или логистическая регрессия) обычно менее точны» [42].

Непостижимость подтверждается широко известными утверждениями о невозможности. Чарлсворт доказал свою теорему постижимости, пытаясь сформулировать ответ на такие вопросы, как: «Если могут существовать программные средства с полноценным искусственным интеллектом уровня человека, поймут ли их люди?» [56] Описывая следствия своей теоремы применительно к ИИ, он отмечал [57]: «Теорема постижимости представляет собой первую математическую теорему, из которой следует невозможность любого агента ИИ или естественного агента – в т. ч. человека, который может заблуждаться, – выполнять строгую дедуктивную интерпретацию проблемы самопостижимости… Самопостижимость в каком-то представлении может быть залогом некоего подобия самокритики, полезной для саморазвития, которое может дать определенным агентам возможность чаще побеждать». Резонно сделать вывод, что система, которая себя не понимает, не сможет себя объяснить.

Эрнандес-Оральо и др. вводят понятие k-непостижимости (также известное как k-сложность) [58]. «С формальной точки зрения, это аналог нашего понятия хороших объяснений, которые сложно усвоить. Как мы понимаем, k-непостижимая строка с высоким значением k (сложная для понимания) сложнее, чем k-сжимаемая строка (сложная для усвоения) [59] и отличается от классической вычислительной сложности (приводящей к низкой скорости вычислений). Определение значения k для конкретной строки невозможно. К счастью, обратное выражение, т. е. является ли строка k-постижимой при произвольном k, поддается вычислению… Колмогоровская сложность измеряет количество информации, а не сложность ее восприятия» [58].

В своей работе, посвященной пространству возможных разумов, Ямпольский рассматривает пределы понимания других агентов [60]: «Модель каждого разума соответствует некому целому числу и, следовательно, является конечной, но, поскольку количество разумов является бесконечной величиной, определенная их часть имеет гораздо больше состояний, чем остальные. Данное свойство справедливо для всех разумов. Следовательно, поскольку человеческий разум имеет конечное число возможных состояний, есть разумы, которые человеческий разум никогда не сможет понять до конца, т. к. подобные модели разумов имеют гораздо большее число состояний, что делает их понимание невозможным. Это можно продемонстрировать на примере принципа Дирихле». Хиббард подчеркивает влияние непостижимости ИИ на безопасность: «С учетом непостижимости их мыслей мы не сможем разобраться в последствиях конфликтов между их и нашими интересами».

Постепенно мы начинаем понимать, что по мере увеличения мощности ИИ его модели успешного поведения будут нам все менее понятны [61]: «…при глубоком обучении результаты получают на основе множества переменных со множеством условий и преобразованиями во множестве слоев нейросетей, так что человек просто неспособен понять модель, построенную компьютером… Компьютеры явно превзошли нас по способности находить различия и закономерности и делать выводы. Это одна из причин, почему люди пользуются компьютерами. Можно не упрощать явления под относительно простую модель, пусть компьютер создает модели любого нужного ему размера. Но это также означает, что мы будем знать лишь то, что нам выдадут машины, действия которых мы не можем отследить, объяснить или понять… Некоторые новые модели недоступны для понимания. Они могут существовать только в виде весовых коэффициентов бесчисленных цифровых триггеров, соединенных в сеть, от которых последовательно распространяются слои связанных взвешенных триггеров, представляющих огромное число переменных, влияющих друг на друга так, что мы не в состоянии вывести для них какие-либо общие принципы».

«Сегодня машины показали нам, что даже при простых, элегантных, красивых и благоразумных правилах область, которую они регулируют, настолько детализирована, сложна и взаимосвязана, что все влияет на все сразу – и бесповоротно, и что человеческий мозг и знания даже на миллиметр не приблизились к ее пониманию… Мы стали полагаться на непрозрачные модели для обоснования наших взглядов, и это ставит нас в несколько странное положение. Знание подразумевает обоснование взглядов, и в данном случае обоснование состоит из моделей, загруженных в машины и непостижимых для человеческого разума… Но МО дает надежду, что однажды непрозрачные машинные модели станут намного более предсказуемыми, чем те, что созданы вручную и понятны человеку. В этом случае наше знание – если мы воспользуемся им – будет зависеть от обоснований, которые мы просто не понимаем… Скорее всего, мы и дальше будем полагаться на обоснования, которые даже не можем понять. И дело не только в том, что мы неспособны понять их, как человек с улицы не поймет ход мыслей специалиста по теории струн. Просто сама природа компьютерных суждений абсолютна несхожа с человеческими суждениями. Это чуждая нам логика» [61].

3.3. Необъяснимость

Широко известен ряд утверждений о невозможности во многих областях исследований [62–70]. Новые утверждения появляются в сфере исследований ИИ – например, это утверждения о непроверяемости [71], непредсказуемости²¹ [72], ограничении предпочтительных выводов [73] и согласовании ценностей [74]. В этом разделе рассматривается понятие необъяснимости ИИ и демонстрируется, что некоторые решения систем сверхинтеллекта в принципе не могут быть объяснены. Рассмотрим самый интересный пример, в котором сверхразумный ИИ действует в новых и неограниченных областях. Простые примеры слабых ИИ, принимающих решения в ограниченных областях (например игра в крестики-нолики), и объяснимы, и понятны. Соответственно, можно получить целый спектр ИИ от совершенно объяснимых и постижимых до совершенно необъяснимых и непостижимых. Необъяснимость здесь означает невозможность дать совершенно точное и одновременно совершенно понятное объяснение определенных решений интеллектуальной системы.

Глубокие искусственные нейросети становятся все больше, иногда они состоят из миллионов нейронов, тысяч слоев и миллиардов весов соединений, приближаясь к размеру человеческого мозга, а может, даже превосходя его. Сети обучаются на больших данных, из которых они получают миллионы векторов признаков для принятия решений, где каждый признак влияет на решение пропорционально набору весов. Чтобы объяснить решение, основанное буквально на миллиардах факторов, ИИ должен либо упростить объяснение и тем самым сделать его менее точным, конкретным, детализированным, либо привести его в точности – но такое объяснение ничего не прояснит из-за своей семантической сложности, огромного размера и абстрактного представления данных. Точное представление станет просто копией обученной модели DNN.

Например, ИИ, используемый в ипотечном кредитовании, рассматривает заявку, чтобы определить кредитоспособность человека и одобрить кредит. Предположим для простоты, что система рассматривает только сто дескрипторов заявителя и с помощью нейросети выносит положительное решение о кредите на основе двух признаков. От объяснения, включающего в себя все сотни признаков и весов нейросети, мало пользы, поэтому система выбирает один из двух самых важных признаков и объясняет свое решение лишь по отношению к ним, отбросив остальные. Такое упрощенное объяснение не будет точным, потому что остальные 98 признаков тоже повлияли на решение, и решение, принятое лишь по одному или двум самым важным признакам, было бы другим. Примерно так работает метод главных компонент для снижения размерности [75].

Даже если агентом, требующим объяснения, будет не человек, а другой ИИ, проблема сохранится, потому что объяснение останется либо неточным, либо предназначенным только для кодирующего агента. Обученную модель можно скопировать в другую нейросеть, но трудности с объяснением решений останутся. Сверхинтеллектуальные системы, не использующие DNN, столкнутся с аналогичными проблемами, т. к. их решения будут сравнимы по сложности с решениями систем с нейросетями и они не смогут дать полезное и точное объяснение. Проблема сохраняется и в случае рекурсивного анализа, когда система может не понимать, как она приходит к определенному решению.

Любое решение ИИ – это функция от входных данных, целиком зависящая от кода или модели ИИ, эффективное объяснение должно быть проще, чем полное представление модели, но при этом оно должно дать всю информацию, важную для принятия решения. Эту задачу объяснения можно свести к задаче сжатия без потерь [76]. Любое возможное решение, принятое на основе данных и модели, можно представить как целое число, обозначающее комбинацию этих данных и модели. Доказано, что нельзя без потерь сжать все последовательности размером ≥N бит для любого заданного целого числа N≥0 [77]. «Принцип Дирихле запрещает взаимно-однозначное соответствие между набором последовательностей длиной N и любой частью набора последовательностей длиной N-1. Поэтому невозможно получить алгоритм сжатия любых возможных входных последовательностей без потерь»²². Чтобы решить эту проблему, ИИ может попытаться получить достоверно объяснимые или «сжимаемые» решения, но тогда решения будут неоптимальны с точки зрения поставленной задачи, понизится эффективность и могут возникнуть проблемы с безопасностью, что крайне нежелательно.

В целом нет ничего удивительного в том, что искусственным нейросетям сложно объяснять свои решения, потому что они созданы по образу естественных нейросетей человека, а человек – это тоже «черный ящик», как показывает ряд экспериментов с «разделением двух полушарий головного мозга» [78]. Эти эксперименты часто демонстрировали, что люди придумывают обоснования своих решений уже после их принятия. Мы рационализируем свои решения постфактум даже для себя и осознаем выбранное решение или путь к нему лишь после того, как примем решение подсознательно [79]. Хорошо известно, насколько трудно объяснить, например, как мы узнаем человека в толпе или почему чувствуем симпатию к определенному человеку. Такие ограничения биологических агентов подтверждают, что необъяснимость – универсальный принцип, затрагивающий любой достаточно сложный интеллект.

3.4. Непостижимость

Концепцию необъяснимости дополняет непостижимость ИИ. Мы определяем непостижимость как невозможность человека полностью понять любое абсолютно точное объяснение определенных решений ИИ или сверхинтеллекта.

Системы искусственного интеллекта предназначены для поиска лучших решений в своей области применения. От эффективных, высокоинтеллектуальных систем мы ждем решений, оптимальных с точки зрения доступной информации и вычислительных ресурсов. В идеале объяснение решения – это доказательство правильности решения (например, система сверхинтеллекта для игры в шахматы может объяснить, зачем она пожертвовала ферзем, показав, что этот шаг позволит объявить мат через 12 ходов, а фактической победой была бы подтверждена правильность такого решения). Так как решения и их доказательства могут быть сколь угодно сложными, к ним применимы такие же утверждения о невозможности, как и к математическим доказательствам. Например, объяснение может быть слишком длинным для рассмотрения [80, 81] (необозримость), непроверяемым [71] или слишком сложным для понимания [82] и потому непостижимым для пользователя. Любой ИИ, в т. ч. нейросеть – «черный ящик», в принципе можно преобразовать в большое дерево принятия решений из одних только операторов «если». Это сделает ИИ удобочитаемым для человека, но не сделает его понятным человеку.

Считается, что для того, чтобы понять определенную информацию, нужно обладать соответствующими когнитивными способностями. Поэтому абитуриенты сдают типовые экзамены (SAT, ACT, GRE, MCAT, LCAT и т. п.) и должны получить определенные баллы, чтобы пройти конкурсный отбор на определенную учебную программу. Похожие тесты сдают те, кто хочет пойти в вооруженные силы или на государственную службу. Все подобные экзамены косвенно измеряют IQ человека [83, 84], но значительно различаются по степени корреляции с оценками стандартных тестов на IQ, которые оценивают так называемый фактор общего интеллекта. Чем сложнее учебная программа (даже в одном и том же университете), тем более высокая когнитивная способность требуется от студентов. Например, средняя количественная оценка GRE (экзамен на последипломные программы обучения) для соискателей, которые идут на математические специальности, составляет 163, а на исторические – 148 баллов²³. Для оценок за устные ответы соотношение может быть противоположным.

Часто требуется объяснить какие-либо понятия людям другого уровня умственного развития [85], например детям или людям с ограниченными умственными способностями. В таких случаях можно дать либо сильно упрощенное объяснение, либо простое объяснение, не имеющее отношения к предмету, т. е. солгать. У нас есть целый набор типовых «объяснений» для конкретных ситуаций. Например, если пятилетний ребенок спросит, откуда берутся дети, то вместо лекции о ДНК, оплодотворении и матке он услышит что-то вроде «семя от папы и яйцо от мамы соединились у мамы в животе»²⁴. Ребенку помладше расскажут об аисте или о покупке младенцев в магазине. Также можно дать совершенно формальный ответ, чтобы запутать ребенка, который не сможет понять слишком сложное объяснение. В целом полезность объяснения зависит от того, кому оно предназначено. Одно и то же объяснение поймет один и не поймет другой.

Различие между сверхинтеллектом и взрослым человеком значительно больше, из-за этого коммуникативный барьер непреодолим. Скорее ученый объяснит квантовую физику слабоумному глухонемому, чем сверхинтеллект объяснит какие-либо свои решения умнейшему из умнейших – нам просто не хватит ума понять некоторые концепции. Ямпольский предлагает [82] измерять сложность на основе минимального интеллекта, необходимого для того, чтобы понять или придумать определенный алгоритм. Для понимания особого интеллекта не требуется, но для разработки требуется более высокий уровень IQ, чем у умного человека. На самом деле может быть очень трудно объяснять сложные концепции агенту с интеллектом даже чуть более низкого уровня.

Мы можем прогнозировать некий барьер сложности для человеческого понимания какой-либо концепции, требующей относительного IQ выше 250 – такого уровня не достигал еще ни один человек. На практике барьер может оказаться намного ниже, потому что среднее значение IQ всего 100, а дополнительные осложнения в виде ограничений памяти и концентрации внимания не позволят человеку понять даже относительно простые концепции. Перефразируя Витгенштейна, мы можем сказать: «Если бы сверхинтеллект мог объяснять свои действия, мы бы его не поняли».

С учетом известных исследований обмана со стороны ИИ [86] продвинутому ИИ будет несложно создать ложь, правдоподобную для пользователей-людей. Давая объяснение, ИИ может воспользоваться своим знанием поведения [87, 88] и модели мышления человека [89, 90] и манипулировать пользователями, а не просто убеждать их, что объяснение правильное [91]. ИИ сможет адаптировать объяснения под умственные способности определенных людей и, вероятно, пользоваться их природной ограниченностью. Здесь возникает серьезная угроза безопасности, и очень странно видеть предложения проверять на пользователях-людях способность ИИ давать альтернативные (противоречивые) объяснения [92].

Хорошо известны утверждения о невозможности для разных элементов иерархии Хомского [93]: конечные автоматы не могут распознавать контекстно-свободные языки, автоматы с магазинной памятью не распознают контекстно-зависимые языки, а линейно-ограниченные недетерминированные машины Тьюринга не распознают рекурсивно перечислимые языки. Иными словами, более простые машины не справляются с языками, доступными более сложным машинам.

Хотя людей часто приравнивают к машинам Тьюринга с бесконечной памятью по тезису Черча-Тьюринга [94], Блум и др. формально относят человеческие вычисления к гораздо более ограниченному классу [95]. Однако машина Тьюринга – не предел теоретических возможностей вычисления, описанных в разных моделях гипервычислений [96]. Даже если сверхинтеллект не достигнет мощности гипервычислений, во всех практических применениях и по сравнению с человеческими вычислительными способностями он будет недоступен для понимания агентами уровня человека.

Сверхинтеллект можно будет отнести к другому типу вычислений, который на практике намного превосходит человека. Очевидно, что у сверхинтеллектуальных машин не будет бесконечной памяти или скорости, но именно такое впечатление они будут производить на людей, не пользующихся дополнительным инструментарием. Например, людям, способным удержать в краткосрочной памяти лишь семь элементов, покажется, что машина, запоминающая триллион элементов, обладает бесконечной памятью. В теории сложности алгоритмов некоторые алгоритмы становятся самыми эффективными для решения определенных задач на непрактично больших, но все же конечных объемах входных данных [97]. И как конечные автоматы не могут распознавать рекурсивно перечислимые языки, так люди на практике не смогут понимать некоторые объяснения, полученные от сверхинтеллектуальных систем. Это просто автоматы разных классов – хотя теоретически, имея в своем распоряжении бесконечное время, они относились бы к одному классу.

Также решения ИИ можно перенести в пространство математических гипотез о натуральных числах. Объяснение, почему та или иная математическая гипотеза истинна или ложна, считается эквивалентом ее доказательства. Но по первой теореме Геделя о неполноте нам известно, что некоторые истинные утверждения недоказуемы. Если принять решения за гипотезы, а объяснения за доказательства, получится, что некоторые решения ИИ принципиально необъяснимы или непостижимы. Объяснения как доказательства подвержены всем остальным ограничениям доказательств, включая необозримость, непроверяемость и неопределимость [98, 99]. Наконец, следует отметить, что мы не утверждаем, будто такое приведение решений к гипотезам сохранит семантику предмета, но в некоторых случаях это полезный инструмент для демонстрации невозможности объясняемости или постижения.

3.5. Выводы

Описанные в этой главе вопросы можно представить как проблему коммуникации между ИИ, кодирующим и отправляющим информацию (отправителем), и человеком, получающим и декодирующим информацию (получателем). Эффективное кодирование и декодирование сложной символьной информации, согласно теории информации Шеннона [100], – достаточно трудный процесс, но, учитывая объяснимость и постижимость ИИ, нам также следует задуматься о сложности семантической коммуникации [101]. Объяснимость и постижимость – еще одна сопряженная пара [71, 102] в области безопасности ИИ. Чем точнее объяснение, тем менее оно понятно, и наоборот, чем оно понятнее, тем менее точно. Нетривиальное объяснение не может быть одновременно точным и понятным, но может быть неточным и понятным. Есть большая разница полным и почти полным пониманием предмета. Непостижимость распространяется на многие предметные области, включая науку, общественные взаимоотношения и т. д., в зависимости от умственных способностей участников.

Способности человека имеют предел. Кратковременная память человека в среднем вмещает около семи ячеек, в то время как ИИ может запоминать миллиарды элементов. Мощность ИИ растет экспоненциально, хотя никогда не достигнет бесконечности в математическом смысле, но по сравнению с нашими способностями возможности машин можно считать бесконечными – это справедливо для памяти, скорости вычислений и обмена данными. И потому знаменитое латинское изречение finitum non capax infiniti (конечное не может вместить бесконечное) прекрасно объясняет непостижимость богоподобного [103] сверхразумного ИИ.

Принципы невозможности представляют ряд проблем для безопасности ИИ. Оценка и отладка интеллектуальных систем становится сложнее, если их решения необъяснимы или непостижимы. В частности, при сбоях ИИ нужны точные объяснения [104], чтобы понять проблему и снизить вероятность ошибок в будущем.

Если мы имеем дело с «черным ящиком», невозможно установить причины сбоя и повысить безопасность системы. Кроме того, если мы привыкнем принимать ответы ИИ без объяснений, как от прорицателя, мы не поймем, когда ИИ начнет давать неправильные или манипулятивные ответы.

Использованные материалы

1. Yampolskiy R.V. Leakproofing singularity-artificial intelligence confinement problem. Journal of Consciousness Studies JCS, 2012. 19(1–2): p. 194–214.

2. Armstrong S., Yampolskiy R.V. Security solutions for intelligent and complex systems, in Security Solutions for Hyperconnectivity and the Internet of Things. 2017, IGI Global. p. 37–88.

3. Bostrom N. Superintelligence: Paths, Dangers, Strategies. 2014: Oxford University Press²⁵.

4. Silver D., et al. Mastering the game of go without human knowledge. Nature, 2017. 550(7676): p. 354.

5. Strohmeier S., Piazza F. Artificial intelligence techniques in human resource management-A conceptual exploration, in Intelligent Techniques in Engineering Management. 2015, Springer. p. 149–172.

6. Walczak S., Sincich T. A comparative analysis of regression and neural networks for university admissions. Information Sciences, 1999. 119(1–2): p. 1–20.

7. Trippi R.R., Turban E. Neural Networks in Finance and Investing: Using Artificial Intelligence to Improve Real World Performance. 1992: McGraw-Hill, Inc.

8. Joel S., Eastwick P. W., Finkel E. J. Is romantic desire predictable? Machine learning applied to initial romantic attraction. Psychological Science, 2017. 28(10): p.1478–1489.

9. Chekanov K., et al. Evaluating race and sex diversity in the world’s largest companies using deep neural networks. arXiv preprint arXiv:1707.02353, 2017.

10. Novikov D., Yampolskiy R. V., Reznik L. Artificial intelligence approaches for intrusion detection, in 2006 IEEE Long Island Systems, Applications and Technology Conference. 2006. IEEE.

11. Novikov D., Yampolskiy R. V., Reznik L. Anomaly detection based intrusion detection, in Third International Conference on Information Technology: New Generations (ITNG’06). 2006. IEEE.

12. Wang H., Wang N., Yeung D.-Y. Collaborative deep learning for recommender systems, in Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2015. ACM.

13. Galindo J., Tamayo P. Credit risk assessment using statistical and machine learning: Basic methodology and risk modeling applications. Computational Economics, 2000. 15(1–2): p. 107–143.

14. Goodman B., Flaxman S. European Union regulations on algorithmic decision-making and a “right to explanation”. AI Magazine, 2017. 38(3): p. 50–57.

15. Doshi-Velez F., et al. Accountability of AI under the law: The role of explanation. arXiv preprint arXiv:1711.01134, 2017.

16. Osoba O.A., Welser IV W. An Intelligence in Our Image: The Risks of Bias and Errors in Artificial Intelligence. 2017: Rand Corporation.

17. Yampolskiy R.V. Artificial Intelligence Safety and Security. 2018: Chapman and Hall/CRC.

18. Yampolskiy R.V. Artificial Superintelligence: A Futuristic Approach. 2015: Chapman and Hall/CRC.

19. Yampolskiy R.V. What to do with the singularity paradox? in Philosophy and Theory of Artificial Intelligence. 2013, Springer. p. 397–413.

20. Pistono F., Yampolskiy R. V. Unethical research: How to create a malevolent artificial intelligence. arXiv preprint arXiv:1605.02817, 2016.

21. Umbrello S. Yampolskiy R. Designing AI for Explainability and Verifiability: A Value Sensitive Design Approach to Avoid Artificial Stupidity in Autonomous Vehicles. https://doi.org/10.1007/s12369-021-00790-w (дата обращения: 16.10.2024).

22. Trazzi M., Yampolskiy R. V. Building safer AGI by introducing artificial stupidity. arXiv preprint arXiv:1808.03644, 2018.

23. Yampolskiy R.V. Personal universes: A solution to the multi-agent value alignment problem. arXiv preprint arXiv:1901.01851, 2019.

24. Behzadan V., Yampolskiy R. V., Munir A. Emergence of addictive behaviors in reinforcement learning agents. arXiv preprint arXiv:1811.05590, 2018.

25. Behzadan V., A psychopathological approach to safety engineering in AI and AGI, in International Conference on Computer Safety, Reliability, and Security. 2018. Springer.

26. Yampolskiy R.V. Predicting future AI failures from historic examples. Foresight, 2019. 21(1): p. 138–152²⁶.

27. Gunning D. Explainable artificial intelligence (XAI). Defense Advanced Research Projects Agency (DARPA), 2017.

28. Ehsan U., et al. Automated rationale generation: A technique for explainable AI and its effects on human perceptions. arXiv preprint arXiv:1901.03729, 2019.

29. Mittelstadt B., Russell С., Wachter S. Explaining explanations in AI, in Proceedings of the Conference on Fairness, Accountability, and Transparency. 2019. ACM.

30. Milli S., Abbeel P., Mordatch I. Interpretable and pedagogical examples. arXiv preprint arXiv:1711.00694, 2017.

31. Kantardzic M.M., Elmaghraby A. S. Logic-oriented model of artificial neural networks. Information Sciences, 1997. 101(1–2): p. 85–107.

32. Poursabzi-Sangdeh F., et al. Manipulating and measuring model interpretability. arXiv preprint arXiv:1802.07810, 2018.

33. Ehsan U., et al. Rationalization: A neural machine translation approach to generating natural language explanations, in Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society. 2018. ACM.

34. Preece A., et al. Stakeholders in explainable AI. arXiv preprint arXiv:1810. 00184, 2018.

35. Du M., Liu N., Hu X. Techniques for interpretable machine learning. arXiv preprint arXiv:1808.00033, 2018.

36. Lipton Z.C. The doctor just won’t accept that! arXiv preprint arXiv:1711.08037, 2017.

37. Lipton Z.C. The mythos of model interpretability. arXiv preprint arXiv:1606. 03490, 2016.

38. Doshi-Velez F., Kim B. Towards a rigorous science of interpretable machine learning. arXiv preprint arXiv:1702.08608, 2017.

39. Oh S.J., et al. Towards reverse-engineering black-box neural networks. arXiv preprint arXiv:1711.01768, 2017.

40. Lapuschkin S., et al. Unmasking clever Hans predictors and assessing what machines really learn. Nature Communications, 2019. 10(1): p. 1096.

41. Ribeiro M.T., Singh S., Guestrin C. Why should I trust you? Explaining the predictions of any classifier, in Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016. ACM.

42. Adadi A., Berrada M. Peeking inside the black-box: A survey on explainable artificial intelligence (XAI). IEEE Access, 2018. 6: p. 52138–52160.

43. Abdul A., et al. Trends and trajectories for explainable, accountable and intelligible systems: An HCI research agenda, in Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. 2018. ACM.

44. Guidotti R., et al. A survey of methods for explaining black box models. ACM Computing Surveys (CSUR), 2018. 51(5): p. 93.

45. Dosilovic F.K., Brcic M., Hlupic N. Explainable artificial intelligence: A survey, in 2018 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). 2018. IEEE.

46. Miller T. Explanation in artificial intelligence: Insights from the social sciences. Artificial Intelligence, 2018. 267(2019): 1–38.

47. Yampolskiy R.V., Klare B., Jain A. K. Face recognition in the virtual world: Recognizing avatar faces, in 2012 11th International Conference on Machine Learning and Applications. 2012. IEEE.

48. Mohamed A.A., Yampolskiy R. V. An improved LBP algorithm for avatar face recognition, in 2011 XXIII International Symposium on Information, Communication and Automation Technologies. 2011. IEEE.

49. Carter S., et al. Activation atlas. Distill, 2019. 4(3): p. e15.

50. Kim B., et al. Interpretability beyond feature attribution: Quantitative testing with concept activation vectors (TCAV). arXiv preprint arXiv:1711.11279, 2017.

51. Olah C., et al. The building blocks of interpretability. Distill, 2018. 3(3): p. e10.

52. Sarkar S., et al. Accuracy and interpretability trade-offs in machine learning applied to safer gambling, in CEUR Workshop Proceedings. 2016. CEUR Workshop Proceedings.

53. Sutcliffe G., Gao Y., Colton S. A grand challenge of theorem discovery, in Proceedings of the Workshop on Challenges and Novel Applications for Automated Reasoning, 19th International Conference on Automated Reasoning. 2003.

54. Muggleton S.H., et al. Ultra-strong machine learning: Comprehensibility of programs learned with ILP. Machine Learning, 2018. 107(7): p. 1119–1140.

55. Breiman L. Statistical modeling: The two cultures (with comments and a rejoinder by the author). Statistical Science, 2001. 16(3): p. 199–231.

56. Charlesworth A. Comprehending software correctness implies comprehending an intelligence-related limitation. ACM Transactions on Computational Logic (TOCL), 2006. 7(3): p. 590–612.

57. Charlesworth A. The comprehensibility theorem and the foundations of artificial intelligence. Minds and Machines, 2014. 24(4): p. 439–476.

58. Hernandez-Orallo J., Minaya-Collado N. A formal definition of intelligence based on an intensional variant of algorithmic complexity, in Proceedings of International Symposium of Engineering of Intelligent Systems (EIS98). 1998.

59. Li M., Vitanyi P. An Introduction to Kolmogorov Complexity and Its Applications. Vol. 3. 1997: Springer.

60. Yampolskiy R.V. The space of possible mind designs, in International Conference on Artificial General Intelligence. 2015. Springer.

61. Weinberger D. Our Machines Now Have Knowledge We’ll Never Understand, in Wired. https://www.wired.com/story/our-machines-now-have-knowledge-well-never-understand (дата обращения: 16.10.2024).

62. Godel K. On Formally Undecidable Propositions of Principia Mathematica and Related Systems. 1992: Courier Corporation.

63. Heisenberg W. Uber den anschaulichen Inhalt der quantentheoretischen Kinematik und Mechanik, in Original Scientific Papers Wissenschaftliche Originalarbeiten. 1985, Springer. p. 478–504²⁷.

64. Fisher M., Lynch N., Peterson M. Impossibility of distributed consensus with one faulty process. Journal of ACM, 1985. 32(2): p. 374–382.

65. Grossman S.J., Stiglitz J. E. On the impossibility of informationally efficient markets. The American Economic Review, 1980. 70(3): p. 393–408.

66. Kleinberg J.M. An impossibility theorem for clustering, in Advances in Neural Information Processing Systems. 2003. MIT Press.

67. Strawson G. The impossibility of moral responsibility. Philosophical Studies, 1994. 75(1): p. 5–24.

68. Bazerman M.H., Morgan K. P., Loewenstein G. F. The impossibility of auditor independence. Sloan Management Review, 1997. 38: p. 89–94.

69. List C., Pettit P. Aggregating sets of judgments: An impossibility result. Economics & Philosophy, 2002. 18(1): p. 89–110.

70. Dufour J.-M. Some impossibility theorems in econometrics with applications to structural and dynamic models. Econometrica: Journal of the Econometric Society, 1997. 65(6): p. 1365–1387.

71. Yampolskiy R.V. What are the ultimate limits to computational techniques: Verifier theory and unverifiability. Physica Scripta, 2017. 92(9): p. 093001²⁸.

72. Yampolskiy R.V. Unpredictability of AI. arXiv preprint arXiv:1905.13053, 2019.

73. Armstrong S., Mindermann S. Impossibility of deducing preferences and rationality from human policy. arXiv preprint arXiv:1712.05812, 2017.

74. Eckersley P. Impossibility and Uncertainty Theorems in AI Value Alignment. arXiv preprint: 1901.00064

75. Brinton C. A framework for explanation of machine learning decisions, in IJCAI-17 Workshop on Explainable AI (XAI). 2017.

76. Hutter M. The Human Knowledge Compression Prize. http://prize.hutter1.net (дата обращения: 16.10.2024).

77. Compression of Random Data (WEB, Gilbert and Others), in FAQs. http://www.faqs.org/faqs/compression-faq/part1/section-8.html (дата обращения: 16.10.2024).

78. Gazzaniga M.S. Tales from Both Sides of the Brain: A Life in Neuroscience. 2015: Ecco/HarperCollins Publishers²⁹.

79. Shanks D.R. Complex choices better made unconsciously? Science, 2006. 313(5788): p. 760–761.

80. Bassler O.B. The surveyability of mathematical proof: A historical perspective. Synthese, 2006. 148(1): p. 99–133.

81. Coleman, E., The surveyability of long proofs. Foundations of Science, 2009. 14(1–2): p. 27–43.

82. Yampolskiy R.V. Efficiency theory: A unifying theory for information, computation and intelligence. Journal of Discrete Mathematical Sciences & Cryptography, 2013. 16(4–5): p. 259–277.

83. Abramov P.S., Yampolskiy R. V. Automatic IQ estimation using stylometric methods, in Handbook of Research on Learning in the Age of Transhumanism. 2019, IGI Global. p. 32–45.

84. Hendrix A., Yampolskiy R. Automated IQ Estimation from Writing Samples, in MAICS. 2017.

85. Hollingworth L.S. Children Above 180 IQ Stanford-Binet: Origin and Development. 2015: World Book Company.

86. Castelfranchi C. Artificial liars: why computers will (necessarily) deceive us and each other. Ethics and Information Technology, 2000. 2(2): p. 113–119.

87. Yampolskiy R.V., Govindaraju V. Use of behavioral biometrics in intrusion detection and online gaming, in Biometric Technology for Human Identification III. 2006, International Society for Optics and Photonics.

88. Yampolskiy R.V. User authentication via behavior based passwords, in 2007 IEEE Long Island Systems, Applications and Technology Conference. 2007. IEEE.

89. Yampolskiy R.V., Fox J. Artificial general intelligence and the human mental model, in Singularity Hypotheses. 2012, Springer. p. 129–145.

90. Yampolskiy R.V. Behavioral modeling: an overview. American Journal of Applied Sciences, 2008. 5(5): p. 496–5–03.

91. Slonim N. Project debater, in Computational Models of Argument: Proceedings of COMMA 2018. 2018. 305: p. 4.

92. Irving G., Christiano P., Amodei D. AI safety via debate. arXiv preprint arXiv:1805.00899, 2018.

93. Chomsky N. Three models for the description of language. IRE Transactions on Information Theory, 1956. 2(3): p. 113–124.

94. Yampolskiy R. The singularity may be near. Information, 2018. 9(8): p. 190.

95. Blum M., Vempala S. The complexity of human computation: A concrete model with an application to passwords. arXiv preprint arXiv:1707.01204, 2017.

96. Ord T. Hypercomputation: Computing more than the Turing machine. arXiv preprint math/0209332, 2002.

97. Lipton R.J., Regan K. W. David Johnson: Galactic algorithms, in People, Problems, and Proofs. 2013, Springer. p. 109–112.

98. Tarski A. Der wahrheitsbegriff in den formalisierten sprachen. Studia Philosophica, 1936. 1: p. 261–405.

99. Tarski A. The concept of truth in formalized languages. Logic, Semantics, Metamathematics, 1956. 2: p. 152–278.

100. Shannon C.E. A mathematical theory of communication. Bell System Technical Journal, 1948. 27(3): p. 379–423.

101. Wooldridge M. Semantic issues in the verification of agent communication languages. Autonomous Agents and Multi-Agent Systems, 2000. 3(1): p. 9–31.

102. Calude C.S., Calude E., Marcus S. Passages of proof. December 2001 workshop truths and proofs, in Annual Conference of the Australasian Association of Philosophy (New Zealand Division), Auckland. 2001.

103. Rahner K. Thomas Aquinas on the incomprehensibility of God. The Journal of Religion, 1978. 58: p. S107–S125.

104. Yampolskiy R.V., Spellchecker M. Artificial intelligence safety and cybersecurity: A timeline of AI failures. arXiv preprint arXiv:1610.07997, 2016.

Глава 4
Непроверяемость³⁰

4.1. О наблюдателях и проверяющих

Концепция «наблюдателя» существует в разных областях: в физике (в частности, в квантовой физике и теории относительности), биофизике, нейронауке, когнитивистике, исследованиях ИИ, философии сознания и космологии [1]. Но есть ли аналогичное понятие в математике? Мы полагаем, что таким понятием является инструмент проверки (верификатор) доказательств. Соответственно, бо́льшую часть открытых вопросов, поставленных недавно [1] Институтом основополагающих вопросов (Foundational Questions Institute) в области физики наблюдателя, можно отнести и к инструментам проверки доказательств. В частности, математическое сообщество может заинтересоваться изучением разных типов верификаторов (люди, программы, машины Тьюринга с оракулом, сообщества, сверхинтеллект и т. д.) как математических объектов, способами их формализации, их мощностью и ограничениями (особенно для людей-математиков), минимальной и максимальной сложностью, а также самопроверкой и самореференцией в верификаторах.

Теория доказательств разработана для изучения доказательств как формальных математических объектов, состоящих из аксиом, из которых по правилам вывода можно получить теоремы [2]. Но при этом из поля дискуссии выпадает неотъемлемая концепция инструмента проверки – особенно его формализация и практическая реализация. В математическом контексте верификатор – это агент, способный последовательно проверить заданное доказательство, начиная с аксиом, чтобы убедиться, что все промежуточные выводы обоснованы, сделан окончательный вывод, и, следовательно, теорема верна.

В этой главе приводится обзор разных типов инструментов проверки, которыми в настоящее время пользуется математическое сообщество. Также предлагается добавить в арсенал математиков несколько новых типов верификаторов – хотя бы в качестве теоретических инструментов теории верификатора. Наш общий анализ применим и к разным типам доказательств (индукция, от противного, исчерпывание вариантов, перебор вариантов, разбиение, неконструктивное доказательство, вероятностное, голографическое, экспериментальное, графическое и т. д.), и к компьютерным приложениям.

4.2. Историческая перспектива

Математика развивается путем доказательства теорем, которые в свою очередь служат для дальнейшего доказательства еще более интересных и полезных теорем. Во избежание дорогостоящих ошибок в виде неверных теорем доказательства проходят экспертизу – как правило, в рамках коллегиальной оценки. Традиционно проверку доказательств выполняли математики, но история знает много примеров пропущенных ошибок и серьезных пробелов даже в наиболее тщательно изученных доказательствах [3–7]. Считается, что не менее трети всех математических публикаций содержат ошибки [8].

Во избежание ошибок и для облегчения работы проверяющих «отдельный шаг дедукции… должен быть достаточно простым, чтобы человек мог его понять за один акт интеллектуальной деятельности. Эта практика, несомненно, происходит из желания, чтобы каждый шаг дедукции не вызывал сомнений, даже если вывод доказательства будет состоять из длинной цепи таких шагов» [9].

Несмотря на столь строгие требования, уже давно стало ясно, что для гарантированного подтверждения доказательства с достаточной степенью достоверности мало одного проверяющего человека, поскольку люди подвержены ряду когнитивных искажений³¹. Чтобы снизить число потенциальных ошибок и повысить уверенность в достоверности доказательств, серьезные математические утверждения изучаются несколькими независимыми математиками. По словам Калуда, «теорема – это утверждение, которое самостоятельно проверяет один математик и подтверждают не менее двух-трех других математиков, каждый из которых должен работать по отдельности. Но здесь кроется слабое место критерия: сколько же математиков должны независимо проверить гипотезу, чтобы она получила статус теоремы?» [4].

Очевидно, что чем больше проверяющих, тем выше наша уверенность в достоверности теоремы. Можно сказать, что «теорема подтверждена, если она принята по общему согласию сообщества математиков» [4]. Крантц соглашается, что «именно математики в целом, выступая как сообщество, решают, что правильно и достоверно, а также, что полезно, интересно и ценно» [10]. Витгенштейн имеет сходное мнение – согласно цитате [11]: «Кто подтверждает “математическое знание”?.. Принятие определяется коллективным мнением социальной группы людей, занимающихся математикой». Так что для многих практикующих математиков проверка доказательств – это социальный, демократический процесс, в рамках которого «после необходимого количества усвоений, преобразований, обобщений, применений и установления связей математическое сообщество решает, что основные идеи исходной теоремы, которые к тому времени уже сильно изменились, можно считать абсолютно устойчивыми. Если разные доказательства производят впечатление верных, а результаты изучены под различными углами зрения, теорему считают истинной» [12].

И хотя сообщество математиков в целом служит мощным инструментом проверки, исследователи, стремясь к еще большей точности, разрабатывают автоматизированные системы проверки, способные работать с очень длинными формальными доказательствами. Прототип подобных верификаторов берет начало в формальных системах [13] Дэвида Гилберта, «содержащих алгоритм, автоматически проверяющий достоверность всех доказательств, которые могут быть сформулированы в такой системе. Формальная система состоит из набора символов, которыми можно записать все суждения; грамматики, определяющей правила сочетания символов; набора аксиом, или принципов, принимаемых без доказательства; и правил вывода теорем из аксиом» [14]. Но замена проверяющих-людей на автоматические верификаторы требует компромисса: «Люди обычно не очень тщательно проверяют формальную правильность доказательств, но неплохо умеют находить потенциальные слабые места или ошибки в доказательствах» [15]. «“Искусственные” математики далеко не так изобретательны, как люди, но превосходят человека, как бесконечно более терпеливые и усердные» [4]. Другими словами, хотя автоматизированные инструменты проверки отлично находят неправильные выводы, они значительно уступают людям в умении видеть общую картину доказательства.

Кроме того, чтобы поддерживать стандарты проверки теорем, потребуется много усилий для повторной проверки ранее принятых доказательств. «Для этого неизбежно придется переписать с чистого листа все прежние труды по математике, на результаты которых мы опираемся. Также довольно сложно найти технически оптимальные варианты реализации формальных определений, которые будут состоятельны для любых математических применений, – для этого необходимо дальнейшее развитие математики… Много времени займет организация комиссий для принятия международных стандартов, чтобы принять единую систему определений и устранить масштабные противоречия» [15].

Подобная критика в адрес автоматизированных инструментов проверки звучит уже давно, особенно с человекоцентричной точки зрения: «Как бы ни были точны правила (логические и физические), для их понимания, применения и осознания его последствий необходимо человеческое сознание. Математика – наука для человека» [4]. Другой пример: «Да, были разработаны автоматизированные инструменты проверки доказательств, но их применение пока ограничено необходимостью записывать доказательства в строго определенной формальной логике» [16].

Несмотря на критику, на применение автоматизированной проверки в математике возлагаются большие надежды. «Математические знания слишком обширны, чтобы их мог понять один человек. Более того, согласно оценкам, общее количество математических публикаций удваивается каждые 10–15 лет… Возможно, компьютеры могли бы помочь нам ориентироваться в информации, извлекать из нее главное и, следовательно, понимать… доказательства. Это стало бы осуществлением мечты о компьютерном доступе к глобальному хранилищу математических знаний, визуализации и понимании этих знаний, и возможности повторно использовать и комбинировать имеющиеся знания для получения новых» [17].

4.3. Классификация инструментов проверки

Существуют определенные параллели между концепциями наблюдателя в физике и проверяющего в математике и других науках. Чтобы выполнять свои функции, они должны существовать в реальном мире в виде программных либо аппаратных средств, но на данный момент наше представление о типах и свойствах подобных агентов сильно ограничено. В качестве первого шага мы предлагаем простую систему классификации инструментов проверки – по областям применения, типам реализации и общим свойствам. Что касается областей применения, то инструменты проверки представляются необходимыми для проверки математических доказательств, научных теорий, корректности ПО, безопасности поведения интеллектуальной системы и соответствия и свойств алгоритмов. Примеры:

• Инструмент проверки ПО – оценка корректности программ. Согласно соответствию Карри-Говарда [18], проверка доказательств и проверка программ эквивалентны и проверка ПО является частным случаем проверки теорем, ограниченным логикой вычислений [19]. Помимо всего прочего, компилятор или интерпретатор можно считать инструментом проверки синтаксиса программы.

• Проверяющий ИИ – частный случай инструмента проверки ПО, способный проверять поведение интеллектуальных систем в новых областях, которые на момент разработки ИИ еще неизвестны [20, 21]. Ямпольский описывает проверку самосовершенствующегося ПО [22, 23] как один из вызовов сообществу исследователей ИИ: «В идеале каждое поколение самосовершенствующейся системы должно создавать проверяемое доказательство собственной безопасности для проверки со стороны» [24]. Соответственно, большой интерес представляют исследования, связывающие функциональные требования с физическими состояниями. «Такая теория позволила бы предвидеть и контролировать поведение систем, имитирующих рациональные агенты, таких альтернативных проектов, как агенты на основе принципов разумной достаточности, и систем, сложных для описания в стандартном формальном представлении агентов (мощные системы прогнозирования, системы доказательства теорем, специализированные научные или технические системы и т. д.), с помощью формальных инструментов. Возможно, эта теория позволит также доказывать, что системы не могут выполнять определенные действия или производить определенные рассуждения» [20].

• Инструмент проверки научных теорий – проверка результатов компьютерного моделирования научных теорий. Научную теорию можно считать полностью принятой только после того, как она будет выражена в виде алгоритма и смоделирована на компьютере. Она должна выдавать заключения, которые согласуются с измерениями, полученными в натурных условиях, возможно, с поправкой на время использования модели и фактические условия. Другими словами, немоделируемую гипотезу следует считать значительно слабее моделируемой. Если теорию не удается смоделировать по причине ограничений существующих вычислительных мощностей, аппаратного обеспечения или способностей программистов, и появление модели можно ожидать в будущем, до тех пор ее принятие остается под вопросом. Инструмент проверки научных теорий можно считать формализованным аналогом участника коллегиальной проверки, принятой в научной среде.

• Инструмент проверки решений недетерминированных полиномов (NP) – алгоритм, способный быстро (за полиномиальное время³²) проверить сертификат (свидетельство) решения, с помощью которого затем можно определить, даст ли вычисление положительный или отрицательный ответ. Одно из требований NP-полноты заключается в том, что задача относится к классу NP, если существует инструмент проверки этой задачи. Инструмент проверки NP-полноты проверяет сводимость новой задачи к уже известной в классе NP, чтобы определить, имеет ли она равную или меньшую сложность. Аналогично можно предположить существование инструмента проверки полноты ИИ, проверяющего факт сведения задачи к частному случаю теста Тьюринга [25–27].

По типу реализации верификаторы делятся на людей (или группы людей), программы, гипотетические агенты, например оракулы, или искусственные (сверх)интеллектуальные сущности. Примеры:

• Математик-человек – исторически сложилось так, что именно математик-человек проверяет большинство математических доказательств. С тех пор, как появилась математика, изучением математических обоснований занимаются отдельные математики. Сейчас появляются генерируемые компьютером доказательства, которые, похоже, не под силу людям-верификаторам из-за размера этих доказательств.

• Математическое сообщество – коллектив математиков, привлекаемых для совместного контроля и оценки предлагаемых доказательств. Мнения отдельных специалистов, отличные от мнений подавляющего большинства, в расчет не берутся. Всем известно, что коллективный разум может оказаться сильнее отдельных экспертов [28, 29].

• Механический верификатор (автоматизированный инструмент проверки доказательств) – автоматизированный программно-аппаратный комплекс инструментов проверки, например, компьютерные программы, разработанные для помощи в проверке формальных доказательств [30]. «Инструмент проверки доказательств проверяет, чтобы каждый шаг вывода доказательства достоверно относился к аксиомам и соответствовал правилам, указанным в политике безопасности» [31]. Считается, что подобные верификаторы работают точнее, чем математики-люди, и способны проверять намного более длинные доказательства, которые могут оказаться необозримыми [32–35] или слишком сложными (непонятными [36]) для математиков-людей.

• Гибридный верификатор – комбинация других типов верификаторов. Обычно это математик-человек со вспомогательным инструментом автоматизированной проверки.

• Верификатор-оракул – инструмент проверки с доступом к машине Тьюринга с оракулом. Особые случаи – верификатор остановки (гипотетический инструмент проверки, устойчивый к проблеме остановки), верификатор Геделя (не имеющий ограничений неполноты) и верификатор доказательств неразрешимости. Все подобные проверки должны проводиться за постоянное время.

• (Сверх)интеллектуальный верификатор – инструмент проверки, способный проверить любое разрешимое доказательство, особенно созданное сверхразумным ИИ.

Некоторые инструменты проверки имеют нетривиальные математические свойства: способность к самопроверке, вероятностная проверка доказательств, относительная правильность, назначение со стороны, возможность метапроверки, добросовестное или недобросовестное поведение, принятие без доказательств. Примеры:

• Верификатор правильности аксиом – тип авторитетного инструмента проверки, определяющий истинность теоремы без демонстрации процесса проверки. Такой верификатор считается корректным без лишних обоснований – наподобие того, как математики принимают аксиому.

• Назначенный верификатор – для некоторых доказательств важно, чтобы только инструмент проверки, назначенный подтверждающим лицом, мог получить подтверждение правильности доказательства [37].

• Добросовестный (доверенный) верификатор – инструмент, который «не пытается узнать секреты доказателя, отклоняясь от протокола доказательства… В случае недоверенного верификатора не требуется исходить из предположения о добросовестности инструмента проверки» [38].

• Вероятностный верификатор – инструмент проверки, который рассматривает большое количество частей доказательства и получает величину вероятности правильности теоремы. Эти инструменты проверки входят в состав протоколов с нулевым знанием.

• Относительный верификатор – инструмент проверки, относительно которого доказана правильность определенной теоремы, что не гарантирует подтверждения правильности другими верификаторами.

• Постепенный верификатор – инструмент проверки, определяющий процент подтвержденных суждений [39], позволяя осуществлять проверку постепенно.

• Метаверификатор – гипотетический инструмент проверки, способный проверять корректность других верификаторов.

• Инструмент самопроверки – агент, способный проверять собственную точность [40]. Этот подход часто предлагают как средство от бесконечной регрессии верификаторов. Но инструмент самопроверки может содержать ошибку, позволяющую ему делать неверное утверждение о собственной корректности [41], также на него распространяются ограничения теоремы Геделя о неполноте [42] и другие аналогичные ограничения самореференции [21].

4.4. Непроверяемость

Понятие непроверяемости часто обсуждается в философии [43–45], оно всегда косвенно присутствовало в математике. В этом разделе мы ознакомимся с литературными источниками, в которых рассматриваются ограничения проверяемости доказательств вследствие бесконечной регрессии верификаторов и анализируется концепция непроверяемости. Мы полагаем, что столь детальное обсуждение будет полезно исследователям, желающим сослаться на эту важную мысль, которая пока что считается математическим фольклором [46] и в источниках указывается только косвенно – несмотря на то, что она несет в себе более общий результат, чем неполнота [42, 47].

Непроверяемость – фундаментальное ограничение проверки математических доказательств, компьютерных программ, любых формальных систем и поведения интеллектуальных агентов. Это предел нашей способности знать определенную информацию, он схож с другими основными ограничениями получения знания, такими как неопределенность [48], случайность [49, 50], неполнота [42, 47], неразрешимость [51], неопределимость [52], недоказуемость [53], несжимаемость [14], невычислимость [54] и относительность [55]. К концепции непроверяемости можно прийти разными путями, но в этой главе мы сосредоточимся на бесконечной регрессии верификаторов.

Например, Калуд и др. пишут: «Что произойдет, если агент-человек или компьютер, проверяющий правильность доказательства, ошибется (агенты способны ошибаться)? Очевидно, что для того, чтобы исключить ошибку, необходима проверка первого проверяющего инструмента другим агентом, которого, в свою очередь, будет проверять третий агент и т. д. и т. п. В итоге доступные агенты закончатся – при том, что все они способны ошибаться!» [56] Позже Калуд и Мюллер подчеркивали, что «невозможно доказать корректность самого инструмента формального доказательства» [57]. Маккензи также отмечает: «Действительно, если требуется строгое применение формального, механистического понятия доказательства, не потребует ли формальной проверки и ПО автоматизированного инструмента доказательства теорем?.. Формальное, механистическое представление о доказательстве заставило по-новому посмотреть на вопрос из античных времен, когда Ювенал вопрошал – quis custodiet ipsos custodes («Кто устережет самих сторожей?»)? [58]. Его мнение разделяют и другие [11].

Мы доверяем формальному доказательству лишь настолько, насколько доверяем инструменту верификации доказательства. Если сам инструмент нужно проверять и т. д. до бесконечности, мы никогда не получим 100 %-ной гарантии правильности – только ее асимптотически возрастающую вероятность. Что еще хуже, в конце цепочки верификаторов обычно находится один-единственный человек, чей внутренний механизм не проверяется на современном уровне технологий и, возможно, непроверяем в принципе. Кроме того, на нашу способность проверять доказательства могут существенно влиять и другие проблемы, а не только бесконечная регрессия верификаторов. К таким препятствиям относятся сращивание и пропуски [59], скрытые леммы [60], экспоненциальный рост доказательств [61] (уже зафиксировано компьютерное доказательство объемом 200 терабайт [62] – это действующий рекорд, но вряд ли он долго продержится), непроницаемые доказательства [63], аппаратные сбои [64, 65], теорема Райса [66] и теорема Геделя о неполноте [42].

С появлением вероятностных тестов Рабина [67] «некоторые возражают, что такие вероятностные доказательства по существу не отличаются от детерминированных доказательств, обычных для математики. Оба аргумента убедительны. Обоим можно доверять с определенной вероятностью погрешности. Считается, что для многих детерминированных доказательств вероятность погрешности выше» [68]. «…Подлинность математического доказательства носит не абсолютный, а лишь вероятный характер… Доказательства не должны быть слишком длинными, иначе вероятность их правильности снижается, а процесс проверки затрудняется. Другими словами, все слишком глубокие теоремы ложны (или в лучшем случае не доказаны или недоказуемы). Все истинные теоремы тривиальны» [3]. «Вывод теоремы или проверка доказательства имеют лишь вероятную достоверность. Неважно, будет ли инструментом вывода или проверки человек или машина. Вероятности изменчивы, но имеют примерно одинаковый порядок» [3]. Все доказательства имеют определенный уровень «доказательности» [69], который может достигать любой глубины за счет необходимых ресурсов верификации, но «ни в одной области математики понятие доказуемости не может заменить собой понятие истины» [70]. В заключение повторим знаменитое предупреждение Кнута: «Остерегайтесь ошибок в приведенном выше коде – я хоть и доказал его правильность, но не пробовал выполнять его».

4.5. Непроверяемость программ

Принцип непроверяемости имеет серьезные следствия не только для математиков и философов-эпистемологов – в последнее время он приобрел значение и в верификации программного и аппаратного обеспечения, которую можно считать особым случаем проверки доказательства [18, 19]. Понятно, что, как и большая часть опубликованных математических доказательств, ПО содержит огромное количество ошибок [71], иногда по 50 ошибок на 1000 строк кода³³, хотя иногда – всего две-три [72]. Проблема бесконечной регрессии верификаторов приводит к тому, что ПО, как и математические доказательства, поддается лишь вероятностной проверке. Например, Фетцер пишет: «Нет ничего особенно сложного, пока подразумеваемые интерпретации [машин более высокого уровня] – абстрактные машины. Как только подразумеваемой интерпретацией станут целевые машины, мы столкнемся с проблемой определения надежности самих проверяющих программ (“Как проверить проверяющего?”), и затем следует регрессия относительной верификации» [73].

Понятие непроверяемости программ существует в этой области знаний с первых дней. Смит пишет: «По очевидным фундаментальным причинам существуют неотъемлемые ограничения возможности доказательства в отношении компьютеров и компьютерных программ… Лишь потому, что “доказана корректность” программы… вы не можете быть уверены, что она сделает то, что от нее ожидается» [74]. Родд согласен с ним: «На самом деле, хотя сегодня это и звучит практически банально, раз всеобъемлющее тестирование программного обеспечения невозможно, то, судя по всему, в любое время в будущем нам будут доступны лишь очень расплывчатые оценки надежности любой программы» [75]. В настоящее время большинство программ не проходят какой-либо формальной проверки до выпуска.

4.5.1. Непроверяемость искусственного интеллекта

Определенный тип ПО, который называют ИИ (тем более – сверхинтеллект), отличается от других программ наличием у него способности к изучению новых моделей поведения, корректировке параметров своего функционирования и полуавтономному действию в новых ситуациях. Учитывая потенциальное влияние интеллектуального программного обеспечения, неудивительно, что способность проверки будущего интеллектуального поведения является одной из крупнейших задач современных исследований ИИ [24, 76–78].

Отмечено, что наука часто совершает открытия т. н. «сопряженных (дополняющих друг друга) пар» – «пар требований», каждое из которых выполняется только за счет другого… Известные прототипы сопряженных пар открыты В. Гейзенбергом в квантовой механике (положение, импульс) и К. Геделем – в логике (непротиворечивость, полнота). Аналогичные предупреждения есть и в других областях. Эйнштейн говорил: “Пока законы математики остаются определенными, они не имеют ничего общего с реальностью; как только у них появляется нечто общее с реальностью, они перестают быть определенными”, – следовательно, пара (определенность, реальность) является сопряженной парой» [56].

Аналогично, что касается доказательств, мы «считаем строгость чем-то, что можно приобрести только за счет смысла, и наоборот, считаем смысл чем-то, что может быть получено только за счет строгости» [56]. По отношению к интеллектуальным агентам мы можем предложить дополнительную сопряженную пару – (способность, контроль). Чем более интеллектуальной и способной является сущность, тем с меньшей вероятностью она будет предсказуемой, контролируемой или проверяемой.

Очевидно, что поскольку нам доступна лишь вероятная уверенность в правильности математических доказательств и программных реализаций, наша способность проверки интеллектуального агента в лучшем случае этим и ограничивается. Вот как говорит об этом Кляйн: «Если вы действительно желаете создать систему, которая способна демонстрировать по-настоящему неожиданное поведение, вы по определению не можете быть уверены, что ее поведение будет безопасным, поскольку вам неизвестно, что именно она будет делать»³⁴. Мюльхаузер пишет: «То же рассуждение применимо к “дружественности” сильного ИИ [общего искусственного интеллекта]. Даже если мы, исследуя дружественный ИИ, найдем то, что будет выглядеть как решения известных открытых проблем, это не означает, что мы когда-либо сможем создать сильный ИИ, который будет “доказуемо дружественным” в самом строгом смысле, поскольку… мы никогда не можем быть уверены на 100 %, что в нашем формальном рассуждении нет ошибок… Таким образом, не следует заблуждаться и считать, что т. н. “доказуемая защищенность”, “доказуемая безопасность” и “доказуемая дружественность” дают 100 %-ную гарантию защищенности, безопасности и дружественности»³⁵. Джилк в статье о пределах верификации и валидации ИИ заостряет внимание на том, что «язык определенности» не гарантирован, когда речь идет о поведении агента [79]. Он также утверждает: «не может быть общей автоматизированной процедуры для проверки абсолютного соответствия агента какому-либо заданному набору правил поведения».

Сешиа и др., описывая некоторые проблемы, связанные с созданием верифицированного ИИ, отмечают: «Невыполнимой задачей может быть даже четкое определение интерфейса между системой и средой (т. е. определение переменных, характеристик среды, которые должны моделироваться), не говоря уже о моделировании всех возможных вариантов поведения среды. Даже если интерфейс известен, неопределенное или чрезмерно приближенное моделирование, вероятно, будет генерировать слишком много ложных отчетов об ошибках, что сделает процесс проверки бесполезным на практике… Сложность и неоднородность систем на базе ИИ означает, что в целом многие проблемы, требующие разрешения и лежащие в основе формальной верификации, вероятно, не будут иметь решения… Остается… довольствоваться неполными или несовершенными методами формальной верификации» [78].

Эти результаты не удивляют. ИИ сам по себе может служить инструментом верификации, а значит, как мы уже показали, он не может быть верифицирован вследствие проблемы бесконечной регрессии и общей непроверяемости. Используются все более значительные вычислительные ресурсы, и самое большое, на что мы можем надеяться, – это возрастающая статистическая вероятность отсутствия ошибок в наших математических доказательствах и системах ИИ, но мы никогда не должны забывать, что абсолютно точная верификация невозможна даже в теории, и действовать мы должны соответствующим образом. ИИ (а тем более сверхинтеллект) непроверяем, а следовательно, потенциально небезопасен [80–85].

4.6. Выводы и направления для дальнейших исследований

В данной работе мы предположили, что «инструмент верификации» необходимо изучать как новый математический объект, представляющий интерес для будущих исследований, который создает возможность для более глубокого понимания темы. Например, инструмент верификации на основе искусственного интеллекта мог бы использоваться для перепроверки всех ранее опубликованных математических доказательств, тем самым он позволил бы значительно повысить правильность всех доказательств. Такие проблемы, как бесконечная регрессия инструментов верификации, могут быть нерешаемыми, но методы, подобные вероятностной верификации, должны быть способны обеспечить нам такую уверенность, за которую мы готовы платить. Любой прогресс в предлагаемой «теории инструмента верификации», помимо непосредственного вклада в математику, создаст дополнительные преимущества, позволяя нам разработать более безопасный высокоразвитый ИИ, – ожидается, что эта тема станет одной из крупнейших научных задач в предстоящие десятилетия [86, 87]. Инструмент верификации является скрытым компонентом любого доказательства, мы можем усовершенствовать нашу способность проверки, составив четкое описание необходимого агента верификации.

Полезно было бы узнать, какие виды физических или информационных систем могут выступать в роли инструментов верификации и каковы их принципиальные свойства. Нам следует изучить вопрос о том, как выбор типа инструмента верификации влияет на математику как область науки, а конкретнее: какие категории теорем мы можем доказать, а какие нет, используя разные инструменты верификации. Существуют ли неоткрытые виды математических инструментов верификации? Является ли группа инструментов верификации более мощной, чем сумма модулей ее компонентов? Как инструменты верификации могут показывать лучшие результаты с ограниченными вычислительными ресурсами? Какова формальная связь между набором всех инструментов верификации и набором всех наблюдателей? Может ли инструмент верификации подвергнуться взлому – и может ли атака содержаться в самом доказательстве, которое он проверяет? Могут ли все эти вопросы быть сокращены до более широкого вопроса о характере разных возможных типов интеллекта [88]?

Использованные материалы

1. Tegmark M., Aguirre A. Physics of the Observer – An International Request for Proposals for Research and Outreach Projects. https://s3.amazonaws.com/fqxi.data/data/documents/2016-Request-for-Proposals.pdf (дата обращения: 20.10.2024).

2. Buss S.R. An introduction to proof theory, in Handbook of Proof Theory. 1998. 137: p. 1–78. Elsevier.

3. Davis P.J. Fidelity in mathematical discourse: Is one and one really two? American Mathematical Monthly, 1972. 79(3): p. 252–263.

4. Calude C.S., Calude E., Marcus S. Passages of Proof. 2002: University of Auckland. Massey University. Romanian Academy. CDMTCS-180, New Zealand, Romania.

5. Detlefsen M., Luker M. The four-color theorem and mathematical proof. The Journal of Philosophy, 1980. 77(12): p. 803–820.

6. Kornai A. Bounding the impact of AGI. Journal of Experimental & Theoretical Artificial Intelligence, 2014. 26(3): p. 417–438.

7. Hardy G.H. Mathematical proof. Mind, 1929. 38(149): p. 1–25.

8. Lamport L. How to write a proof. The American Mathematical Monthly, 1995. 102(7): p. 600–608.

9. Mackenzie D. The automation of proof: A historical and sociological exploration. IEEE Annals of the History of Computing, 1995. 17(3): p. 7–29.

10. Krantz S.G. The Proof Is in the Pudding. A Look at the Changing Nature of Mathematical Proof. 2007: Springer³⁶.

11. Detlefsen M., Luker M. Mathematical proofs at a crossroad? in Theory Is Forever. 2004, Springer. p. 15–28.

12. Millo R.A.D., Lipton R.J., Perlis A.J. Social processes and proofs of theorems and programs. Communications of the ACM, 1979. 22(5): p. 271–280.

13. Omodeo E.G., Schwartz J.T. A ‘theory’ mechanism for a proof-verifier based on first-order set theory, in Computational Logic: Logic Programming and Beyond. 2002, Springer. p. 214–230.

14. Chaitin G.J. Randomness and mathematical proof. Scientific American, 1975. 232(5): p. 47–52.

15. Thurston W.P. On proof and progress in mathematics. Bulletin of the American Mathematical Society, 1994. 30(2): p. 161–177.

16. MacKenzie D. Slaying the Kraken: The sociohistory of a mathematical proof. Social Studies of Science, 1999. 29(1): p. 7–60.

17. Kohlhase M. OMDoc: An Open Markup Format for Mathematical Documents. Lecture Notes in Artificial Intelligence, 2006. 4180.

18. Sørensen M.H., Urzyczyn P. Lectures on the Curry-Howard Isomorphism. Vol. 149. 2006: Elsevier.

19. Moore J.S. A mechanized program verifier, in Verified Software: Theories, Tools, Experiments. 2008, Springer. p. 268–276.

20. Russell S., et al. Research Priorities for Robust and Beneficial Artificial Intelligence, in Future of Life Institute. http://futureoflife.org/static/data/documents/research_priorities.pdf (дата обращения: 20.10.2024).

21. Yudkowsky E., Herreshoff М. Tiling Agents for Self-modifying AI, and the Lobian Obstacle, in MIRI Technical Report. 2013: http://intelligence.org/files/TilingAgentsDraft.pdf (дата обращения: 20.10.2024).

22. Yampolskiy R.V. On the limits of recursively self-improving AGI, in The Eighth Conference on Artificial General Intelligence. July 22–25, 2015. Berlin, Germany.

23. Yampolskiy R.V. Analysis of types of self-improving software, in The Eighth Conference on Artificial General Intelligence. July 22–25, 2015. Berlin, Germany.

24. Yampolskiy R.V. Artificial intelligence safety engineering: Why machine ethics is a wrong approach, in Philosophy and Theory of Artificial Intelligence. 2013, Springer. p. 389–396.

25. Yampolskiy R.V. Turing test as a defining feature of AI-completeness, in Artificial Intelligence, Evolutionary Computation and Metaheuristics – In the Footsteps of Alan Turing, X.-S. Yang, Editors. 2013, Springer. p. 3–17.

26. Yampolskiy R.V. AI-complete, AI-hard, or AI-easy – classification of problems in AI, in The 23rd Midwest Artificial Intelligence and Cognitive Science Conference. April 2122, 2012. Cincinnati, OH, USA.

27. Yampolskiy R.V. AI-complete CAPTCHAs as zero knowledge proofs of access to an artificially intelligent system. ISRN Artificial Intelligence, 2011. 2012: p. 271878.

28. Yampolskiy R.V., Ashby L., Hassan L. Wisdom of artificial crowds-a metaheuristic algorithm for optimization. Journal of Intelligent Learning Systems and Applications, 2012. 4(2): p. 98–107.

29. Yampolskiy R.V., Ahmed E.L.B. Wisdom of artificial crowds algorithm for solving NP-hard problems. International Journal of Bio-Inspired Computation (IJBIC). 3(6): p. 358–369.

30. Wiedijk F. The Seventeen Provers of the World: Foreword by Dana S. Scott. Vol. 3600. 2006: Springer Science & Business Media.

31. Necula G.C., Lee P. Safe, untrusted agents using proof-carrying code, in Mobile Agents and Security. 1998, Springer. p. 61–91.

32. Mulholzer F. A mathematical proof must be surveyable. What Wittgenstein meant by this and what it implies. Grazer Philosophische Studien, 2005. 71: p. 57–86.

33. Coleman E. The surveyability of long proofs. Foundations of Science, 2009. 14(1–2): p. 27–43.

34. Tymoczko T. Computers, proofs and mathematicians: A philosophical investigation of the four-color proof. Mathematics Magazine, 1980. 53(3): p. 131–138.

35. Norwood F. Long proofs. The American Mathematical Monthly, 1982. 89(2): p. 110–112.

36. Yampolskiy R.V. Efficiency theory: A unifying theory for information, computation and intelligence. Journal of Discrete Mathematical Sciences & Cryptography, 2013. 16(4–5): p. 259–277.

37. Jakobsson M., Sako K., Impagliazzo R. Designated verifier proofs and their applications, in Advances in Cryptology – EUROCRYPT’96. 1996, Springer.

38. Peng K. Efficient proof of bid validity with untrusted verifier in homomorphic e-auction. IET Information Security, 2013. 7(1): p. 11–21.

39. Arlt S., et al. The gradual verifier, in NASA Formal Methods. 2014, Springer.

40. Kondrat’ev D.A., Promskii A.V. Towards the verified verifier. Theory and practice. Modelirovanie i Analiz Informatsionnykh Sistem [Modeling and Analysis of Information Systems], 2014. 21(6): p. 71–82.

41. Appel A.W. Foundational proof-carrying code, in 16th Annual IEEE Symposium on Logic in Computer Science. 2001. p. 247–256.

42. Godel K., Kleene S.C., Rosser J.B. On Undecidable Propositions of Formal Mathematical Systems. 1934: Institute for Advanced Study Princeton, NJ.

43. Feuer L.S. The paradox of verifiability. Philosophy and Phenomenological Research, 1951. 12(1): p. 24–41.

44. Black M. The principle of verifiability. Analysis, 1934. 2(1–2): p. 1–6.

45. Hoy R.C. The unverifiability of unverifiability. Philosophy and Phenomenological Research, 1973. 33(3): p. 393–398.

46. Wilder R.L. The nature of mathematical proof. The American Mathematical Monthly, 1944. 51(6): p. 309–323.

47. Calude C.S., Rudeanu S. Proving as a computable procedure. Fundamenta Informaticae, 2005. 64(1–4): p. 43–52.

48. Heisenberg W. Uber den anschaulichen Inhalt der quantentheoretischen Kinematik und Mechanik. Zeitschrift fur Physik, 1927. 43(3–4): p. 172–198³⁷.

49. Calude C.S., Stay M.A. From Heisenberg to Godel via Chaitin. International Journal of Theoretical Physics, 2007. 46(8): p. 2013–2025.

50. Calude C.S. Incompleteness, complexity, randomness and beyond. Minds and Machines, 2002. 12(4): p. 503–517.

51. Turing A.M. On computable numbers, with an application to the Entscheidungsproblem. Proceedings of the London Mathematical Society, 1936. 42: p. 230–265³⁸.

52. Murawski R. Undefinability of truth. The problem of priority: Tarski vs Godel. History and Philosophy of Logic, 1998. 19(3): p. 153–160.

53. Boolos G. The Unprovability of Consistency: An Essay in Modal Logic. 2009: Cambridge University Press.

54. Calude C.S., Dinneen M.J., Shu C.-K. Computing a glimpse of randomness. Experimental Mathematics, 2002. 11(3): p. 361–370.

55. Einstein A. Relativity: The Special and the General Theory. 2015: Princeton University Press.

56. Calude C.S., Calude E., Marcus S. Passages of proof. arXiv preprint math/0305213, 2003.

57. Calude C.S., Muller С. Formal proof: Reconciling correctness and understanding, in Intelligent Computer Mathematics. 2009, Springer. p. 217–232.

58. MacKenzie D. Mechanizing Proof Computing, Risk, and Trust. 2004: MIT Press.

59. Van Bendegem J.P., Van Kerkhove B. Mathematical arguments in context. Foundations of Science, 2009. 14(1–2): p. 45–57.

60. Lakatos I. Proofs and refutations (III). The British Journal for the Philosophy of Science, 1963. 14(55): p. 221–245³⁹.

61. Haken A. The intractability of resolution. Theoretical Computer Science, 1985. 39: p. 297–308.

62. Heule M.J., Kullmann О., Marek V.W. Solving and verifying the Boolean Pythagorean triples problem via cube-and-conquer. arXiv preprint arXiv:1605.00723, 2016.

63. Castelvecchi D. The biggest mystery in mathematics: Shinichi Mochizuki and the impenetrable proof. Nature, 2015. 526: p. 178–181.

64. Wolf M., Grodzinsky F., Miller K. Is Quantum Computing Inherently Evil? CEPE2011: Crossing Boundaries. p. 302.

65. Schmidhuber J. Ultimate cognition a la Godel. Cognitive Computation, 2009. 1(2): p. 177–193.

66. Rice H.G. Classes of recursively enumerable sets and their decision problems. Transactions of the American Mathematical Society, 1953. 74(2): p. 358–366.

67. Rabin M. Probabilistic algorithms, in Research Division, Thomas J. Watson IBM Research Center. 1976.

68. Kleiner I. Rigor and proof in mathematics: A historical perspective. Mathematics Magazine, 1991. 64(5): p. 291–314.

69. Manin Y.I. How convincing is a proof. Mathematical Intelligencer, 1979. 2(1): p. 1718⁴⁰.

70. Tarski A. Truth and proof. Scientific American, 1969. 220: p. 63–77⁴¹.

71. Holzmann G.J. Economics of software verification, in Proceedings of the 2001 ACM SIGPLAN-SIGSOFT Workshop on Program Analysis for Software Tools and Engineering. 2001. ACM.

72. Wallace D.R., Fujii R.U. Software verification and validation: An overview. IEEE Software, 1989. 6(3): p. 10.

73. Fetzer J.H. Program verification: The very idea. Communications of the ACM, 1988. 31(9): p. 1048–1063.

74. Smith B.C. The limits of correctness. ACM SIGCAS Computers and Society, 1985. 14(1): p. 18–26.

75. Rodd M. Safe AI-is this possible? Engineering Applications of Artificial Intelligence, 1995. 8(3): p. 243–250.

76. Russell S., Dewey D., Tegmark M. Research priorities for robust and beneficial artificial intelligence. AI Magazine, 2015. 36(4): p. 3–4.

77. Menzies T., Pecheur С. Verification and validation and artificial intelligence. Advances in Computers, 2005. 65: p. 153–201.

78. Seshia S.A., Sadigh D. Towards verified artificial intelligence. arXiv preprint arXiv:1606.08514, 2016.

79. Jilk D.J. Limits to verification and validation of agentic behavior. arXiv preprint arXiv:1604.06963, 2016.

80. Pistono F., Yampolskiy R.V. Unethical research: How to create a malevolent artificial intelligence. arXiv preprint arXiv:1605.02817, 2016.

81. Yampolskiy R.V. Taxonomy of pathways to dangerous artificial intelligence, in Workshops at the Thirtieth AAAI Conference on Artificial Intelligence. 2016⁴².

82. Yampolskiy R.V. Utility function security in artificially intelligent agents. Journal of Experimental & Theoretical Artificial Intelligence, 2014. 26(3): p. 373–389.

83. Sotala K., Yampolskiy R.V. Responses to catastrophic AGI risk: A survey. Physica Scripta, 2014. 90(1): p. 018001.

84. Yampolskiy R., Fox J. Safety engineering for artificial general intelligence. Topoi, 2013. 32(2): p. 217–226.

85. Yampolskiy R.V. What to do with the singularity paradox? in Philosophy and Theory of Artificial Intelligence. 2013, Springer. p. 397–413.

86. Sotala K., Yampolskiy R.V. Responses to catastrophic AGI risk: A survey. Physica Scripta, 2015. 90(1): p. 1–33.

87. Yampolskiy R.V. Artificial Superintendence: A Futuristic Approach. 2015: Chapman and Hall/CRC Press.

88. Yampolskiy R.V. The space of possible mind designs, in Artificial General Intelligence. 2015, Springer. p. 218–227.

1.Фрагменты этой главы ранее были опубликованы в статьях Романа Ямпольского «Об управляемости ИИ» («On Governability of AI») в AI Governance in 2020 a Year in Review. June, 2021, и «Определение различий между интеллектом и искусственным интеллектом» (On Defining Differences Between Intelligence and Artificial Intelligence) в Journal of Artificial General Intelligence 11(2), 68–70. 2020. – Прим. пер.

2.Тем самым предполагается, что машины можно научить понимать человеческие ценности и цели и действовать в соответствии с ними. – Прим. пер.

3.Логический парадокс, описанный в одноименном романе Джозефа Хеллера, – выполнение условий задачи одновременно обеспечивает невыполнимость задачи. – Прим. пер.

4.См. также главу 8 данной книги. – Прим. пер.

5.См. также: Бостром Н. Искусственный интеллект. Этапы. Угрозы. Стратегии. Издательство: Манн, Иванов и Фербер, 2016 г. – Прим. пер.

6.См. также главу 3 данной книги. – Прим. пер.

7.См. также главу 2 данной книги. – Прим. пер.

8.См. также главу 4 данной книги. – Прим. пер.

9.См. также главу 10 данной книги. – Прим. пер.

10.См. также главу 8 данной книги. – Прим. пер.

11.См. также главу 6 данной книги. – Прим. пер.

12.Текст воспроизведен с разрешения World Scientific из статьи «Непредсказуемость ИИ: невозможно точно предсказать все действия превосходящего по интеллекту агента» («Unpredictability of AI: On the Impossibility of Accurately Predicting All Actions of a Smarter Agent») Романа Ямпольского, Journal of Artificial Intelligence and Consciousness, Vol 7, Issue № 1., Copyright © 2020 by World Scientific.

13.Российский аналог – «Своя игра». – Прим. пер.

14.Под «твердой» научной фантастикой обычно понимают НФ-произведения, уделяющие внимание прежде всего вопросам «твердой» науки (например, физики, астрономии, биологии) и техники. Обычно она противопоставляется «мягкой» научной фантастике, которая отводит эти аспекты на второй план и либо исследует «мягкие» науки (например, психологию, политологию, социологию), либо ставит человеческие эмоции выше научной точности или правдоподобия. – Прим. пер.

15.Гипотетическая тенденция большинства достаточно разумных, целеустремленных существ преследовать схожие подцели, даже если их конечные цели совершенно различны. – Прим. пер.

16.Предполагаемое противоречие, заключающееся в отсутствии достоверных фактов наблюдений деятельности внеземных технологически развитых цивилизаций (таких как радиопередачи, космические зонды, космические корабли и т. п.), несмотря на то, что, согласно современным научным представлениям, такие цивилизации должны существовать. – Прим. пер.

17.См. также главу 4 данной книги. – Прим. пер.

18.См. также главу 8 данной книги. – Прим. пер.

19.См. также главу 10 данной книги. – Прим. пер.

20.Текст воспроизведен с разрешения World Scientific из статьи «Необъяснимость и непостижимость ИИ» («Unexplainability and Incomprehensibility of AI») Романа Ямпольского, Journal of Artificial Intelligence and Consciousness, Vol 7, Issue № 2., Copyright © 2020 by World Scientific.

21.Непредсказуемость – это не то же, что необъяснимость или непонятность [72]. Yampolskiy R.V. Unpredictability of AI. arXiv preprint arXiv:1905.13053, 2019.

22.https://en.wikipedia.org/wiki/Lossless_compression (См. также: https://ru.wikipedia.org/wiki/Сжатие_без_потерь. – Прим. пер.) (дата обращения: 16.10.2024).

23.https://www.prepscholar.com/gre/blog/average-gre-scores (дата обращения: 16.10.2024).

24.https://www.babycenter.com/child/parenting-strategies/how-to-talk-to-your-child-about-sex-age-5_67112 (дата обращения: 16.10.2024).

25.См. также: Бостром Н. Искусственный интеллект. Этапы. Угрозы. Стратегии. Издательство: Манн, Иванов и Фербер, 2016. – Прим. пер.

26.См. также главу 8 данной книги. – Прим. пер.

27.См. также: Гейзенберг В. О наглядном содержании квантовотеоретической кинематики и механики. https://ufn.ru/ufn77/ufn77_8/Russian/r778h.pdf. – Прим. пер.

28.См. также главу 4 данной книги. – Прим. пер.

29.См. также: Газзанига М. Истории от разных полушарий мозга. Жизнь в нейронауке. Corpus, 2021 г.

30.Использовано с разрешения Шведской королевской академии наук, из статьи «Где лежат последние пределы вычислительных методов. Теория инструмента верификации и непроверяемость» («What are the ultimate limits to computational techniques: verifier theory and unverifiability») Романа Ямпольского, Physica Scripta, volume 92, number 9, Copyright © 2017. Разрешение предоставлено Copyright Clearance Center, Inc.

31.https://en.wikipedia.org/wiki/List_of_cognitive_biases (См. также: https://ru.wikipedia.org/wiki/Список_когнитивных_искажений. – Прим. пер.) (дата обращения: 20.10.2024).

32.Время работы, которое полиномиально зависит от размера входных данных. – Прим. пер.

33.https://www.theengineer.co.uk/content/news/verification-system-aims-to-guarantee-software-function (дата обращения: 20.10.2024).

34.https://intelligence.org/2014/02/11/gerwin-klein-on-formal-methods (дата обращения: 20.10.2024).

35.https://intelligence.org/2013/10/03/proofs (дата обращения: 20.10.2024).

36.См. также: Кранц C. Изменчивая природа математического доказательства. Доказать нельзя поверить. Лаборатория знаний, 2018. – Прим. пер.

37.См. также: Гейзенберг В. О наглядном содержании квантовотеоретической кинематики и механики. https://ufn.ru/ufn77/ufn77_8/Russian/r778h.pdf. – Прим. пер.

38.См. также: Тьюринг А. О вычислимых числах и их применении к проблеме разрешимости. – В сб. Хокинг С. Бог создал целые числа. Математические открытия, изменившие историю; пер. с английского. Москва: АСТ, 2022. Стр. 759–798. – Прим. пер.

39.См. также: Лакатос И. Доказательства и опровержения. Как доказываются теоремы. Пер. с англ. И. Н. Веселовского. М., Наука, 1967, 152 с. – Прим. пер.

40.См. также: Манин Ю.И. Доказуемое и недоказуемое. М. Кибернетика. 1979, 168 с.

41.См. также: Тарский А. Истина и доказательство. Вопросы философии. 1972. № 8. С. 136–145. – Прим. пер.

42.См. также главу 7 данной книги. – Прим. пер.

Bepul matn qismi tugad.