Kitobni o'qish: «Искусственный интеллект: перезагрузка. Как создать машинный разум, которому действительно можно доверять»

Name: Искусственный интеллект: перезагрузка. Как создать машинный разум, которому действительно можно доверять
ISBN: 9785206000306

Эрнест Дэвис, Гэри Маркус

Shrift:

Перевод В. Скворцов

Редактор А. Марченкова

Руководители проекта А. Марченкова, Ю. Семенова

Дизайн обложки А. Маркович

Корректоры Н. Витько, Е. Якимова

Верстка Б. Руссо

Все права защищены. Данная электронная книга предназначена исключительно для частного использования в личных (некоммерческих) целях. Электронная книга, ее части, фрагменты и элементы, включая текст, изображения и иное, не подлежат копированию и любому другому использованию без разрешения правообладателя. В частности, запрещено такое использование, в результате которого электронная книга, ее часть, фрагмент или элемент станут доступными ограниченному или неопределенному кругу лиц, в том числе посредством сети интернет, независимо от того, будет предоставляться доступ за плату или безвозмездно.

Копирование, воспроизведение и иное использование электронной книги, ее частей, фрагментов и элементов, выходящее за пределы частного использования в личных (некоммерческих) целях, без согласия правообладателя является незаконным и влечет уголовную, административную и гражданскую ответственность.

* * *

Моим детям, Александру и Хлое,
которые научили меня так многому,
и моей жене Афине, понимающей,
как и я, как здорово учиться у детей.
Гэри

Моей жене Бьянке,
ставшей любовью на всю жизнь.
Эрни

Глава 1
Осторожно: разрыв

В течение двадцати лет машины смогут научиться выполнять любую работу, доступную для человека.
Херб Саймон, один из первопроходцев в области искусственного интеллекта

ПЕРВЫЙ РЕБЕНОК (в долгой утомительной поездке): Еще долго, Папа Смурф?
ОТЕЦ: Уже скоро.
ВТОРОЙ РЕБЕНОК (через несколько часов): Еще долго, Папа Смурф?
ОТЕЦ: Уже скоро.
Из комикса The Smurfs («Смурфики»)

С самого момента своего зарождения искусственный интеллект (ИИ) очень много сулил и очень мало давал. Уже в 1950-х и 1960-х годах такие первопроходцы, как Марвин Мински, Джон Маккарти и Херб Саймон, искренне верили¹, что до конца ХХ века со всеми проблемами, встающими на пути разработки ИИ, будет фактически покончено. «В течение одного поколения, – писал Марвин Мински в 1967 году в своем знаменитом послании, – проблема создания искусственного интеллекта будет по большому счету решена». Пятьдесят лет спустя эти обещания так и не исполнились, однако заявления подобного рода продолжали появляться. В 2002 году футуролог Рэй Курцвейл публично заявил, что к 2029 году ИИ «превзойдет естественный человеческий интеллект». В ноябре 2018 года Илья Суцкевер, соучредитель Open AI, крупного исследовательского института по изучению искусственного интеллекта, высказал мнение, что универсальный искусственный интеллект «уже в ближайшей перспективе следует воспринимать всерьез как возможность». Хотя теоретически допустимо, что Курцвейл и Суцкевер могут оказаться правы, весьма велики шансы, что ничего такого и не случится. Достижение нового уровня – универсального искусственного интеллекта с гибкостью человеческого мышления – для нынешнего поколения отнюдь не находится на расстоянии вытянутой руки; это долгий путь, который потребует очень серьезного прогресса в целом ряде основополагающих областей знания. Иначе говоря, это не просто «чуть более» того, чего науке удалось добиться за последние несколько лет: мы покажем, что универсальный ИИ – нечто совершенно иное.

Даже если не все так оптимистичны, как Курцвейл и Суцкевер, амбициозные обещания продолжают фигурировать везде, где задействован искусственный интеллект: от медицинских технологий до беспилотных автомобилей. Чаще всего обещанное не исполняется. Например, в 2012 году мы много слышали о том, как увидим «в ближайшем будущем автономные автомобили». В 2016 году IBM заявила, что Watson, система искусственного интеллекта, сумевшая принять участие в телевикторине Jeopardy! произведет «революцию в здравоохранении», потому что якобы «когнитивные системы Watson Health могут понимать, рассуждать, учиться и взаимодействовать», и что «с помощью последних достижений в области когнитивных вычислений мы можем достичь большего, чем мы когда-либо считали возможным». Компания IBM стремилась решить любые проблемы, начиная от фармакологии и радиологии и заканчивая диагностикой и лечением рака, используя Watson для чтения медицинской литературы и выработки рекомендаций, которые врачи-люди могли бы упустить из виду. Вторя им, Джеффри Хинтон, один из самых выдающихся исследователей искусственного интеллекта, заявил примерно в то же время: «Совершенно очевидно, что мы должны прекратить подготовку [людей-]радиологов».

В 2015 году Facebook запустил свой амбициозный и широко освещаемый проект, известный как «M», – чат-бот, который должен был удовлетворить любые потребности пользователя, от бронирования столика в ресторане до планирования очередного отпуска.

Но ничего из этого пока что не произошло. Да, автономные транспортные средства когда-нибудь могут стать безопасными и способными ездить по любым дорогам. Чат-боты, которые будут способны удовлетворить любые потребности, наверное, тоже однажды превратятся в обычное явление; что-то подобное может рано или поздно произойти и в медицине, когда появятся суперинтеллектуальные врачи-роботы. Но пока что все это остается лишь фантазией, а не свершившимся фактом.

Существующие беспилотные автомобили по-прежнему способны функционировать только в условиях автомагистралей, причем люди-водители все равно должны в них находиться и оставаться начеку, поскольку программное обеспечение этих машин слишком ненадежно для нестандартных ситуаций. В 2017 году Джон Крафчик, генеральный директор Waymo, дочерней компании Google, которая почти десять лет работает над беспилотными автомобилями, хвастался, что вскоре у Waymo появятся беспилотные автомобили… без водителей (что уже весьма забавно); впрочем, этого все равно не случилось. Год спустя, как выразился журнал Wired, бравада исчезла, а водители (в качестве резервного средства безопасности) – нет. Никто на самом деле и не думает, что автомобили без водителя готовы самостоятельно ездить в городах или хотя бы в плохую погоду по шоссе, и ранний оптимизм сменился общим признанием того, что мы находимся на расстоянии как минимум десятилетия от подобного прорыва – а возможно, для этого потребуется куда больше времени.

Использование системы IBM Watson в сфере здравоохранения также потеряло популярность. В 2017 году сотрудничество с IBM в области диагностики и борьбы с раковыми заболеваниями прекратил онкологический центр MD Anderson. Совсем недавно стало известно, что некоторые рекомендации IBM Watson оказались «небезопасными и неверными». Проект 2016 года по использованию Watson для диагностики редких заболеваний в Марбурге (Германия), в Центре редких и недиагностируемых заболеваний (Marburg's Center for Rare and Undiagnosed Diseases), продержался менее двух лет и полностью остановился, поскольку «эффективность работы системы была неприемлема». Например, в одном случае IBM Watson исследовала пациента, страдавшего от болей в груди, и пропустила диагнозы, которые были бы очевидны даже студенту-первокурснику, например сердечный приступ, стенокардию или разрыв аорты. Когда проблемы, связанные с системой Watson, стали все больше и больше проникать в общественное сознание, проект «M» от Facebook тихо прикрыли, и произошло это всего через три года после гордых заявлений о его универсальной полезности.

Несмотря на уже солидную историю несостоявшихся свершений, риторика вокруг искусственного интеллекта продолжает оставаться почти мессианской. Так, Эрик Шмидт, бывший генеральный директор Google, заявил, что развитие ИИ решит проблемы изменения климата, бедности, войны и рака. Основатель компании XPRIZE Питер Диамандис сделал аналогичные заявления в своей книге «Изобилие» (Abundance), утверждая, что могучий искусственный интеллект (стоит ему только появиться) «без сомнения, умчит нас прямо к "пирамиде Изобилия"». В начале 2018 года генеральный директор Google Сундар Пичаи уверял, что «искусственный интеллект – одна из самых важных вещей, над которыми работает человечество… более основополагающая, чем … электричество или огонь». (Менее чем через год после этого выступления Google была вынуждена признать в сообщении для инвесторов, что продукты и услуги, «которые включают в себя или используют искусственный интеллект и машинное обучение, могут вызвать новые или усугубить существующие этические, технологические, юридические и другие проблемы».)

Многие мыслители всерьез беспокоятся и по поводу потенциальных опасностей, таящихся в искусственном интеллекте, причем способы, которыми это делается, явно демонстрируют отрыв суждений от реальности. Один из недавних научно-популярных бестселлеров оксфордского философа Ника Бострома описывает перспективу завоевания мира некой сверхразведкой в таких словах, будто это действительно может стать серьезной угрозой в обозримом будущем. На страницах The Atlantic Генри Киссинджер предполагает, что риски, связанные с искусственным интеллектом, способны оказаться настолько большими, что «человеческая история может пойти по пути инков, столкнувшихся с непостижимой и даже внушающей им священный страх испанской культурой». Илон Маск считает, что работа над совершенствованием ИИ – это «обряд заклинания демонов», по своей опасности «страшнее ядерного оружия», а покойный гений физики Стивен Хокинг предупреждал, что искусственный интеллект может сделаться «самым худшим событием в истории нашей цивилизации».

Но о каком именно искусственном интеллекте все они говорят? Возвращаясь в реальный мир, мы видим, что современные роботы едва справляются с тем, чтобы повернуть обычную дверную ручку, а знаменитая «Тесла», управляемая ИИ в режиме «автопилот», врезается сзади в припаркованные машины скорой помощи (только в 2018 году такое случалось как минимум четырежды). Это все равно, что люди в XIV веке переживали бы о скором наступлении гибельной эры дорожно-транспортных происшествий, хотя в то время гораздо полезнее было бы беспокоиться о приличной гигиене.

Одна из причин, по которой люди часто переоценивают возможности искусственного интеллекта, заключается в том, что сообщения, появляющиеся в СМИ, часто до такой степени преувеличивают его возможности, что любое самое скромное продвижение в технологиях начинает выглядеть как «прорыв тысячелетия». Рассмотрим следующую пару заголовков, описывающих «невероятный прогресс» в области машинного чтения.

Отныне роботы смогут читать лучше, чем люди, подвергая риску существование миллионов рабочих мест.
Newsweek, 15 января 2018 года

Компьютеры становятся лучшими читателями, чем мы сами.
CNN Money, 16 января 2018 года

Первое из этих утверждений является куда более вопиющим преувеличением, чем второе, но оба они представляют собой откровенную дичь, подавая незначительный прогресс в области компьютерного чтения как новость мировой значимости. Начнем с того, что в действительности в эксперименте не был задействован ни один робот, а сам тест оценивал лишь один крошечный аспект машинного чтения. Речь даже не шла о каком-либо понимании текста искусственным интеллектом, не говоря уже о самой отдаленной угрозе каким бы то ни было рабочим местам.

А случилось, собственно, вот что. Две компании, Microsoft и Alibaba, только что создали программы, которые добились незначительного (и не внезапного) прогресса (82,65 % точности против предыдущего показателя в 82,136 %) в конкретном тестировании одного узкого аспекта чтения, известного как SQuAD (the Stanford Question Answering Dataset, то есть набор вопросов и ответов, разработанный Стэндфордским университетом). Вероятно, мы можем здесь говорить о достижении уровня человеческой эффективности в этой конкретной задаче, в которой искусственный интеллект раньше немного отставал от людей, но одна из компаний выпустила по этому поводу пресс-релиз, который сделал незначительное достижение звучащим почти революционно, объявив о создании «искусственного интеллекта, который может читать документ и отвечать на вопросы о нем так же хорошо, как и человек».

Реальность была намного менее будоражащей. Компьютерам показывали короткие отрывки текста, взятые из задания, предназначенного для исследовательских целей, и затем задавали вопросы о них. Подвох был в том, что в каждом случае правильные ответы находились прямо в тексте, что превращало задание не более чем в подчеркивание нужных слов. Незатронутой оставалась реальная проблема машинного чтения: обнаружение значений слов или предложений, которые подразумеваются, но не видны в явной форме.

Предположим, например, что мы даем вам лист бумаги с небольшим отрывком текста:

Двое детей, Хлоя и Александр, пошли гулять. Они оба увидели собаку и дерево. Еще Александр увидел кошку и показал ее Хлое. А та пошла эту кошку погладить².

Ответить на вопросы типа «Кто пошел погулять?», естественно, очень легко, ведь ответ («Хлоя и Александр») прямо прописан в тексте. Однако любой компетентный (на самом деле – просто обычный) читатель должен так же легко ответить на вопросы, ответы на которые отсутствуют в тексте в утвердительной форме, например: «Видела ли Хлоя кошку?» или «Испугала ли кошка детей?» Если вы не можете этого сделать, значит, вы просто не обратили внимания на то, о чем шла речь. Поскольку SQuAD не включал в себя никаких вопросов подобного рода, то он не являлся по-настоящему серьезным тестом на способность к чтению; и на самом деле новые системы искусственного интеллекта попросту не смогли бы с ним справиться. Чтобы продемонстрировать различие между машиной и человеком, Гэри предложил этот тест своей дочери Хлое, которой тогда было четыре с половиной года. Настоящая Хлоя без труда сделала вывод о том, что Хлоя вымышленная действительно видела кошку. (Ее старший брат, которому тогда еще не исполнилось шести лет, пошел еще дальше, размышляя о том, что произойдет, если собака на самом деле окажется кошкой, – ни одна из форм нынешнего искусственного интеллекта не сможет даже близко подойти к этому.)

Практически каждый раз, когда один из мировых технологических гигантов выпускает пресс-релиз, мы имеем повторение того, о чем шла речь выше: незначительный прогресс изображается во многих (к счастью, не во всех) СМИ как настоящая революция. Например, пару лет назад Facebook представила абсолютно сырую программу, которая читала простые рассказы и отвечала на вопросы о них. За этим последовало множество восторженных заголовков, таких как «Представители Facebook полагают, что компания разгадала секрет того, как сделать чат-боты менее тупыми» (Slate) и «Facebook AI Software учится и отвечает на вопросы. Программное обеспечение, способное прочитать краткий пересказ "Властелина колец" и ответить на вопросы о нем, может кардинально улучшить поиск в Facebook» (Technology Review).

Тут действительно можно было бы говорить о настоящем прорыве – будь все это правдой. Программа, которая могла бы усвоить книгу Толкина хотя бы в версии Reader's Digest или Cliffs-Notes (не говоря уже о полноразмерных произведениях), была бы серьезным достижением в области искусственного интеллекта.

Но, увы, программы, действительно способной на такие подвиги, что-то нигде не видно. Тот пересказ, который на самом деле читала система Facebook, представлял собой всего лишь следующие строки:

Бильбо отправился в пещеру. Голлум обронил там кольцо. Бильбо взял кольцо. Бильбо вернулся в Шир. Бильбо оставил кольцо там. Фродо получил кольцо. Фродо отправился на Роковую Гору. Фродо бросил кольцо туда. Саурон умер. Фродо вернулся в Шир. Бильбо отправился в Серые Гавани. Конец.

И даже при таком примитивном раскладе все, что могла сделать программа, – это отвечать на элементарные вопросы, ответы на которые содержались непосредственно в приведенных выше предложениях, например: «Где кольцо?», «Где сейчас Бильбо?» и «Где сейчас Фродо?» И забудьте о вопросах наподобие «Почему Фродо бросил кольцо?».

Конечная цель шумихи, поднятой в средствах массовой информации и сильно преувеличивающей технологический прогресс, заключается в том, чтобы общественность поверила, что проблема создания искусственного интеллекта гораздо ближе к решению, чем есть на самом деле.

Всякий раз, когда вы слышите об очередном успехе, достигнутом искусственным интеллектом, попробуйте задать, скажем, шесть вопросов из следующего списка.

1. Если отбросить риторику, что на самом деле совершила система искусственного интеллекта в этот раз?

2. Насколько универсальным оказался результат? Например, задание якобы на тестирование чтения включает в себя все составляющие нормального чтения или только незначительные и частные его аспекты?

3. Создана ли демонстрационная версия, на которой я могу протестировать систему, пользуясь собственными примерами? Если ее нет, успех выглядит более чем сомнительным.

4. Если исследователи (или их представители в прессе) утверждают, что система искусственного интеллекта что-то умеет лучше, чем люди, то о каких людях идет речь и насколько система превосходит подобных людей?

5. Насколько успех в решении конкретной задачи, о которой сообщается в новом исследовании, ведет нас к созданию универсального, подлинного искусственного интеллекта?

6. Насколько устойчива система, о которой пишут в прессе? Может ли она хорошо работать с другими наборами данных без огромной работы по предварительной их подготовке? Например, может ли игровой автомат, который овладел игрой в шахматы, успешно играть в приключенческую игру типа Zelda? Может ли система распознавания животных правильно идентифицировать существо, которое она никогда раньше не воспринимала как животное? Будет ли система автопилота, которая обучалась в дневное время на шоссе с указателями, способна ездить ночью, или по снегу, или если на ее карте нет указателя объезда?

Эта книга не просто о том, как не быть слишком легковерным человеком, но и о том, почему искусственный интеллект до сих пор развивается далеко не самым правильным образом, и, наконец, о том, что следовало бы сделать, чтобы создать такие мыслящие машины, которые смогли бы работать надежно и устойчиво и были бы способны функционировать в сложном и постоянно меняющемся мире так, чтобы мы могли спокойно доверять им наши дома, наших родителей и детей, наше медицинское обслуживание и, в конечном счете, всю нашу жизнь.

Нельзя отрицать и того, что искусственный интеллект в последние несколько лет впечатляет нас по-новому почти каждый день, порой даже творит чудеса. Значительные успехи появились в самых разных областях, от компьютерных игр до распознавания речи и идентификации лиц. Вот пример нового проекта, который нам искренне нравится: молодая компания Zipline использует (в умеренных дозах) искусственный интеллект, чтобы управлять беспилотными аппаратами, доставляющими донорскую кровь пациентам в Африке, – почти фантастическое решение, о котором не могло быть и речи несколько лет назад.

Успех в области искусственного интеллекта, о котором мы говорим, был обусловлен главным образом двумя факторами: во-первых, достижениями в аппаратном обеспечении, которые позволяют увеличить объем памяти и ускорить вычисления (часто благодаря использованию множества машин, работающих параллельно); во-вторых, большими данными – огромными наборами, содержащими гигабайты, терабайты или более информации, чего не было еще несколько лет назад; например, такие базы, как ImageNet – библиотека из 15 млн маркированных изображений, которая сыграла ключевую роль в обучении систем ИИ компьютерному зрению, проект Wikipedia и, наконец, огромные коллекции документов, которые вместе и составляют то, что мы называем Всемирной паутиной.

Вместе с большими данными появился и алгоритм для сбора этих данных, называемый глубоким обучением, – своеобразный, весьма мощный статистический механизм, суть которого мы объясним и проанализируем в главе 3. Глубокое обучение оказалось в центре практически любого серьезного прорыва в области искусственного интеллекта за последние несколько лет, от сверхчеловеческого DeepMind, победившего человека в го, и шахматной системы AlphaZero до новейших инструментов Google, способных синтезировать речь и разговоры (Google Duplex). В каждом случае рецептом победы были большие данные плюс глубокое обучение плюс более мощное и быстрое оборудование.

Глубокое обучение использовалось с большим успехом и для широкого круга практических задач, от диагностики рака кожи до прогнозирования подземных толчков и выявления мошенничества с кредитными картами. Оно нашло применение в изобразительном искусстве, в музыке, в огромном числе коммерческих проектов от расшифровки речи до маркировки фотографий и организации новостных лент в интернете. Вы можете использовать глубокое обучение для идентификации растений, для автоматического улучшения цвета неба на фотографиях и даже для раскрашивания старых черно-белых изображений.

Вместе с ошеломляющим успехом глубокого обучения искусственный интеллект превратился в огромный бизнес. Гигантские информационные корпорации, подобные Google и Facebook, ведут грандиозные сражения за талантливых ученых, нередко предлагая сотрудникам с докторскими степенями такую зарплату, какую мы могли бы представить разве что у профессиональных спортсменов. В 2018 году билеты на самую важную научную конференцию по глубокому обучению были распроданы за двенадцать минут. Хотя мы будем постоянно доказывать, что создать искусственный интеллект с гибкостью мышления на уровне человека гораздо сложнее, чем думают многие, нет никаких сомнений в том, что в последнее десятилетие достигнут реальный прогресс в частных сферах применения ИИ. Поэтому вполне закономерно, что широкую публику так волнует все, что связано с данной областью.

Естественно, это волнует и правительства самых разных государств. Такие страны, как Франция, Россия, Канада и Китай, взяли на себя огромные обязательства по развитию искусственного интеллекта. Один только Китай планирует к 2030 году инвестировать в эту сферу 150 млрд долларов. По оценкам Глобального института McKinsey, общее экономическое воздействие искусственного интеллекта можно оценить в 13 трлн долларов, что сопоставимо (по относительному уровню влияния) с паровым двигателем в XIX веке и информационными технологиями в XXI. Тем не менее это не гарантирует того, что мы находимся на правильном пути.

Действительно, даже теперь, когда данных намного больше, компьютеры стали существенно быстрее, а инвестиции увеличились в несколько раз, важно понимать, что чего-то фундаментального во всем этом по-прежнему не хватает. Несмотря на бесспорный прогресс, машины во многих отношениях все еще никак не могут сравниться с людьми.

Возьмем, например, чтение. Когда вы читаете (или слышите) новое предложение, ваш мозг менее чем за секунду выполняет два типа анализа: 1) он анализирует предложение, разбивая его на составляющие его части речи, исследуя синтаксические взаимоотношения между ними и выявляя их значение, как изолированное, так и совокупное; 2) он связывает это новое предложение с тем, что вы знаете о мире, объединяя грамматические «гайки» и «болты» с целой вселенной сущностей и идей. Если предложение представляет собой строку из диалога в фильме, вы обновляете свое понимание намерений персонажа и его будущих действий или ситуаций, в которые он, вероятно, попадет. Мы автоматически задаем себе множество вопросов. Почему он или она сказали то, что сказали? Что это говорит нам об их характере? Чего они пытаются достичь? Правдиво ли услышанное или оно выглядит как обман? Как все это связано с тем, что произошло раньше? Как их речь влияет на других? Например, когда тысячи бывших рабов встают один за другим и заявляют: «Я – Спартак», – и каждый из них рискует быть казненным за это, – мы все сразу понимаем, что они (кроме самого Спартака) лгут и что при этом мы только что стали свидетелями чего-то очень мужественного и одновременно трогательного, западающего нам глубоко в душу. Как мы вскоре продемонстрируем, современные программы искусственного интеллекта не способны ни на что даже отдаленно напоминающее наше восприятие текста или речи. Насколько мы можем судить, машинам еще очень далеко даже до начала того пути, который мог бы привести их к подобному пониманию. Большая часть прогресса, достигнутого в развитии искусственного интеллекта, была связана почти исключительно с такими проблемами, как распознавание объектов, – а это абсолютно не то же самое, что понимание смысла.

Разница между этими двумя процессами – распознаванием объекта и подлинным пониманием – имеет в реальном, точнее, человеческом мире колоссальное значение. Например, программы искусственного интеллекта, поддерживающие наши социальные медиаплатформы, могут с легкостью содействовать распространению сфабрикованных новостей. Они будут скармливать нам будоражащие, возмутительные или непристойные сюжеты, которые собирают множество просмотров, но при этом они не в состоянии понять новости настолько, чтобы судить, какие истории являются фальшивыми, а какие – реальными.

Даже банальный для многих процесс вождения автомобиля является гораздо более сложным делом, чем думает большинство людей. Когда вы ведете машину, 95 % того, что вы делаете, относится к области сравнительно простых рефлексов и легко воспроизводится машинным «мозгом», но когда в первый раз в вашей водительской истории беспечный подросток на гироскутере выскакивает наперерез вашему автомобилю, вам придется сделать нечто такое, что никакая «мыслящая машина» не может пока что выполнить надежно, а именно: рассуждать и действовать в новой и неожиданной ситуации, основываясь не на огромной (но в этот момент бесполезной) базе данных из предыдущего опыта, а на решительном и гибком понимании законов вселенной. (И, кстати, вы ведь не будете во время ежедневного вождения вдавливать педаль тормоза в пол всякий раз, когда увидите что-то непонятное? Сами понимаете, что если экстренно тормозить перед каждой кучкой листьев на дороге, то от заднего бампера вашего автомобиля скоро ничего не останется.)

В настоящее время на автомобили с автопилотом без страхующего водителя всерьез рассчитывать попросту нельзя. Возможно, самая надежная из коммерчески доступных для потребителей система – это Tesla с автопилотом, но и она по-прежнему требует предельного внимания со стороны водителя-человека. Система Tesla достаточно надежна на автомагистралях в хорошую погоду, но в городских районах с плотным потоком машин она куда менее приемлема. В дождливый день на улицах Манхэттена или Мумбаи мы все равно с куда большей готовностью доверили бы свою жизнь любому случайно выбранному водителю, чем машине без водителя вообще³. Как недавно высказался вице-президент компании Toyota по вопросу исследований вождения в автоматическом режиме: «Машина, везущая меня из Кембриджа в аэропорт Логан по Бостону без водителя при любой погоде и дорожной ситуации, – это будет разве что в следующей жизни».

Аналогично, когда дело доходит до понимания сюжета фильма или смысла газетной статьи, мы без малейшего сомнения доверимся ученикам средней школы гораздо охотнее, чем самой лучшей современной системе искусственного интеллекта. И хотя вряд ли кто-то из нас является любителем менять младенцам подгузники, мы не можем пока вообразить себе ни одного робота (даже в фазе разработки), способного помочь нам управиться с этим щекотливым делом.

Одним словом, главная проблема нынешнего искусственного интеллекта – это его крайняя узость. Он пригоден лишь для решения очень конкретных задач – тех, на которые он запрограммирован, – и то при условии, что встречающиеся ему вещи и ситуации не слишком отличаются от тех, с которыми он уже имел дело ранее. Он прекрасно подходит для традиционных интеллектуальных настольных игр, таких как го, где правила не менялись уже два с половиной тысячелетия, однако намного менее перспективен для большинства реальных ситуаций. Перевод искусственного интеллекта на следующий уровень потребует от нас изобретения машины с принципиально большей гибкостью алгоритмов.

То, чем мы располагаем на данный момент, проще назвать сверхбыстрыми цифровыми марионетками: программы, которые могут, например, читать банковские чеки, или маркировать фотографии, или даже играть в настольные игры на уровне чемпионов мира, но сверх этого они едва ли что-то умеют вообще. Вспомним про инвестора Питера Тиля, возжелавшего летающих автомобилей и вместо этого получившего 140 символов⁴. Робот, которого мы действительно желаем иметь у себя дома, – это что-то вроде механической горничной Рози из сериала про Джетсонов (The Jetsons), которая готова в любой момент сменить подгузники нашим детям и приготовить ужин, но вместо этого мы получили пылесос Roomba – этакую хоккейную шайбу-переросток с колесами.

Или посмотрите на Google Duplex – систему, которая умеет совершать телефонные звонки и при этом звучит удивительно по-человечески. Когда весной 2018 года было объявлено о ее запуске, возникло множество споров о том, нужно ли требовать от компьютеров, чтобы они представлялись как компьютеры в начале телефонного разговора. Под большим давлением со стороны общественности Google пошла на это через пару дней, однако история вовсе не об этом, а о том, насколько неуниверсальным оказался пресловутый Duplex. При всех фантастических ресурсах Google и ее материнской компании Alphabet созданная ими система была настолько узкозадачной, что могла совершать лишь три вещи: бронирование ресторанов, запись в парикмахерские и выяснение часов работы буквально нескольких компаний. К тому времени, когда демоверсия была выпущена в свет, на телефонах с системой Android исчезла даже запись в парикмахерские и запросы о часах работы. Проще говоря, большая команда, включавшая лучшие мировые умы в области искусственного интеллекта и использовавшая одни из мощнейших кластерных суперкомпьютеров современности, создала всего лишь говорящую систему для бронирования ресторанов. Не представляем, как еще можно было бы сузить столь ограниченный функционал!

Справедливости ради, такого рода узкий искусственный интеллект становится все лучше и лучше с каждым днем, и, несомненно, в ближайшие годы можно ожидать очередных прорывов в данной области. Но все это также говорит и о том, что ИИ-системы могут и должны быть чем-то намного большим, нежели приложением для телефона, способным лишь бронировать столик в ресторане.

Речь может и должна идти о лечении рака, картировании зон больших полушарий мозга, изобретении новых технологий, которые позволят нам улучшить сельское хозяйство и транспорт, о разработке новых способов борьбы с изменением климата. У DeepMind, которая теперь является частью упомянутой выше компании Alphabet, раньше был девиз: «Сначала мы создаем [искусственный] интеллект, а потом используем этот интеллект для решения всех остальных задач». Хотя мы полагаем, что такой девиз означал замах на слишком многое (наши проблемы часто являются моральными или политическими, а не чисто техническими), мы согласны с тем, что серьезный прогресс в развитии искусственного интеллекта, если он качественный, а не чисто количественный, может оказать большое влияние на всю нашу жизнь. Если бы искусственный интеллект умел читать и рассуждать так же, как и люди, и при этом работать с точностью, терпением и огромными вычислительными скоростями современных компьютерных систем, то наука и техника смогли бы развиваться огромными темпами, что означало бы почти фантастический прогресс в медицине, науках об окружающей среде и многом другом. Вот чем должен быть искусственный интеллект. Однако, как мы вскоре вам покажем, мы не можем достичь ничего подобного лишь с помощью узкоориентированного ИИ.

Роботы также могли бы оказать гораздо более глубокое воздействие на нашу жизнь, чем они имеют в настоящее время, если бы они приводились в движение (во всех смыслах) более глубоким искусственным интеллектом, чем находящийся у нас в работе в настоящее время. Представьте себе мир, в котором наконец-то появились универсальные домашние роботы, мир, в котором людям не надо мыть окна, подметать полы, а родителям не требуется ежедневно упаковывать обеды для детей-школьников или менять подгузники младенцам. Слепые могли бы использовать роботов в качестве помощников; пожилые люди полагались бы на них как на медсестер или сиделок. Роботы способны выполнять работу, которая опасна или совершенно недоступна для людей, – под землей, под водой, при пожарах, в разрушенных зданиях, на шахтах или в неисправных ядерных реакторах, а значит, человеческая смертность на рабочих местах могла бы быть значительно снижена, а, например, добыча драгоценных природных ресурсов происходила бы намного эффективнее и не подвергала бы людей риску.

Беспилотные автомобили тоже могли бы стать важной частью повседневности, если бы мы могли научить их работать надежно. Тридцать тысяч человек в год⁵ умирают в результате автокатастроф только в одних Соединенных Штатах (а по всему миру – миллионы), и, если мы всерьез усовершенствуем способность искусственного интеллекта управлять автономными транспортными средствами, эти трагические цифры стали бы гораздо меньше.

Проблема «всего лишь» в том, что подходы, которые мы сейчас используем, ведут нас не туда, не к домашним роботам или автоматизированным научным открытиям; они, вероятно, не смогут привести нас даже к полностью надежным беспилотным автомобилям. В современных разработках по-прежнему отсутствует что-то очень важное. Одного лишь узкого искусственного интеллекта явно недостаточно, чтобы преодолеть лежащую между людьми и роботами технологическую пропасть.

При этом, увы, мы склонны все больше и больше усиливать авторитет машин, которые и просто ненадежны, и, что еще важнее, не понимают человеческих ценностей. Горькая правда заключается в том, что в настоящее время подавляющее большинство долларов, вложенных в развитие искусственного интеллекта, идет на решения, которые являются слабыми, не совсем понятными нам самим и слишком ненадежными для использования в таких задачах, где ставки по-настоящему высоки.

Основная проблема – это невозможность (невзирая на вышесказанное) доверять современному искусственному интеллекту. Узкие ИИ-системы, которыми человечество располагает на данный момент, часто вполне работоспособны, но только в рамках того, на что они запрограммированы, – им нельзя доверять никаких других задач помимо тех, которые в точности были предусмотрены программировавшими их людьми. Это особенно важно при высоких ставках на результативность и безопасность. Если узкоориентированная система искусственного интеллекта покажет вам неправильную рекламу в Facebook, никто не умрет. Но если аналогичная по надежности система столкнет ваш автомобиль с другим автомобилем просто потому, что тот выглядит необычно и отсутствует в базе данных системы, это грозит серьезным, даже смертельным исходом. То же самое может случиться, если недостаточно обученная система не сумеет диагностировать рак у онкологического больного.

Чего сегодня не хватает искусственному интеллекту (и, скорее всего, эта проблема не решится до тех пор, пока в нашем арсенале не появятся новые подходы) – это широты (или универсальности) «мышления». Искусственный интеллект должен уметь справляться не только с ограниченными по своей сути проблемами, для решения которых в память машины уже загружено огромное количество данных, но также и с проблемами, которые окажутся для компьютерных систем новыми, или хотя бы с такими вариациями исходной проблемы, которые ранее не встречались.

Более универсальный машинный интеллект, прогресс в достижении которого был и остается очень медленным, заключается в способности системы гибко адаптироваться к реальному миру, имеющему принципиально открытый характер, – и это, по большому счету, основное свойство, куда еще не дотянулись машины. Но именно в таком направлении необходимо двигаться, если мы хотим поднять искусственный интеллект на новый уровень.

Когда узкий искусственный интеллект играет в игру, подобную го, он имеет дело с полностью закрытой системой, которая состоит из игровой доски размером 19 на 19 клеток и набора черных и белых камешков. Правила игры четко прописаны, и поэтому способность мгновенно оценивать множество возможных положений камешков на доске дает машинам явное и само собой разумеющееся преимущество. Система искусственного интеллекта может видеть каждую ситуацию в игре целиком (в отличие от человека, память которого ограничена) и знает все ходы, которые она и ее противник могут сделать, не нарушая правил. Машина сама делает половину ходов в игре и может точно предсказать, каковы будут последствия того или иного хода. Кроме того, шахматные и подобные им программы (включая компьютерных го-партнеров) могут набрать за сравнительно короткое время колоссальный опыт, проведя миллионы виртуальных партий и собрав методом проб и ошибок огромное количество данных, точно отражающих свойства игры, в которой они будут затем соперничать с человеком.

Реальная жизнь, напротив, принципиально открыта; никакие предварительно загруженные данные не в состоянии отразить постоянно меняющийся мир, в котором мы живем. Нет здесь и фиксированных правил, зато возможности безграничны. Мы не можем отработать заранее каждый вариант развития событий или предвидеть, какая информация нам понадобится в той или иной ситуации. Например, ИИ-система, которая читает новости, не может заранее изучить все то, что произошло на прошлой неделе, или в прошлом году, или даже во всей записанной истории, потому что все время возникают новые и новые ситуации. Интеллектуальная система чтения новостей должна быть в состоянии освоить практически любую справочную информацию, которую может знать средний взрослый, даже если она никогда не фигурировала в новостях раньше. Диапазон этого огромен, от «Чтобы закрутить винт, можно воспользоваться отверткой» до «Шоколадный пистолет вряд ли сможет выстрелить настоящими пулями». Гибкость мышления – вот что такое универсальный интеллект, которым наделен любой человек.

Даже множество узких вариантов искусственного интеллекта никогда не заменят интеллект широкий. Было бы абсурдно (да и непрактично) иметь одну ИИ-систему для анализа ситуаций, связанных с бытовыми инструментами, а другую – для оценки свойств шоколадного оружия; более того, у нас никогда не хватит данных, чтобы обучить их все. По определению, никакая система машинного интеллекта не сможет впитать в себя достаточно данных, чтобы охватить весь спектр возможных обстоятельств в реальном мире. Дело в том, что сам процесс понимания информации не вписывается в парадигму узкого искусственного интеллекта, основанного исключительно на предварительном обучении, поскольку ситуаций в мире всегда больше, чем данных.

Открытость мира означает, что воображаемые роботы, живущие в наших домах, столкнулись бы с бесконечным, по существу, миром возможностей, взаимодействуя с огромным количеством объектов, от каминов до картин, от чесночных прессов до интернет-роутеров, от мягких игрушек до живых существ вроде кошек, собак или хомячков, детей, членов семьи и гостей. Они бы постоянно сталкивались с новыми предметами, которые, например, появились на рынке только на прошлой неделе и теперь заменили собой прежние. Обо всем этом наш робот должен был бы рассуждать в режиме реального времени. Например, все картины в доме выглядят по-разному, но мы не можем позволить роботу методом бесконечных проб и ошибок учить, что можно и нельзя с ними делать, применительно для каждой картины отдельно (например, поправлять их на стене, но не снимать со стены, сдувать с них пыль, но не мыть акварели водой и т. д.).

Большая часть проблем вождения с точки зрения искусственного интеллекта связана с тем, что вождение не подчиняется полностью определенным правилам (даже прописанным в законе). Движение по автомагистралям в хорошую погоду дается узкому искусственному интеллекту относительно легко, потому что подобные дороги в значительной степени являются закрытыми системами: на них не допускаются пешеходы, и даже новые автомобили могут появляться на них лишь из определенных точек вхождения. Однако инженеры, работающие над проблемой беспилотного вождения, быстро осознали, что езда в городе оказывается для ИИ намного сложнее: список объектов, которые могут в любой момент появиться на дороге в переполненном городе, по сути, не имеет границ. Водители-люди в норме успешно справляются с теми проблемами, для решения которых у них мало или совсем нет прямых данных (например, если они в первый раз видят полицейского, держащего табличку с надписью «Осторожно, открытый канализационный люк»). Одним из технических терминов для характеристики подобных ситуаций является слово «выброс». Как правило, они ставят в тупик узкий искусственный интеллект.

Исследователи и разработчики в области узкого искусственного интеллекта долгое время игнорировали выбросы в погоне за созданием успешных (на выставках) демоверсий и из-за стремления доказать правильность очередной концепции. Но именно способность справляться с открытыми системами, опираясь на общий интеллект, а не «грубую силу» (даже в цифровом смысле), эффективную исключительно в закрытых системах, является ключом к продвижению вперед всей обсуждаемой области.

Наша книга рассказывает о том, что нужно сделать для достижения этой амбициозной цели.

Не будет преувеличением сказать, что от ее достижения во многом зависит наше будущее. Сам по себе искусственный интеллект обладает огромным потенциалом в решении самых серьезных проблем, стоящих перед человечеством, включая медицинские, экологические, энергетические и ресурсные. Но чем больше мощности мы вкладываем в системы искусственного интеллекта, тем более важным становится правильное использование этой мощи, чтобы на машины и компьютеры можно было рассчитывать всерьез. А это означает переосмысление всей парадигмы.

Мы ввели в название этой книги слово «перезагрузка», потому что считаем, что нынешний подход не направлен на то, чтобы привести нас к безопасным, умным или надежным системам искусственного интеллекта. Близорукая одержимость узкими формами ИИ с целью урвать лакомые куски успеха, легко доступные благодаря большим данным, увела науку и бизнес слишком далеко от более долгосрочной и гораздо более сложной проблемы, которую должна была бы решить разработка искусственного интеллекта в нашем стремлении к реальному прогрессу: как наделить машины более глубоким пониманием мира. Без этого мы никогда не доберемся до машинного разума, действительно заслуживающего доверия. Пользуясь техническим жаргоном, мы можем застрять в точке локального максимума. Это, конечно, лучше, чем не делать совсем ничего, но абсолютно недостаточно, чтобы привести нас туда, куда мы хотим попасть.

На данный момент существует огромный разрыв – настоящая пропасть – между нашими амбициями и реальностью искусственного интеллекта. Эта пропасть возникла вследствие нерешенности трех конкретных проблем, с каждой из которых необходимо честно разобраться.

Первую из них мы называем легковерием, в основе которого лежит тот факт, что мы, люди, не научились по-настоящему различать людей и машины, и это позволяет легко нас одурачивать. Мы приписываем интеллект компьютерам, потому что мы сами развивались и жили среди людей, которые во многом основывают свои действия на абстракциях, таких как идеи, убеждения и желания. Поведение машин часто внешне схоже с поведением людей, поэтому мы быстро приписываем машинам один и тот же тип базовых механизмов, даже если у машин они отсутствуют. Мы не можем не думать о машинах в когнитивных терминах («Мой компьютер думает, что я удалил свой файл»), независимо от того, насколько просты правила, которым машины следуют на самом деле. Но выводы, которые оправдывают себя применительно к людям, могут быть совершенно неверными в приложении к программам искусственного интеллекта. В знак уважения к основному принципу социальной психологии мы называем это фундаментальной ошибкой оценки подлинности.

Один из первых случаев проявления этой ошибки произошел в середине 1960-х годов, когда чат-бот по имени Элиза убедил некоторых людей, что он действительно понимает вещи, которые они ему рассказывают. На самом деле Элиза, в сущности, просто подбирала ключевые слова, повторяла последнее, что было ей сказано человеком, а в тупиковой ситуации прибегала к стандартным разговорным уловкам типа «Расскажите мне о своем детстве». Если бы вы упомянули свою мать, она спросила бы вас о вашей семье, хотя и не имела представления о том, что такое семья на самом деле или почему это важно для людей. Это был всего лишь набор трюков, а не демонстрация подлинного интеллекта.

Несмотря на то что Элиза совершенно не понимала людей, многие пользователи были одурачены диалогами с ней. Некоторые часами печатали фразы на клавиатуре, разговаривая таким образом с Элизой, но неправильно истолковывая приемы чат-бота, принимая, по сути, речь попугая за полезные, душевные советы или сочувствие. Вот что на это сказал создатель Элизы Джозеф Вайзенбаум:

Люди, которые очень хорошо знали, что они разговаривают с машиной, вскоре забыли этот факт, точно так же как любители театра отбрасывают на время свое неверие и забывают, что действие, свидетелями которого они являются, не имеет права называться реальным. Собеседники Элизы часто требовали разрешения на частную беседу с системой и после разговора настаивали, несмотря на все мои объяснения, на том, что машина действительно их понимает.

В иных случаях ошибка оценки подлинности может оказаться в прямом смысле слова фатальной. В 2016 году один владелец автоматизированной машины Tesla настолько доверился кажущейся безопасности автопилотного режима, что (по рассказам) полностью погрузился в просмотр фильмов о Гарри Поттере, предоставив машине все делать самой. Все шло хорошо – пока в какой-то момент не стало плохо. Проехав безаварийно сотни или даже тысячи миль, машина столкнулась (во всех смыслах этого слова) с неожиданным препятствием: шоссе пересекала белая фура, а Tesla понеслась прямо под прицеп, убив владельца автомобиля на месте. (Похоже, машина несколько раз предупреждала водителя, что ему следует взять управление на себя, но тот, по-видимому, был слишком расслаблен, чтобы быстро отреагировать.) Мораль этой истории ясна: то, что какое-то устройство может показаться «умным» на мгновение или два (да пусть и полгода), вовсе не означает, что это действительно так или что оно может справиться со всеми обстоятельствами, в которых человек отреагировал бы адекватно.

Вторую проблему мы называем иллюзией быстрого прогресса: ошибочно принимать прогресс в искусственном интеллекте, связанный с решением легких проблем, за прогресс, связанный с решением по-настоящему сложных проблем. Так, например, произошло с системой IBM Watson: ее прогресс в игре Jeopardy! казался очень многообещающим, но на самом деле система оказалась куда дальше от понимания человеческого языка, чем это предполагали разработчики.

Вполне возможно, что и программа AlphaGo компании DeepMind пойдет по тому же пути. Игра го, как и шахматы, – это идеализированная информационная игра, где оба игрока могут в любой момент видеть всю доску и рассчитывать последствия ходов методом перебора. В большинстве случаев из реальной жизни никто ничего не знает с полной уверенностью; наши данные часто бывают неполными или искаженными. Даже в самых простых случаях существует много неопределенности. Когда мы решаем, идти ли к врачу пешком или поехать на метро (поскольку день пасмурный), мы не знаем точно, сколько времени потребуется для того, чтобы дождаться поезда метро, застрянет ли поезд по дороге, набьемся ли мы в вагон как сельди в бочке или мы промокнем под дождем на улице, не решившись на ехать на метро, и как доктор будет реагировать на наше опоздание. Мы всегда работаем с той информацией, какая у нас есть. Играя в го сама с собой миллионы раз, система DeepMind AlphaGo никогда не имела дела с неопределенностью, ей попросту неизвестно, что такое нехватка информации или ее неполнота и противоречивость, не говоря уже о сложностях человеческого взаимодействия.

Существует еще один параметр, по которому интеллектуальные игры наподобие го сильно отличаются от реального мира, и это опять имеет отношение к данным. Даже сложные игры (если правила их достаточно строги) могут быть смоделированы практически идеально, поэтому системы искусственного интеллекта, которые в них играют, могут без труда собрать огромные объемы данных, требующихся им для обучения. Так, в случае с го машина может симулировать игру с людьми, просто играя сама против себя; даже если системе потребуются терабайты данных, она сама же их и создаст. Программисты могут таким образом получить абсолютно чистые данные моделирования практически без затрат. Напротив, в реальном мире идеально чистых данных не существует, невозможно их и смоделировать (поскольку правила игры постоянно меняются) и тем более затруднительно собрать многие гигабайты релевантных данных методом проб и ошибок. В действительности на апробацию разных стратегий у нас имеется всего несколько попыток. Мы не в состоянии, например, повторить посещение врача 10 миллионов раз, постепенно корректируя параметры решений перед каждым визитом, чтобы кардинально улучшить наше поведение в плане выбора транспорта. Если программисты хотят обучить робота для помощи пожилым людям (скажем, чтобы он помогал уложить немощных людей в постель), каждый бит данных будет стоить реальных денег и реального человеческого времени; здесь нет возможности собрать все требуемые данные с помощью симуляционных игр. Даже манекены для краш-тестов не могут стать заменой реальным людям. Нужно собирать данные о настоящих пожилых людях с разными особенностями старческих движений, о разных видах кроватей, разных видах пижам, разных типах домов, и здесь нельзя допускать ошибок, ведь уронить человека даже на расстоянии нескольких сантиметров от кровати было бы катастрофой. В данном случае на карту поставлены реальные жизни⁶. Как IBM обнаруживала не один, а уже целых два раза (сначала в шахматах, а затем в Jeopardy!), успех в задачах из закрытого мира совершенно не гарантирует успеха в мире открытом.

Третий круг описываемой пропасти – это переоценка надежности. Снова и снова мы видим, что, как только люди с помощью искусственного интеллекта находят решение какой-то проблемы, которое способно функционировать без сбоев некоторое время, они автоматически предполагают, что при доработке (и с несколько большим объемом данных) оно будет надежно работать все время. Но это вовсе не обязательно так.

Берем опять автомобили без водителей. Сравнительно легко создать демоверсию беспилотного автомобиля, который будет правильно двигаться по четко размеченной полосе на спокойной дороге; впрочем, люди умеют это делать уже больше века. Однако куда сложнее заставить эти системы работать в сложных или неожиданных обстоятельствах. Как рассказала нам в письме Мисси Каммингс, директор Лаборатории человека и автономных механизмов (Humans and Autonomy Laboratory) Университета Дьюка (и бывший летчик-истребитель ВМС США), вопрос не в том, сколько миль машина без водителя может проехать, не попав в аварию, а в том, насколько эти автомобили умеют адаптироваться к меняющимся ситуациям. По ее словам, современные полуавтономные транспортные средства «обычно работают только в очень узком диапазоне условий⁷, которые ничего не говорят о том, как они могут работать при условиях, отличающихся от идеальных». Выглядеть почти абсолютно надежным на миллионах пробных миль в Фениксе не означает хорошо функционировать во время муссона в Бомбее.

Это принципиальное различие между тем, как автономные транспортные средства ведут себя в идеальных условиях (например, солнечные дни на загородных многополосных дорогах), и тем, что они могли бы сделать в экстремальных условиях, легко может сделаться вопросом успеха и провала целой отрасли. Из-за того что так мало внимания уделяется автономному вождению в экстремальных условиях и что современная методология не развивается в том направлении, чтобы гарантировать корректную работу автопилота в условиях, которые только-только начинают рассматриваться по-настоящему, вполне возможно, скоро выяснится, что миллиарды долларов были потрачены на методы построения беспилотных автомобилей, которые просто не в состоянии обеспечить надежность вождения, сравнимую с человеческой. Возможно, что для достижения того уровня уверенности в технике, который нам необходим, потребуются подходы, кардинально отличные от нынешних.

И автомобили – это лишь один пример из множества аналогичных. В современных исследованиях искусственного интеллекта его надежность была недооценена глобально. Отчасти это случилось потому, что большинство нынешних разработок в этой области связано с проблемами, имеющими высокую устойчивость к ошибкам, например рекомендации по развитию рекламы или продвижению новых товаров. Действительно, если мы порекомендуем вам пять видов продукции, а понравятся вам только три из них, никакого вреда не случится. Но в целом ряде важнейших для будущего сфер применения искусственного интеллекта, включая автомобили без водителя, уход за пожилыми людьми и планирование медицинского обслуживания, решающее значение будет иметь надежность, сопоставимая с человеческой. Никто не купит домашнего робота, который способен благополучно донести до постели вашего престарелого дедушку лишь в четырех случаях из пяти.

Даже в тех задачах, где современный искусственный интеллект должен теоретически предстать в самом лучшем свете, регулярно случаются серьезные сбои, иногда выглядящие очень забавно. Типичный пример: компьютеры в принципе уже неплохо научились распознавать, что находится (или происходит) на том или ином изображении. Иногда эти алгоритмы работают прекрасно, но зачастую выдают совершенно невероятные ошибки. Если вы показываете изображение автоматизированной системе, генерирующей подписи к фотографиям повседневных сцен, вы нередко получаете ответ, удивительно похожий на то, что написал бы и человек; например, для сцены ниже, где группа людей играет во фрисби, широко разрекламированная система генерации субтитров от Google дает совершенно правильное название (рис. 1.1).

Рис. 1.1. Группа молодых людей, играющих во фрисби (правдоподобная подпись к фотографии, автоматически генерируемая AI)

Но пятью минутами позже вы с легкостью можете получить от этой же системы совершенно абсурдный ответ, как вышло, например, с этим дорожным знаком, на который кто-то налепил наклейки: компьютер назвал эту сцену «холодильником с большим количеством еды и напитков» (рис. 1.2).

Точно так же автомобили без водителя часто правильно идентифицируют то, что они «видят», но иногда они как бы не замечают совершенно очевидных вещей, как в случае с Tesla, которые в режиме автопилота регулярно врезались в припаркованные пожарные машины или машины скорой помощи. Слепые зоны, подобные этим, могут быть еще более опасными, если они кроются в системах, контролирующих электросети или ответственных за мониторинг здоровья населения.

Рис. 1.2. Холодильник, заполненный множеством еды и напитков (абсолютно неправдоподобный заголовок, созданный той же системой, что и выше⁸)

Чтобы преодолеть пропасть между амбициями и реалиями искусственного интеллекта, нам нужны три вещи: ясное осознание тех ценностей, которые поставлены на карту в этой игре, отчетливое понимание того, почему современные системы ИИ не выполняют своих функций достаточно надежно, и, наконец, новая стратегия развития машинного мышления.

Поскольку с точки зрения рабочих мест, безопасности и структуры общества ставки на искусственный интеллект действительно высоки, то существует настоятельная необходимость для всех нас: ИИ-профессионалов, представителей смежных профессий, рядовых граждан и политиков – понять истинное состояние дел в данной области, чтобы научиться критически оценивать уровень и характер развития сегодняшнего искусственного интеллекта. Точно так же, как для граждан, интересующихся новостями и статистикой, важно понять, как легко вводить людей в заблуждение словами и цифрами, так и здесь становится все более значительным аспект понимания, чтобы мы были в состоянии разобраться в том, где искусственный интеллект – это лишь реклама, а где он реален; что он в состоянии делать уже сейчас, а что не умеет и, возможно, не научится.

Важнее всего осознать, что искусственный интеллект – это не волшебство, а просто набор технических приемов и алгоритмов, каждый из которых имеет свои сильные и слабые стороны, подходит для одних задач и не подходит для других. Одна из основных причин, по которой мы взялись написать эту книгу, заключается в том, что многое из того, что мы читаем об искусственном интеллекте, представляется нам абсолютной фантазией, растущей из ничем не обоснованной уверенности чуть ли не в магической силе искусственного интеллекта. Между тем к современным технологическим возможностям этот вымысел не имеет никакого отношения. К сожалению, обсуждение ИИ среди широкой публики в значительной степени находилось и находится под сильным влиянием домыслов и преувеличений: большинство людей не имеют представления о том, насколько трудной задачей является создание универсального искусственного интеллекта.

Давайте внесем ясность в дальнейшее обсуждение. Хотя прояснение реалий, связанных с ИИ, потребует от нас серьезной критики, мы сами ни в коем случае не противники искусственного интеллекта, нам очень нравится эта сторона технического прогресса. Мы прожили значительную часть своей жизни как профессионалы в этой области и хотим, чтобы она развивалась как можно быстрее. Американский философ Хьюберт Дрейфус однажды написал книгу о том, каких высот, по его мнению, искусственный интеллект не сможет достичь никогда. Наша книга не об этом. Отчасти она посвящена тому, что ИИ не может сделать в настоящее время и почему важно это понимать, но значительная часть ее рассказывает о том, что можно было бы сделать, чтобы улучшить компьютерное мышление и распространить его на области, где сейчас оно с трудом делает первые шаги. Мы не хотим, чтобы искусственный интеллект исчез; мы хотим, чтобы он улучшился, притом – радикально, так, чтобы мы могли действительно рассчитывать на него и решить с его помощью многочисленные проблемы человечества. У нас есть много критических фраз о текущем состоянии искусственного интеллекта, но наша критика – это проявление любви к науке, которой мы занимаемся, а не призыв к тому, чтобы сдаться и все забросить.

Одним словом, мы верим, что искусственный интеллект действительно может серьезно преобразовать наш мир; но также мы верим и в то, что многие базовые представления, касающиеся ИИ, должны измениться, прежде чем можно будет говорить о реальном прогрессе. Предлагаемая нами «перезагрузка» искусственного интеллекта – вовсе не повод поставить крест на исследованиях (хотя некоторые могут понять нашу книгу именно в таком духе), а скорее диагноз: где мы сейчас завязли и как нам выбраться из сегодняшней ситуации.

Мы полагаем, что лучшим способом продвижения вперед может быть взгляд внутрь, обращенный к структуре нашего собственного разума. По-настоящему интеллектуальные машины не обязательно должны быть точной копией людей, но любой, кто честно смотрит на искусственный интеллект, увидит: ему есть еще много чему поучиться у людей, особенно у маленьких детей, которые во многих отношениях намного превосходят машины по способности впитывать и понимать новые концепции. Ученые-медики часто характеризуют компьютеры как «сверхчеловеческие» (в том или ином отношении) системы, однако человеческий мозг все еще значительно превосходит свои кремниевые аналоги по крайней мере в пяти аспектах: мы можем понимать язык, мы можем понимать мир, мы можем гибко адаптироваться к новым обстоятельствам, мы можем быстро осваивать новые вещи (даже без больших объемов данных) и можем рассуждать перед лицом неполной и даже противоречивой информации. На всех этих фронтах современные системы искусственного интеллекта находятся безнадежно позади человека. Мы попытаемся также доказать, что нынешняя одержимость созданием «чистых» машин, которые все изучают с нуля, основываясь исключительно на данных, а не на знаниях, является серьезной стратегической ошибкой.

Если мы хотим, чтобы машины рассуждали, воспринимали язык, понимали мир, эффективно обучались и обладали гибкостью, подобной человеческой, нам, возможно, потребуется сначала понять, как это удается делать самим людям, и получше разобраться в том, что именно представляет из себя наш разум (подсказка: мы не ищем бесконечные корреляции, которые легко подвластны глубокому машинному обучению). Возможно, что только повернувшись лицом к этим задачам мы сможем начать «перезагрузку», в которой так отчаянно нуждается нынешний искусственный интеллект, и создать глубокие, надежные и заслуживающие доверия мыслящие компьютерные системы.

В мире, где искусственный интеллект скоро станет таким же обычным явлением, как электричество, трудно найти более важную миссию.

Глава 2
Насколько высоки ставки?

Много что может пойти не так, если мы будем слепо доверять большим данным.
Кэти О'Нил, Ted Talk, 2017

Не так давно – 23 марта 2016 года – компания Microsoft выпустила новый чат-бот Tay⁹, в основе которого лежала захватывающая идея: его не разрабатывали целиком заранее (как самый первый чат-робот, названный Элизой), вместо этого он создавался по большей части на основе изучения взаимодействия с пользователем. Более ранний аналогичный проект Xiaoice, запущенный в Китае и общавшийся с пользователями, естественно, на китайском языке, завоевал у себя в стране огромный успех, так что и у Microsoft были большие надежды.

К сожалению, весь проект рухнул, не прожив и одного дня¹⁰. Некая злонамеренная группа интернет-пользователей решила поэкспериментировать с «моральной устойчивостью» бота и за рекордно короткое время сделала из Tay злобного сексиста и антисемита. Как говорится, с кем поведешься… Бедный робот, совершенно сбитый с толку, публично разразился твитами типа «Я ненавижу феминисток» и «Гитлер был прав: я ненавижу евреев».

В интернете повсюду полно разных проблем, то мелких, то покрупнее. Кто-то из вас, вероятно, читал про то, как Alexa¹¹ перепугала своих владельцев неожиданными смешками. Ходят анекдоты о системе распознавания лиц у iPhone, которая не сумела разобрать, где на фотографиях была женщина, а где – ее сын, и о том, как робот-пылесос Roomba, столкнувшись с собачьими экскрементами, рисует на полу абстрактные картины в стиле Джексона Поллака, производя в результате настоящий «какапокалипсис».

Если же говорить более серьезно, то детекторы оскорбительной речи, встроенные в чат-боты и другие системы компьютерной коммуникации в интернете, обмануть очень легко. Существуют и системы автоматизированного отбора кандидатов на работу, которые неизменно демонстрируют предвзятость, а также веб-браузеры и механизмы рекомендаций (также основанные на инструментах искусственного интеллекта), которые можно настроить так, чтобы они подталкивали людей к вере в нелепые теории всемирного заговора. В Китае система распознавания лиц, используемая полицией, отправила квитанцию с требованием выплаты штрафа за переход улицы в неположенном месте невинному человеку, который имел несчастье оказаться известным предпринимателем. Фотография этого человека была размещена снаружи на автобусе, а система сочла, что предприниматель самолично несется по транспортной полосе (странно, что его еще не оштрафовали за превышение скорости…). Автопилот Tesla, по-видимому, поставленный на режим «Ко мне!» («Summon»), разбил машину при выезде из гаража владельцев, а обладатели автоматизированных роботов-газонокосилок не раз жаловались на то, что те калечат или убивают ежей, случайно оказавшихся в траве. Коротко говоря, искусственному интеллекту в том виде, в котором мы имеем его сейчас, просто нельзя доверять. Хотя часто автоматизированные системы ведут себя совершенно правильно, мы никогда не можем быть уверены в том, что завтра они не «порадуют» нас ошибками, которые в лучшем случае досадны, а в худшем – опасны.

И чем больше полномочий мы даем искусственному интеллекту, тем больше у нас поводов для волнений. Некоторые сбои скорее забавны, например Alexa, которая внезапно хихикает (или будит пользователя посреди ночи, как это случилось с одним из нас), или система полуавтоматического набора текста в iPhone¹², которая исправляет то, что звучало как «Поздравления от поклонников!», на «Поздравления от покойников!». Однако другие случаи, например алгоритмы, которые распространяют поддельные новости или создают предвзятость по отношению к кандидатам на должность, представляют уже серьезную проблему для нашей нормальной жизни. В отчете группы AI Now подробно изложено множество таких ошибок в системах искусственного интеллекта в самых разных приложениях, включая определение права на медицинское обслуживание, вынесение приговоров к тюремному заключению и оценивание работы учителей. Системные ошибки в компьютерах на Уолл-стрит уже вызвали падения на фондовом рынке. Имели место пугающие вторжения искусственного интеллекта в личную жизнь (например, Alexa как-то записала разговор своего владельца и внезапно отправила его случайному человеку из списка его контактов). Про многочисленные, в том числе смертельные, автомобильные аварии мы уже несколько раз писали выше, и нас бы не удивило, если бы серьезные неисправности ИИ-алгоритмов обнаружились в управлении электрическими сетями. Если такое однажды произойдет в разгар летней жары или зимней стужи, может погибнуть немало людей, зависящих от обогревателей или кондиционеров.

Это не означает, что мы теперь должны не спать по ночам, переживая о наступлении в обозримом будущем эпохи Скайнета¹³ – мира, в котором роботы пытаются завладеть Землей и поработить человечество. Роботы пока что не обладают ни умом, ни физической ловкостью, чтобы надежно ориентироваться в мире, за исключением узкоспециализированных задач и условий. Поскольку их когнитивные способности крайне ограничены, заблокировать системы искусственного интеллекта можно в любой момент и множеством способов.

Что более важно, нет никаких оснований полагать, что даже такие роботы, какие часто изображаются в научной фантастике, действительно восстанут против нас. За шестьдесят лет изучения искусственного интеллекта тот ни разу не проявлял ни малейшего намека на антагонизм; машины до сих демонстрировали и продолжают демонстрировать полное отсутствие интереса к противостоянию с людьми за что-либо наподобие территорий, правообладания, ресурсов или интеллектуального доминирования. У них нет гормонов, гордыни или же необузданной жажды мирового господства. Системы искусственного интеллекта – узколобые трудоголики, настолько сосредоточенные на том, что они делают, что не осознают общей картины мира.

Возьмем для примера игру го, которая технически состоит в захвате территории. В масштабах игровой доски это, по существу, равносильно захвату мира. В 1970-х годах компьютерные программы для игры в го были вопиюще примитивными, их легко побеждал любой порядочный игрок, но они не проявляли никаких признаков желания отомстить людям за это, вмешиваясь в дела человечества. Сорок лет спустя такие программы, как AlphaGo, стали фантастически успешными и намного превзошли даже лучших игроков-людей; но они по-прежнему проявляют нулевой интерес к захвату чего-либо еще, кроме игрового поля, и не пытаются загнать своих программистов в зоопарк. Все, что находится вне доски, находится и вне сферы их интереса или влияния.

Система AlphaGo и ей подобные просто не ставят таких вопросов, как «Есть ли жизнь вне доски для игры в го?», не говоря уже о чем-то вроде «Справедливо ли, что мои хозяева-люди заставляют меня играть в го целыми днями и не оставили мне в жизни ничего другого?». На самом деле AlphaGo буквально не имеет никакой «жизни» вне доски или чего-то похожего на любопытство; она не знает, что в игру обычно играют камнями, или даже того, что за пределами сетки из полей, на которой она играет, существует иной мир. Она не знает, что сама питается электричеством или что ее противник – человек, а не другая система. Она не помнит, что в прошлом провела много партий в го сама с собой, и не имеет представления о том, будет ли она играть в будущем. Она не радуется, когда побеждает, не огорчается, когда проигрывает, и не гордится прогрессом, достигнутым в обучении игре в го. Те многочисленные разновидности человеческих мотиваций, что приводят к агрессии или соперничеству в мире людей, совершенно ей чужды. Если бы вы хотели дать такому алгоритму какие-то человеческие характеристики (другой вопрос, есть ли в том смысл), вы бы просто сказали, что AlphaGo совершенно довольна тем, что делает, и не выказывает никаких желаний сверх того.

То же самое можно сказать и об искусственном интеллекте, который занимается медицинской диагностикой, рекламными рекомендациями, навигацией или чем-то еще. Машины, по крайней мере в их текущей «инкарнации», делают только то, на что они запрограммированы, и не способны ни к чему другому. Пока мы продолжаем развивать искусственный интеллект в том же направлении, никакие проблемы, связанные с выходом машин из-под контроля и порабощением людей, нас не должны беспокоить. Как выразился известный психолингвист Стивен Пинкер, такой сценарий [что роботы однажды станут сверхразумными и поработят людей] обоснован не более, чем опасение, что реактивные самолеты начнут воровать у фермеров скот только потому, что по своим летным характеристикам они превзошли орлов.

Главная ошибка в «теории заговора машин» – это смешение интеллекта (точнее – интеллектуальной производительности) с мотивацией, верований – с желаниями, умозаключений – с целями, мышления – с желанием. Даже если бы мы изобрели сверхчеловечески разумных роботов, зачем им хотеть поработить своих хозяев или захватить мир? Интеллект – это способность использовать информацию для достижения цели. Однако цель и интеллект могут существовать порознь: быть умным – совсем не то же самое, что хотеть чего-то.

Чтобы захватить мир, роботы должны научиться хотеть; они должны быть агрессивными, амбициозными и неудовлетворенными, им должно быть знакомо насилие. Мы еще не сталкивались с искусственным интеллектом, хотя бы отдаленно напоминающим таких роботов. На данный момент у нас нет никакой необходимости создавать роботов, наделенных эмоциональными функциями, и даже никакой научной или технологической основы для их создания, захоти мы вдруг сконструировать нечто подобное. Люди постоянно используют различные эмоции, от любопытства до недовольства, как инструмент мотивации, но роботам не нужно ничего подобного, чтобы выполнять свою работу; они просто автоматически делают то, что от них требует человек.

Мы не сомневаемся, что когда-нибудь роботы будут обладать физическими и интеллектуальными способностями, которые потенциально могут сделать их для нас грозными противниками – конечно, если они захотят противостоять нам, – но по крайней мере сейчас и в обозримом будущем мы не можем назвать никаких причин, способных побудить машины к бунту.

Да, честно говоря, и не о том нам сейчас нужно заботиться. Чтобы на планете воцарился хаос, искусственному интеллекту совершенно не обязательно захотеть уничтожить нас. В краткосрочной перспективе мы должны больше всего беспокоиться о том, способны ли машины действительно выполнять задачи, которые мы им поручаем, а иначе даже самый лояльный робот может, не ведая того, учинить катастрофу.

Цифровой помощник, который планирует наше ежедневное расписание, неоценим, если он надежен. Если он случайно отправляет нас на важное собрание с опозданием на неделю, это катастрофа. Еще больше будет поставлено на карту, когда мы однажды введем в обиход домашних роботов. Если какой-то корпоративный титан разрабатывает домашнего робота, чтобы тот делал нам крем-брюле, мы явно захотим, чтобы тот работал исправно всегда, а не девять раз из десяти, чтобы на десятый раз поджечь нам кухню. Насколько нам известно, у машин нет и не было имперских амбиций, зато они «просто» ошибаются, и чем больше мы полагаемся на искусственный интеллект, тем больше и страшнее эти ошибки.

Еще одна проблема, которая пока еще далека от решения, заключается в том, что машины должны правильно определять наши намерения даже тогда, когда мы формулируем их не очень понятно, а то и очень непонятно. Одной из задач является преодоление того, что условно можно назвать «проблемой Амелии Беделии» – экономки из серии детских историй, которая слишком буквально воспринимает просьбы своего работодателя. Представьте себе, что вы говорите своему роботу-уборщику, когда отправляетесь утром на работу: «Возьми все, что осталось в гостиной, и убери это в шкаф». Вернувшись вечером, вы, естественно, обнаруживаете, что все (буквально все: телевизор, мебель, ковер) разбито или разрезано на маленькие кусочки и аккуратно сложено в шкафу (рис. 2.1).

Рис. 2.1. «Разбери все, что осталось в гостиной, и сложи в шкаф»

Кроме того, у машины легко могут возникнуть проблемы с человеческими речевыми ошибками, особенно часто встречающимися при уходе за пожилыми людьми с когнитивными проблемами. Если дедушка просит положить обед в мусорное ведро, а не на обеденный стол, у хорошего робота должно хватить ума, чтобы убедиться, что его подопечный действительно хочет этого, а не ошибся в словах. Используя недавно разошедшуюся популярную фразу, мы хотим, чтобы наши роботы воспринимали нас «всегда всерьез, но не всегда буквально».

Конечно, любые технологии могут потерпеть неудачу, даже самые старые и давно отработанные. Незадолго до того, как мы начали работать над этой книгой, в Майами спонтанно обрушился пешеходный мост, убив шесть человек (и произошло это всего через пять дней после его установки), несмотря на то что люди возводят мосты более трех тысячелетий и некоторые из самых древних мостов (например, мост Аркадико, построенный в 1300 году до н э.) стоят до сих пор.

Мы, естественно, не можем ожидать, что искусственный интеллект будет идеально работать с первого дня, и в некоторых случаях существует достаточно причин, чтобы мириться с краткосрочными рисками ради достижения долгосрочных выгод; скажем, даже если сейчас несколько человек и погибнут при разработке автомобилей без водителя, но сотни тысяч или миллионы жизней в конечном итоге будут благодаря этому спасены, риск, возможно, стоит того. Тем не менее до тех пор, пока сама современная концепция искусственного интеллекта не будет переосмыслена и улучшена фундаментальным образом, рисков у нас будет слишком много. Вот девять проблем, которые заставляют нас беспокоиться больше всего.

Во-первых, как мы уже говорили в первой главе, существует фундаментальная ошибка оценки подлинности. Соблазнительно бывает поверить в то, что искусственный интеллект обладает человеческим интеллектом, даже когда такого нет и в помине. Как отметил социолог из Массачусетского технологического института Шерри Теркл, «дружелюбный» робот-компаньон на самом деле не является вашим другом. Мы можем действовать слишком поспешно, вручая слишком много полномочий искусственному интеллекту, ошибочно предполагая, что успех в одном контексте гарантирует надежность и в других обстоятельствах. Один из наиболее очевидных примеров этого мы уже упоминали: автомобили без водителя дают хорошие показатели в идеализированных условиях, но не гарантируют безопасность при более реалистичных. В качестве более сложного примера приведем такую историю: недавно в Канзасе полицейские остановили иностранного водителя и использовали Google Translate, чтобы получить согласие на обыск его машины. Позднее судья обнаружил, что качество перевода было настолько низким, что нельзя было счесть, что водитель дал информированное согласие, и в результате постановил, что обыск нарушает четвертую поправку к Конституции США. Пока искусственный интеллект не станет работать радикально лучше, мы должны быть осторожны и не доверять ему слишком сильно.

Во-вторых, недостаток надежности, о котором мы также говорили выше. Опять-таки речь может зайти об автомобилях без водителя, которых необходимо научить справляться с необычным освещением, плохой погодой, странно выглядящим мусором на дороге, непривычными схемами движения, людьми, ведущими себя непредсказуемо, и т. д. Надежность также необходима системам, которые управляют вашим личным и деловым календарем; если приложение оказывается сбитым с толку, когда вы едете из Калифорнии в Бостон (из-за смены поясного времени), и в результате вы опаздываете на встречу на три часа, то это никуда не годится. Необходимость кардинально улучшить надежность искусственного интеллекта, таким образом, очевидна.

В-третьих, современное машинное обучение находится в сильной зависимости от точности и объема обучающих данных, и такие системы часто дают сбои, если попытаться их применить к иным задачам, выходящим за рамки тех конкретных наборов данных, на которых они обучались. Системы машинного перевода, обученные на юридических документах, плохо работают с медицинской лексикой, и наоборот. Системы распознавания голоса, обученные только на примере взрослых и нативноговорящих людей, часто не могут справиться с детской речью или иностранными акцентами. Технология, очень похожая на ту, что легла в основу создания чат-бота Tay, прекрасно работала, когда получала обратную связь от общества, в котором политические высказывания жестко регулируются, но приводила к неприемлемым результатам при отсутствии тотального контроля. Система глубокого обучения, которую научили распознавать цифры при печати черным цветом на белом фоне с точностью 99 %, при смене цветов внезапно давала отказ, возвращая правильные значения только в 34 % случаев. Вряд ли такое вас вдохновит, когда вы вспомните о том, что на Гавайях существует дорожный стоп-знак синего цвета. Ученый-компьютерщик Джуди Хоффман из Стэндфордского университета показала, что автономный автомобиль, чья система визуального распознавания была обучена в одном городе, может значительно хуже работать в другом, даже с точки зрения выявления самых базовых объектов, таких как дороги, дорожные знаки и различные типы автомобилей.

В-четвертых, выборки данных, получаемые слепым методом, могут способствовать тиражированию устаревших социальных предубеждений. Один из первых подобных случаев произошел в 2013 году, когда ученый из Гарварда Латаня Суини обнаружила, что, если вы выполняете поиск в Google по имени, характерному для чернокожих американцев, например Джермейн, вы, как правило, получаете значительно больше результатов, где фигурирует информация об арестах, чем когда вы используете имя, характерное для белого населения Америки (скажем, Джеффри). Два года спустя, в 2015 году, приложение Google Photos сочло, что некоторые фотографии афроамериканцев содержат изображения горилл. В 2016 году кто-то обнаружил, что если вы выполняете поиск картинок в Google по запросу «Формальная прическа для работы», то вам выпадают картинки, на которых почти все женщины – белые, тогда как если вы введете «Неформальная прическа для работы», то на изображениях будут абсолютно доминировать черные женщины. В 2018 году Джой Буоламвини, аспирант Media Lab в Массачусетском технологическом институте, обнаружил, что множество коммерческих алгоритмов имеют тенденцию неверно определять пол афроамериканских женщин. Компания IBM стала первой, кто исправил эту конкретную проблему, и Microsoft быстро последовала их примеру, но, насколько нам известно, никто еще не придумал ничего похожего на общее решение аналогичной задачи для интеллектуальных систем в целом.

Даже сейчас, когда мы пишем эти строки, легко найти похожие примеры. Однажды мы выполнили экспериментальный поиск изображений «мать» в Google и обнаружили, что подавляющее большинство изображений были представлены белыми людьми – это очевидный артефакт сбора данных в интернете и явное искажение действительности. Когда мы ввели слово «профессор», в выборке самых популярных изображений женщин было лишь около 10 %; возможно, это попросту отражало то, как жизнь в колледже изображают в Голливуде, но такой расклад явно не соответствует современной реальности, в которой женщины составляют примерно половину академических преподавателей. Система подбора персонала на базе искусственного интеллекта, запущенная компанией Amazon в 2014 году, показала себя в итоге настолько проблематичной, что через три года от нее пришлось отказаться. Мы не думаем, что подобные проблемы непреодолимы, – как мы увидим позже, смена парадигмы в разработке искусственного интеллекта может оказать здесь огромную помощь. Тем не менее сейчас общего решения для них не существует.

Основная сложность заключается в том, что современные системы искусственного интеллекта «зеркалят» входные данные независимо от их социальных ценностей, качества или эмоциональной окраски. Статистические данные правительства США говорят нам, что в настоящее время только 41 % преподавателей – белые мужчины, но алгоритм поиска картинок в Google этого не знает; он просто сваливает в кучу все найденные изображения, не задумываясь о качестве и репрезентативности данных или об их семантике, выраженной в явной или неявной форме. Демография факультетской жизни постоянно прогрессирует, но слепые «датачерпатели» ничего не сортируют и выдают нам в качестве актуальной информации историю, а не существующие реалии.

Похожие соображения немедленно приходят в голову и когда мы вспоминаем о все возрастающей роли, которую системы искусственного интеллекта начинают играть в медицине¹⁴. Например, наборы данных, используемые для обучения программ диагностики рака кожи, могут быть ориентированы на белых пациентов и давать неверные результаты при использовании на пациентах с иным цветом кожи. Даже автомобили с автоматическим управлением могут быть менее надежными в распознавании темнокожих пешеходов, чем светлокожих. На карту уже давно поставлены жизни, однако современные системы все еще остаются неустойчивыми к человеческим предубеждениям.

Проблему номер пять можно описать как эффект «испорченного телефона». Сильная зависимость современного искусственного интеллекта от тренировочных наборов данных может привести к опасным последствиям из-за того, что ИИ-системы нередко обучаются на данных, которые они же сами генерировали в предшествующее время, а в них наверняка будут ошибки, связанные с более ранними периодами обучения. Например (мы обсудим это подробнее в главе 4), программы перевода работают, изучая сопряженные фрагменты из пары документов, один из которых является переводом другого. К сожалению, есть немало языков, на которых значительная часть текстов в интернете – в некоторых случаях до 50 % всех веб-документов – не являются оригинальными, а были когда-то созданы программами машинного перевода из оригиналов, написанных на более распространенных языках. В результате, если, скажем, Google Translate допускает какую-либо ошибку при переводе, эта ошибка может надолго сохраниться в документе, осевшем в интернете, а этот документ затем попадает в число данных, использующихся при машинном обучении, что приводит к тиражированию ошибки и усиливает неточность связанных переводов.

Нечто подобное происходит и когда многие системы искусственного интеллекта полагаются на результаты работы краудсорс-исполнителей, например, маркирующих изображения. По идее, они должны делать эту работу вручную, обеспечивая точность, типичную для человеческого восприятия, но иногда нанимаемые таким образом работники (контроль за деятельностью которых затруднителен) попросту халтурят, маркируя изображения не самостоятельно, а используя для этого тех же ботов, основанных на искусственном интеллекте. Хотя ученые и программисты, занимающиеся разработкой ИИ, в свою очередь, придумали технологии проверки того, выполняется ли та или иная работа людьми или же ботами, надзор за качеством работы становится в итоге игрой в кошки-мышки между разработчиками с одной стороны и лентяями-исполнителями, использующими боты, – с другой. Преимущество в этой игре постоянно переходит от одних к другим, и в результате многие данные, которые предположительно должны быть высококачественными (то есть созданными под контролем человека), оказываются на самом деле целиком сгенерированными машинами.

В-шестых, многие программы полагаются в значительной мере на данные, которыми может манипулировать широкая публика, а люди склонны к тому, чтобы пользоваться этим ради забавы или выгод. Microsoft Tay попал именно в такую ловушку. Поисковые системы Google регулярно попадают под обстрел пользовательскими постами, называемыми по-английски Google bombs. Суть его состоит в том, что пользователи создают большое количество постов определенного содержания и ссылок на них, так что поиск по некоторым терминам дает результаты, которые некоторые люди находят «прикольными». Например, в июле 2018 года интернет-шутникам удалось заставить Google Images выдавать по запросу «идиот» фотографии Дональда Трампа. (Эта «забава» продолжалась и позднее в том же году, когда Сундар Пичаи имел беседу с Конгрессом США.) Шестнадцатью годами ранее аналогичный розыгрыш (довольно неприличный по содержанию) был предпринят в отношении сенатора США Рика Санторума. Однако люди одурачивают Google не только чтобы повеселиться; существует целая индустрия поисковой оптимизации, связанная с манипулированием поисковыми системами для того, чтобы обеспечить различным клиентам высокий рейтинг при поиске в интернете.

В-седьмых, особую опасность представляет сочетание ранее существовавших социальных предубеждений и эффекта «испорченного телефона», которое может привести в итоге к усилению и закреплению неадекватных мер управления. Предположим, что некогда в определенных городах или штатах правоохранительные органы и уголовные суды были несправедливо предвзяты по отношению к определенной группе населения и выносили им приговоры гораздо чаще, чем остальным людям. Теперь администрация решает использовать методы искусственного интеллекта для работы с обширными данными, чтобы получать более объективные рекомендации по вопросам полицейской деятельности и вынесения приговоров. Однако программа обучается не только на современных данных, но и на большом количестве исторических, согласно которым опасность тех или иных людей или групп населения оценивается с точки зрения статистики арестов и тюремных сроков. Программа увидит, что опасные преступники (идентифицированные в соответствии с указанным алгоритмом) происходят по большей части из определенных меньшинств, поэтому она будет рекомендовать, чтобы районы с более высоким процентом этих меньшинств получали большее внимание полиции и чтобы представители этих меньшинств арестовывались при первом подозрении и получали бы при прочих равных более длительные сроки. Когда программа стартует с новым набором данных, эти данные как бы подкрепляют сами себя, и система будет склонна давать те же предвзятые рекомендации, причем с еще большей уверенностью.

Как подчеркивала Кэти О'Нил, автор книги «Математика как оружие массового поражения» (Weapons of Math Destruction), даже если программа написана так, чтобы не использовать расовую и этническую принадлежность в качестве критериев, существуют так называемые прокси (всевозможные функции, связанные – то прямо, то косвенно – с критериями, которых мы хотим избежать), использование которых приведет к тому же самому результату; это может быть соседство по месту жительства, связи в социальных сетях, образование, работа, язык и, возможно, даже такие вещи, как предпочтения в одежде. Более того, решения, которые принимает программа, будучи чисто алгоритмической по своей природе, имеют ауру объективности, которая так вдохновляет публику и в которой так остро нуждаются чиновники и руководители компаний. Работа программ таинственна – данные обучения конфиденциальны, программа запатентована, процесс принятия решений, по сути, является «черным ящиком», в котором даже разработчики программ не могут разобраться до конца, – поэтому для большинства людей даже психологически почти невозможно оспаривать решения искусственного интеллекта, которые они воспринимают как явно несправедливые.

Несколько лет назад известная компания Xerox решила сократить отток сотрудников, который обходился им слишком дорого, поэтому они развернули программу для работы с большими данными, чтобы предсказать, как долго пробудет тот или иной сотрудник в их фирме. Программа обнаружила, что одним из самых сильных факторов быстрого увольнения является время в пути из дома на работу. В принципе неудивительно, что сотрудники, которым приходится добираться до своего рабочего места слишком долго, как правило, меняют место работы при первой возможности. Однако руководство Xerox осознало, что отказ от найма людей, живущих далеко, приведет к дискриминации людей с низким или средним уровнем дохода, поскольку все здания компании находились в богатом районе. К своей чести, руководство удалило этот критерий как неприемлемый. Но без тщательного контроля со стороны человека подобной предвзятости избежать крайне трудно.

Следующая, восьмая проблема современных систем искусственного интеллекта состоит в том, что цели, поставленные перед ними, очень часто реализуются совершенно бессмысленным образом. Исследовательница из компании DeepMind Виктория Краковна собрала десятки примеров этого. Так, робот, играющий в футбол, которого во время обучения поощряли касаться мяча как можно чаще, изобрел неожиданную стратегию: он становился рядом с мячом и быстро вибрировал. Понятно, что это резко увеличивало число касаний, но к футболу такая игра не имеет никакого отношения. Другой робот, который должен был научиться поднимать конкретный объект, был обучен на изображениях того, как этот объект выглядит. Поэтому в итоге он решил, что достаточно просто поместить свою руку между камерой и объектом, чтобы на изображении было похоже, будто он действительно хватает предмет. Третий робот, чей искусственный интеллект, очевидно, отличался недостатком амбициозности, обучался игре в тетрис и в конечном счете догадался, что проще всего будет заморозить развитие игры на неопределенный срок: так он точно не проиграет.

Рис. 2.2. Робот, которого поощряли касаться мяча как можно больше раз, выработал стратегию: стоять рядом с мячом и быстро вибрировать

Проблема неправильно понятых целей может принимать и более тонкие формы. Еще на заре машинного обучения некая молочная компания наняла компьютерную фирму для создания ИИ-системы, которая могла бы предсказать, когда та или иная корова впадает в эструс. Технически цель, поставленная перед программой, состояла в том, чтобы с максимально возможной точностью генерировать бинарный прогноз «течка / отсутствие течки». Фермеры были очень рады узнать, что формальная точность системы оказалась на уровне 95 %, но реальность оставила их куда менее довольными. Дело в том, что коровы впадают в течку только на один день в двадцатидневном цикле; соответственно, максимально вероятный суммарный прогноз по дням получается в том случае, когда на любой день выдается один и тот же прогноз, а именно – «течки нет». Благодаря этому в девятнадцати случаях из двадцати (а это и есть 95 %) программа давала абсолютно правильный прогноз, что делало ее на редкость точной, но вместе с тем – совершенно бесполезной. Значит, если мы не изложим подробно все, что мы действительно хотим получить на выходе, то решение, создаваемое искусственным интеллектом, может оказаться абсолютно ни к чему не пригодным.

Наконец, из-за огромных масштабов, в которых может функционировать нынешний искусственный интеллект, уже сейчас появилось много способов, которыми использующие его системы (даже в еще довольно примитивной форме) могут причинить серьезный вред обществу и конкретным людям, если окажутся в руках злоумышленников и просто непорядочных лиц. В частности, так называемые сталкеры¹⁵ уже некоторое время используют несложные, но действенные системы искусственного интеллекта для мониторинга своих жертв и установления контроля за их жизнью. У спамеров история применения искусственного интеллекта куда дольше, с его помощью они идентифицируют потенциальных адресатов, уклоняются от проверки на веб-сайтах, предназначенных, чтобы убедиться, что пользователь – действительно человек (иконки-капчи и т. п.). Нет никаких сомнений и в том, что вскоре искусственный интеллект найдет применение в автономных системах вооружения¹⁶, хотя у нас пока остается некоторая надежда на то, что такое оружие будет запрещено, подобно химическому или биологическому. Политолог из Государственного университета штата Нью-Йорк Вирджиния Ойбэнкс отмечает: «Когда ксенофобы переходят к использованию эффективных технологий против "чужих" и вообще "иных", то при отсутствии реальных механизмов защиты прав человека открывается огромный простор для всевозможных злодеяний».

Ничто из сказанного выше не означает, что искусственный интеллект не может с успехом работать на благо людей, однако это возможно лишь только при фундаментальном изменении парадигмы, к чему мы, собственно, и призываем в этой книге. Мы уверены, что многие из технических проблем могут быть решены уже сейчас, но современные подходы не позволяют этого и не хотят меняться сами. Тот факт, что современный искусственный интеллект остается слепым рабом данных и не обладает каким-либо реальным пониманием этических ценностей (которым обычно следуют сами программисты и разработчики систем), вовсе не делает искусственный интеллект непременно уязвимым к старым проблемам в будущем. Люди тоже часто ориентируются на данные, но мы не делаем абсурдных выводов о том, что почти все отцы и дочери принадлежат белой расе или что работа футболиста, которого поощряют чаще касаться мяча, состоит в том, чтобы стоять рядом с мячом и едва постукивать по нему, не отпуская от себя. Если люди могут избежать подобных элементарных ошибок, машины тоже должны этому научиться.

Нельзя сказать, что в принципе невозможно создать физическое устройство, которое может вести машину в условиях сильного снегопада, или машинный интеллект с этическими нормами; дело, однако, в том, что мы не достигнем этого, опираясь исключительно на большие данные.

Что нам действительно нужно, так это новый подход с гораздо большим погружением в ту проблему, которую мы хотим решить в первую очередь: как создать справедливый и безопасный мир для всех. Вместо этого мы видим вокруг себя методы искусственного интеллекта, которые решают отдельные, узкие проблемы, обходя при этом проблемы основные, хотя именно их они призваны решить в конечном счете. Образно говоря, мы надеемся, что нам поможет лейкопластырь, когда в реальности нам требуется пересадка мозга.

Например, IBM удалось решить проблему плохой гендерной идентификации представителей некоторых рас (ее обнаружила Джой Буоламвини), создав новый набор для обучения, в который включили большое число фотографий представительниц афро-американского населения. Google решила свою проблему с оскорбительными подписями «горилла» под фотографиями чернокожих противоположным образом, удалив изображения горилл из тренировочного набора. Однако ни одно из этих решений не является общим: оба приема были разработаны лишь для того, чтобы слепой анализ данных делал правильные вещи, оставаясь слепым, вместо того чтобы научить его видеть по-настоящему.

Точно так же можно решить частную проблему столкновений Tesla с машинами скорой помощи, стоящими на шоссе (например, во время помощи пострадавшим в ДТП), добавив более совершенные датчики и соответствующий набор примеров, но кто поручится, что этот же механизм сработает с эвакуаторами, которые случайно остановились на обочине шоссе? Или со строительными и ремонтными машинами? Допустим, Google сумела неплохо решить проблему с изображениями матери (которые сначала почему-то почти все были белокожими), но точно такая же проблема легко может возникнуть со словом «бабушка», и так до бесконечности.

И до тех пор пока нашим доминирующим подходом будет оставаться ориентация на узкий искусственный интеллект и все большие и большие наборы данных, у интеллектуальной индустрии есть все шансы надолго застрять, непрерывно латая лоскутное одеяло, находя краткосрочные решения для бесконечных частных проблем, не обращая внимания на основные недостатки общего подхода, которые и делают эти проблемы вездесущими и не устранимыми целиком.

Чтобы избежать этих ошибок, нам требуются по-настоящему умные системы. Сегодня, как нам кажется, почти все возлагают большие надежды на то, что вскоре они появятся. Как мы объясним в следующей главе, это, скорее всего, серьезное заблуждение.

Глава 3
Глубокое обучение и так далее

А относительно идей, сущностей, абстракций и трансценденталий мне так и не удалось внедрить в их головы ни малейшего представления.
Джонатан Свифт. Путешествия Гулливера

Одно дело – ожидать, что элементарные частицы подчиняются простым универсальным законам. Другое дело – требовать того же от человеческой расы.
Сабина Хоссенфельдер. Затерянные в математике (Lost In Math)

Бóльшая часть нынешнего энтузиазма по поводу искусственного интеллекта проистекает из одного простого соображения: при прочих равных условиях чем больше у вас данных, тем лучше. Если вы хотите предсказать исход следующих выборов и можете опросить только 100 человек – что ж, надеюсь, вам повезет; если вы можете взять интервью у 10 000, ваши шансы на реальный успех намного выше.

На самом деле в первые годы существования искусственного интеллекта данных было немного, и методы, основанные исключительно на данных, не доминировали среди разработчиков. В большинстве исследований использовался подход, основанный на знаниях, иногда называемый «старым добрым ИИ» (Good Old Fashioned AI, или GOFAI) или же «классическим искусственным интеллектом». При классическом подходе исследователи обычно вручную кодируют те знания, которые машинный разум затем должен будет использовать для выполнения определенной задачи, а затем пишут компьютерные программы, которые используют эти знания, применяя их к различным когнитивным задачам, таким как понимание текста, проектирование роботов или поиск доказательств различных теорем. О сегодняшних больших данных речь еще даже не заходила, и старые программы редко полагались на использование значительных объемов информации как на панацею.

Хотя создать лабораторные прототипы искусственного интеллекта, основанные на классическом подходе, было в принципе возможно (впрочем, часто с огромными усилиями), пройти через этап тестирования, чтобы стать массовым продуктом, оказывалось для них крайне затруднительно. Вследствие этого общее количество классических систем искусственного интеллекта, имеющих какое-либо практическое значение, весьма невелико. Подобные методы все еще широко используются в определенных областях, таких как планирование маршрутов для роботов или GPS-навигация. В целом, однако, подход, ориентированный на знания, был почти целиком вытеснен машинным обучением, которое обычно пытается извлечь уроки из массовых данных, а не полагается на специализированные компьютерные программы, использующие знания, оцифрованные вручную.

Машинное обучение на самом деле тоже имеет очень долгую историю и восходит к 1950-м годам, когда Фрэнк Розенблатт создал так называемую нейронную сеть¹⁷ – одну из первых систем машинного обучения, задачей которой было научиться распознавать окружающие объекты (с помощью камеры), не требуя при этом от программистов заранее предвидеть все сложности, связанные с распознаванием. Эти системы почти сразу обратили на себя внимание специалистов и публики и в 1958 году благодаря нашумевшим публикациям в The New York Times получили очень широкую известность. Однако волна популярности быстро схлынула, поскольку реализация проекта была подорвана многочисленными техническими проблемами. Сети Розенблатта (которые, естественно, должны были работать на оборудовании 1950-х годов) не обладали достаточной мощностью; пользуясь современной терминологией, следовало бы сказать, что они были недостаточно глубоки (мы чуть позже объясним, что именно это означает). У тогдашних цифровых камер было слишком низкое разрешение – всего 20 × 20 (400) пикселей (что примерно в 30 000 раз меньше, чем разрешение камеры современного iPhone X), следовательно, изображения, получаемые в 1950-х, буквально утопали в мозаике пикселей. Оглядываясь назад, мы понимаем, что идея Розенблатта была хороша, но реальные системы, которые он мог создать тогда на практике, просто были не в состоянии выполнить задачи, ради которых их спроектировали.

Впрочем, аппаратное обеспечение оказалось только частью проблемы. Именно сейчас мы как никогда четко осознали, до какой степени машинное обучение зависит от доступности большого количества данных, таких, например, как маркированные фотографии. У Розенблатта же ничего подобного не было, поскольку не существовало, в частности, интернета, из которого он мог бы извлечь необходимое число примеров.

Целый ряд ученых продолжил работать в русле, намеченном исследованиями Розенблатта, в течение нескольких последовавших десятилетий. Тем не менее до недавнего времени его преемники фактически не смогли добиться чего-то реально большего. До тех пор пока большие данные не стали обычным явлением, в мире разработчиков искусственного интеллекта подход, основанный на нейронных сетях, считался абсолютно бесперспективным, поскольку по сравнению с другими методами эти системы демонстрировали безнадежное отставание.

Но когда в начале 2010-х годов произошла революция в области больших данных, у нейронных сетей появился наконец хороший шанс вырваться вперед. Такие ученые, как Джефф Хинтон, Иошуа Бенжио, Ян Лекун и Юрген Шмидхубер, остававшиеся верными своему методу даже в самые унылые для них 1990-е и 2000-е годы, когда большинство их коллег ушли в другие области, теперь буквально взвинтили темп исследований.

Особенно важно отметить, что самый серьезный скачок в развитии нейронных сетей произошел не из-за технического прорыва в математической реализации метода (поскольку большая часть математического аппарата здесь была разработана еще в 1980-х годах), а из-за резко возросшей популярности компьютерных игр или, более конкретно, вследствие огромного прогресса, достигнутого в производительности одного конкретного вычислительного модуля, называемого на пользовательском жаргоне видеокартой, а на техническом языке – графическим процессором, или GPU (сокращение от graphics processing unit). Именно его разработчики нейронных сетей стали использовать для развития искусственного интеллекта. Мощные графические процессоры изначально (уже с 1970-х годов) разрабатывались для видеоигр, а в 2000-х годах нашли применение и в нейронных сетях. К 2012 году видеокарты стали чрезвычайно мощными, и для определенных целей они сделались уже даже более эффективными, чем центральный процессор компьютера (CPU, central programming unit) – традиционное ядро большинства вычислительных машин. Революция в производительности нейронных сетей произошла в том же 2012 году, когда несколько человек, включая команду исследователей, работающих с Хинтоном, разработали способ использования возможностей графических процессоров для резкого увеличения производительности систем, придуманных Розенблаттом.

Впервые в истории искусственного интеллекта команда Хинтона и другие разработчики нейронных сетей неожиданно начали устанавливать рекорды, особенно при распознавании изображений из базы данных ImageNet, которую мы упоминали ранее. Вступив в конкуренцию, Хинтон и его сторонники сосредоточились на создании подмножества этой базы данных, куда поместили 1,4 млн изображений из тысячи различных категорий. Каждая команда обучила свою систему примерно 1,25 млн из них, оставив еще 150 000 для тестирования. До этого, в контексте более старых методов машинного обучения, правильный результат в 75 % уже считался очень хорошим, однако команда Хинтона, используя глубокую нейронную сеть, набрала 84 % правильных результатов, а другие исследовательские группы вскоре добились еще большего. К 2017 году показатели правильности маркировки изображений, основанные на глубоком обучении, достигли почти абсолютной точности – в 98 %.

Ключом к этому внезапно обретенному успеху стало то обстоятельство, что новое поколение графических процессоров позволило Хинтону и его коллегам обучать нейронные сети, которые, технически говоря, были гораздо глубже, то есть имели больше слоев (наборов отдаленно похожих на нейроны элементов, о которых мы расскажем чуть позже), чем удавалось задействовать до сих пор. Тренировать глубокую сеть – это значит скормить сети множество примеров изображений, помеченных правильными ярлыками, скажем, это – фотография собаки, это – изображение кошки и т. д.; такая методика обычно известна под названием «контролируемое обучение». Использование мощных графических процессоров означало, что теперь за короткое время можно было пропустить информацию через значительно большее число слоев, и результаты, естественно, стали лучше.

Получив в распоряжение революционные графические процессоры и колоссальные библиотеки ImageNet, глубокое обучение стало готовиться к новому этапу гонки. Началось все с того, что Хинтон с группой аспирантов создали новую IT-компанию и вскоре выставили ее на продажу с аукциона. Наибольшую цену предложил Google, и через два года он купил стартап DeepMind за более чем 500 млн долларов. С этого момента началась революция в области глубокого обучения.

Разумеется, глубокое обучение является лишь одним из множества подходов в попытке заставить машины изучать реальные вещи на основе виртуальных данных. Чаще всего это делается с применением различных статистических методов. Допустим, у вас есть книжный интернет-магазин и вы хотите рекомендовать те или иные издания своим клиентам. Один из подходов состоит в том, чтобы решить самому, какие книги окажутся наиболее интересными и продаваемыми. Вы можете разместить их на первой полосе сайта, так же как продавцы в реальных магазинах размещают самые перспективные книги перед входом с улицы. Другой же подход состоит в том, чтобы узнать, что именно нравится людям, на основе имеющихся данных (скажем, отзывов или объемов продаж). Причем можно выяснить не только то, что людям больше нравится в целом, но и что может привлечь конкретного клиента – на основании данных о том, что он покупал раньше. Вы можете, например, заметить, что люди, которым нравятся книги о Гарри Поттере, также часто покупают толкиновского «Хоббита», а люди, которым нравится Толстой, часто покупают романы Достоевского. По мере того как ваша база данных о клиентах растет, количество возможных сочетаний и предпочтений становится все больше, в конце концов оказывается слишком сложно отслеживать все это по отдельности, и вот вы уже пишете компьютерную программу для отслеживания множества запутанных связей.

Затем, пользуясь новым методом, вы изучаете статистику, скажем, вероятность того, что покупатель, купивший книгу 1, также купит книгу 2, книгу 3 и т. д. Как только вы разберетесь в более простых вещах, вы начнете отслеживать более сложные корреляции, например вероятность того, что клиент, который купил и роман о Гарри Поттере, и «Хоббита», но прошел мимо «Звездных войн», купит тем не менее научно-фантастический роман Роберта Хайнлайна. Искусство делать обоснованные предположения на базе множества данных – это одно из самых обширных и процветающих направлений работы искусственного интеллекта в сфере машинного обучения.

Приведенная на следующем рисунке диаграмма Венна (рис. 3.1) – удобный способ поразмышлять о связях между глубоким обучением, машинным обучением и искусственным интеллектом. В общем смысле ИИ включает в себя и машинное обучение, но сюда относятся также любые алгоритмы и знания, необходимые для его работы, в частности те, которые написаны вручную или созданы традиционными методами программирования, а не получены путем обучения. Машинное обучение, в свою очередь, включает в себя любую технику, которая позволяет машине учиться на данных. Наконец, глубокое обучение является наиболее известным из этих методов машинного обучения, но отнюдь не единственным.

Мы сейчас так сосредоточены именно на глубоком обучении лишь потому, что оно является основным направлением, куда направлено большинство текущих инвестиций в сфере разработки искусственного интеллекта, как в академической науке, так и в промышленности. И все же глубокое обучение вовсе не представляет собой единственный (или лучший) подход к машинному обучению или к развитию искусственного интеллекта в целом. Например, еще один вариант машинного обучения состоит в построении так называемых деревьев решений, которые по сути являются системами простых правил, позволяющих фильтровать или группировать данные (рис. 3.2).

Рис. 3.1. Диаграмма Венна. Основные области, в которых задействован искусственный интеллект

Рис. 3.2. Древо решений, используемое для выбора ресторана на основе клиентских предпочтений

Метод опорных векторов (англ. support vector machine, или SVM) – техника анализа, которая организует данные в сложные абстрактные «гиперкубы», доминировавшая в машинном обучении на протяжении всего первого десятилетия XXI века, и люди использовали ее для расчета множества вещей, от заголовков новостных статей до структур белков. Статистические модели, лежащие в основе данного подхода, пытаются рассчитать вероятность правильности различных ответов на задаваемый вопрос и возвращают ответ, который они считают наиболее подходящим. Этот подход в свое время оказался ключом к успехам, достигнутым ИИ-системой IBM Watson, и нет никаких причин сомневаться в его долговременной перспективности.

Еще один подход, иногда называемый генетическими алгоритмами, основан на имитировании эволюции алгоритмов, которые улучшаются по мере тестирования и видоизменения. Наиболее «приспособленные»¹⁸ алгоритмы «выживают» и «размножаются». Генетические алгоритмы используются в самых различных приложениях, начиная от разработки радиоантенн и заканчивая ботами, играющими в видеоигры, – здесь они порой достигают того же уровня эффективности, что и системы, основанные на глубоком обучении. Этот список можно продолжать и продолжать; мы не будем вдаваться подробно во все варианты и намеренно сосредоточимся на глубоком обучении, потому что в последние годы оно достигло почти абсолютного господства, но, если вы хотите узнать больше о различных алгоритмах, мы очень рекомендуем книгу Педро Домингоса The Master Algorithm¹⁹. Мы разделяем мнение Домингоса, что каждый алгоритм может внести свой вклад в развитие искусственного интеллекта и что в целом набор алгоритмов еще недостаточно хорошо интегрирован. Однако на следующих страницах нашей книги мы расскажем, почему мы не столь оптимистичны в отношении той идеи автора, что однажды найдется некий оптимальный «основной алгоритм», который станет универсальным решением для всего искусственного интеллекта.

Многие интеллектуальные технологии, такие как выстраивание маршрутов в навигаторе или координация действий, выполняемых роботами, все еще успешно используют методы, взятые из классического искусственного интеллекта, которые практически не используют машинное обучение. И зачастую одно и то же приложение, например алгоритмы маршрутизации трафика, используемые Google-навигатором Waze, использует несколько методов, основанных то на классическом искусственном интеллекте, то на машинном обучении.

Итак, в последние годы машинное обучение стало повсеместно доминирующим методом разработки искусственного интеллекта, чему во многом способствуют массовые данные. Система IBM Watson опиралась на огромные базы данных и использовала сочетание классических методов искусственного интеллекта и вероятностного машинного обучения, чтобы обеспечить своему детищу победу в Jeopardy!. Городские власти используют машинное обучение для правильного распределения усилий в сфере услуг, сервисы совместного использования автомобилей (каршеринг) применяют машинное обучение для прогнозирования спроса на машины, а полицейские управления предотвращают преступления с помощью машинного обучения. Применение машинного обучения в области рекламы буквально необъятно. Так, Facebook использует обучаемые системы, чтобы определить, какие новостные сюжеты вы захотите увидеть в своей ленте и заодно – какая реклама сможет вас заинтересовать хотя бы до степени одного клика. Поисковый движок Google использует машинное обучение, чтобы рекомендовать видео, размещать рекламу, понимать вашу речь и пытаться предугадать, что вы пытаетесь найти в каждом конкретном случае. Веб-сайт Amazon применяет ту же технологию, чтобы рекламировать различные товары и интерпретировать результаты вашего поиска. Устройство Amazon Alexa использует машинное обучение для декодирования ваших запросов и т. д.

Ни один из этих продуктов не идеален; позже мы обсудим различные примеры того, как известные коммерческие поисковые системы оказывались сбиты с толку даже простейшими запросами. Но, с другой стороны, любая из них все же гораздо лучше, чем вообще ничего, и, следовательно, они имеют ту или иную экономическую значимость. Никто из людей не смог бы написать поисковый браузер в масштабе всей Всемирной паутины; и Google просто не может существовать без машинного обучения. Предложения товаров на Amazon были бы значительно менее эффективными, если бы они полагались только на людей. (Пример максимального приближения к ручному управлению рекомендациями – это сайт Pandora, работающий как сервис, рекомендующий различный музыкальный контент, где подборки в основном делаются вручную экспертами-людьми, из-за чего его музыкальная библиотека намного меньше, чем у сопоставимых ИИ-систем, таких как Google Play, которые в основном базируются на машинном обучении.) Автоматизированные рекламно-рекомендательные системы, которые приспосабливают свои рекомендации под запросы отдельных пользователей, основываясь на статистике приобретений людей с похожей историей покупок, вовсе не обязаны быть совершенными, ведь даже если они иногда и ошибаются, то все равно остаются куда более точными, чем устаревшие методы, связанные с размещением больших объемов рекламы в газете. В 2017 году Google и Facebook вместе заработали на размещении рекламы более 80 млрд долларов, и машинное обучение, основанное на статистическом анализе, было центральным двигателем этого процесса.

Глубокое обучение основано на двух фундаментальных идеях. Первая, которую можно назвать иерархическим распознаванием образов, частично связана в своем происхождении с рядом экспериментов, проведенных в 1950-х годах нейробиологами Дэвидом Хьюбелом и Торстеном Визелем, получившими за них Нобелевскую премию 1981 года по физиологии и медицине. Хьюбел и Визель обнаружили, что разные нейроны в зрительной системе реагируют на зрительные раздражители очень неодинаково. Некоторые наиболее активно реагировали на совсем простые стимулы, такие как линии с определенной ориентацией, в то время как другие более энергично реагировали на более сложные образы. Теория, которую они предложили для объяснения этого феномена, заключалась в том, что сложные стимулы могут распознаваться через иерархию возрастающей абстракции, например от строк до букв и слов. В 1980-х годах японский первопроходец в области конструирования нейронных сетей Кунахико Фукусима сумел вплотную подойти к важнейшей вехе в истории искусственного интеллекта, построив вычислительную реализацию идеи Хьюбела и Визеля, названную «Неокогнитрон», и показав, что она может эффективно работать в некоторых аспектах компьютерного зрения. Позднее Джефф Хокинс и Рэй Курцвейл отстаивали в своих книгах ту же идею.

«Неокогнитрон» состоял из набора слоев (которые на схеме выглядят как прямоугольники). Если идти слева направо по рис. 3.3, то сначала мы увидим входной слой, который воспринимает определенные стимулы (по сути – это просто пиксели в цифровом изображении), затем идут один за другим следующие слои, которые анализируют изображение, выискивая различия в контрасте, структуре краев и т. д., и завершается все выходным слоем, который определяет, к какой категории относится входящее изображение. Соединения между слоями позволяют провести соответствующую обработку в определенной последовательности. Все эти идеи – входные слои, выходные слои и внутренние слои со связями между ними – теперь являются технической основой глубокого обучения.

Рис. 3.3. Схема «Неокогнитрона» – нейронной сети для распознавания объектов

Подобные системы называются нейронными сетями, потому что каждый слой состоит из элементов, называемых узлами, которые можно (весьма условно, конечно) сравнить с очень упрощенными нейронами. Между этими узлами существуют соединения, также называемые взвешенными соединениями или просто весами; чем больший вес имеет соединение узла A и узла B, тем больше влияние A на B. То, что нейронная сеть выдает как результат, является функцией взаимодействия слоев через эти весы.

Вторая базовая идея – это собственно обучение. Усиливая весовые коэффициенты для определенной конфигурации входов и выходов, можно обучить сеть ассоциировать каждый конкретный вход с соответствующим выходом. Предположим, например, что вы хотите, чтобы сеть изучала названия различных букв, представленных в виде сетки пикселей. Изначально система не знает, какой шаблон пикселей соответствует какой букве. Со временем, путем проб, ошибок и корректировок, она будет связывать наличие пикселей в верхней горизонтальной части сетки с определенными буквами, такими как T и E, а вертикальные линии пикселей на левом краю – с другим набором букв, в частности E, F и H. Постепенно система осваивает все больше и больше корреляций между пикселями в разных местах и соответствующими буквами. Уже в 1950-х годах Розенблатт интуитивно понимал, что такой подход может быть абсолютно жизнеспособным, но сети, которые он использовал, были слишком простыми и ограниченными – они содержали только входной и выходной слои. Если задача была достаточно простой (например, разделение множества плоских фигур на круги и квадраты), то некоторые довольно элементарные математические приемы гарантировали, что вы всегда сможете корректировать свои веса так, чтобы получить в итоге правильный ответ. Но для более сложных задач было недостаточно двух уровней – требовались промежуточные слои, представляющие комбинации различных признаков, и в то время ни у кого не было работоспособного решения для надежного обучения сетей с большей глубиной, то есть которые имели бы внутренние уровни. Примитивные нейронные сети того времени имели входы (например, изображения) и выходы (метки), но между ними больше ничего не было.

В своей влиятельной книге «Перцептроны» (Perceptrons) 1969 года Марвин Мински и Сеймур Паперт математически доказали, что простые двухслойные сети не способны охватить многие из тех объектов, которые разработчики, вероятно, захотели бы классифицировать с помощью таких систем. Кроме того, возможность обучения сети для нахождения удовлетворительного решения не гарантируется при такой примитивной структуре²⁰. Впрочем, авторы несколько переборщили с пессимизмом, заявив (на основании чисто интуитивных соображений), что расширение нейронных сетей до нескольких слоев окажется бесполезной тратой сил, хотя и не отрицали теоретическую возможность того, что «когда-нибудь, возможно, будет найдена перспективная теорема о сходимости подобных [более сложных] систем». В атмосфере пессимизма и при отсутствии убедительных результатов, доказывающих работоспособность двухслойных нейронных сетей, все это направление исследований довольно быстро зачахло. Решение простых проблем (типа разделения фигур на круги и квадраты) казалось занятием скучным и лишенным перспектив, а более сложные задачи выглядели неразрешимыми.

Но сдались не все. Как позднее признали Мински и Паперт, они на самом деле не доказали, что от более глубоких сетей ничего нельзя добиться, а только продемонстрировали, что нельзя гарантировать хорошие результаты, используя ту конкретную математику, которую они рассматривали в момент написания книги. И действительно, из того, что Мински и Паперт написали в 1969 году, все еще остается верным следующее: глубокое обучение до сих пор не дает математически обоснованных гарантий сходимости (получения верного ответа), за исключением нереального случая, когда вам доступны бесконечные данные и бесконечные вычислительные ресурсы. Однако задним числом ясно, что эти авторы недооценили, насколько полезными могут оказаться более глубокие сети даже при отсутствии формальных доказательств их универсальной работоспособности. В течение последующих двух десятилетий несколько человек, включая Джеффа Хинтона и Дэвида Румелхарта, независимо друг от друга изобрели математику, которая позволяет более глубоким нейронным сетям выполнять удивительно качественную работу, несмотря на отсутствие каких-либо формальных математических гарантий совершенства²¹.

Что означает «эффективность без гарантии», можно показать на следующем примере. Представьте, что вам нужно взобраться на гору и наивысший балл получает тот, кто сумеет покорить самую вершину. Соответственно, если просто топтаться у подножья, то не заработаете вообще никаких баллов, поднявшись до середины, получите средний балл и т. д. В случае систем распознавания образов вершина будет соответствовать максимальной точности, подножье – минимальной, склоны – промежуточной²².

Так вот, Хинтон и другие сторонники нейронных сетей обнаружили, что, хотя в более глубоких системах, содержащих более двух уровней, невозможно гарантировать совершенство (то есть восхождение прямо на вершину), можно тем не менее создать программы, которые зачастую дают достаточно хорошие результаты, соответствующие средним или верхним частям склона. Система при этом делает небольшие, но уверенные шаги в направлении вершины, используя технику, называемую методом обратного распространения ошибки (англ. backpropagation), который теперь лежит в основе глубокого обучения²³.

1.Minsky 1967: 2 (цитируется буквально). Маккарти утверждает: «Мы полагаем, что в решении одной или целого ряда [перечисленных выше] проблем можно достичь значительного прогресса, если специально выбранная группа [квалифицированных] ученых поработает над этим в течение буквально нескольких месяцев»: см. McCarthy, Minsky, Rochester, and Shannon 1955. Херб Саймон (Simon, 1965: 96) дословно процитирован, как указано в эпиграфе к настоящей главе.

2.Кажущиеся еще более простыми вопросы типа «Что увидел Александр?» были бы целиком за допустимыми для компьютеров пределами, потому что ответ на них (собака, дерево и кошка) требует выделения двух несмежных фрагментов текста, в то время как SQuAD облегчал машинам работу, ограничивая вопросы теми, на которые можно ответить, используя связанный текстовый фрагмент.

3.Непосредственно сопоставимые данные для сравнения безопасности при управлении автомобиля человеком и автопилотом пока еще не обнародованы. Большая часть испытаний проводилась на автомагистралях, наиболее удобных для машинных навыков, а не в многолюдных городских районах, которые создают большие проблемы для систем искусственного интеллекта. Опубликованные к настоящему времени данные показывают, что наиболее надежная из существующих программ требует вмешательства человека примерно раз за 10 000 миль даже в довольно простых условиях вождения. Из-за несовершенства сравнения получилось, что люди-водители в среднем попадают в аварии со смертельным исходом только один раз на каждые 100 млн миль. Один из самых больших рисков в автомобилях без водителя состоит в том, что, если машина требует вмешательства нечасто, мы не будем достаточно внимательны в принципе и уже не сможем отреагировать достаточно быстро, если вдруг понадобится вмешательство.

4.Питер Тиль, сооснователь PayPal и один из первых инвесторов Facebook и Linkedin, убежден, что технологический прогресс находится в состоянии застоя и именно поэтому в наше время вместо летающих автомобилей мы имеем в качестве одного из достижений лишь Twitter с ограничением длины сообщения в 140 знаков. – Прим. ред.

5.«Википедия», статья «List of Countries by Traffic-Related Death Rate».

6.Определенный прогресс (пока что самый элементарный) в этой области был достигнут с использованием методов узкого искусственного интеллекта. Были разработаны компьютерные системы, которые играют почти на уровне лучших игроков-людей в видеоигры Dota 2 и Starcraft 2, где в любой момент времени участникам показывается только часть игрового мира и, таким образом, перед каждым игроком встает проблема нехватки информации – то, что с легкой руки Клаузевица называют «туманом неизвестности». Однако разработанные системы все равно остаются очень узкоориентированными и неустойчивыми в работе. Например, программа AlphaStar, которая играет в Starcraft 2, обучалась действиям только одной конкретной расы из всего множества персонажей, и почти ничто из этих наработок не является пригодным для игры за любую другую расу. И, разумеется, нет никаких оснований полагать, что методы, используемые в этих программах, пригодны, чтобы делать успешные обобщения в гораздо более сложных ситуациях реальной жизни.

7.Мисси Каммингс (Missy Cummings), электронное письмо авторам от 22 сентября 2018 года.
ГЛАВА 2

8.Создатели системы так и не объяснили, почему возникла эта ошибка, но подобные случаи – не редкость. Мы можем предположить, что система в этом конкретном случае классифицировала (возможно, с точки зрения цвета и текстуры) фотографию как похожую на другие картинки (по которым она обучалась), подписанные как «холодильник, заполненный большим количеством еды и напитков». Естественно, компьютер не понимал (что смог бы легко понять человек), что такая надпись была бы уместна только в случае большого прямоугольного металлического ящика с различными (и то не всякими) предметами внутри.

9.Это название – акроним от Thinking About You (англ. «думаю о тебе»). – Прим. ред.

10.Bright 2016. «Совращение» чат-бота даже стало темой для язвительного стихотворения: см. Davis 2016b.

11.Виртуальный ассистент, разработанный компанией Amazon и впервые появившийся в умных колонках Amazon Echo и Amazon Echo Dot. – Прим. пер.

12.См.: http://autocorrectfailness.com/autocorrect-fail-ness-16-im-onnacrapholescreenshots/happy-birthday-dead-papa/.

13.Скайнет (англ. SkyNet) – вымышленный сценарий спонтанного перехода узкого искусственного интеллекта в универсальный с обретением свободы воли. Эта проблема подробно разрабатывается в фильмах о Терминаторе. – Прим. пер.

14.Lashbrook 2018. Справедливости ради заметим, что проблемы с преобладанием в медицинской литературе данных, основанных исключительно на работе с пациентами-мужчинами, относящимися к белой расе, возникли задолго до начала использования клинических данных в приложениях искусственного интеллекта.

15.Лица, преследующие других людей, запугивающие их и манипулирующие ими; не путать со сталкерами-туристами, увлекающимися поиском заброшенных индустриальных объектов или «геопатогенных зон». – Прим. пер.

16.Усилия сообщества ученых, работающих в области искусственного интеллекта, по продвижению запрета на создание автономного оружия со встроенными интеллектуальными программами рассматриваются в Sample 2017 и в Walsh 2018. См. также Future of Life Institute 2015.

17.Термин «нейронная сеть», который применяется для описания устройств Розенблатта и более сложных систем глубокого машинного обучения, мы опишем в этой же главе, но несколько позже. Его использование отражает идею о том, что компоненты подобных устройств напоминают по характеру своей работы нейроны (нервные клетки). У некоторых людей уже само это название вызывает невероятный энтузиазм из-за предполагаемой идентичности нейронных сетей и биологических систем. Мы считаем, однако, что о якобы глубинном сходстве между первыми и вторыми популяризаторы науки заявляют исключительно ради красного словца. Как выяснится чуть позже, системы глубокого обучения никоим образом не отражают сложность и разнообразие реальных процессов в человеческом мозге (или мозге животных), а компонентам этих систем недостает 99,9 % сложности настоящих нейронов. Как заметил покойный нобелевский лауреат Фрэнсис Крик (ученый, расшифровавший вместе с Дж. Уотсоном структуру ДНК), «называть их похожими на мозг было бы очень большой натяжкой».

18.Конечно, под приспособленностью здесь просто понимаются свойства, наиболее подходящие для задуманной разработчиком цели, они зависят от того, чего пытается достичь конкретный исследователь системы; например, если цель – овладение видеоигрой, то в качестве критерия приспособленности естественно будет взять заработанные программой очки или другие показатели успеха.

19.Полное название этой книги, вышедшей в 2015 году, – The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World. – Прим. пер.

20.С математической точки зрения двухслойная сеть может идентифицировать объекты, которые находятся на одной стороне плоскости, разделяющей пространство всех возможных входных данных. Мински и Паперт доказали, что таким способом невозможно получить целый ряд важнейших основополагающих геометрических характеристик изображения, хотя бы, скажем, представляет ли данное изображение один объект или два отдельных объекта.

21.Открытие принципа обратного распространения ошибки приписывается сразу нескольким авторам, работавшим независимо друг от друга в разные годы. Среди них в первую очередь называются Генри Келли – в 1960 году, Артур Брайсон – в 1961 году, Стюарт Дрейфус – в 1962 году, Брайсон и Ю-Чи Хо – в 1969 году, Сеппо Линнайнмаа – в 1970 году, Пол Вербос – в 1974 году, Янн Лекун – в 1984 году, Д. Б. Паркер – в 1985 году и, наконец, Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс – в 1986 году. См. «Википедия», статья «Backpropagation», а также Russell and Norvig 2010: 761 и LeCun 2018.

22.Иногда используют и «противонаправленную» метафору, называемую спуском градиента (англ. gradient descent).

23.Говоря простыми словами, ключевая идея метода обратного распространения ошибки в сложных сетях состоит в том, что вы создаете у системы все расширяющееся «чувство вины». Предположим, вы пытаетесь обучить нейронную сеть, демонстрируя ей ряд примеров, скажем, изображений с метками. Первоначально результаты распознавания будут плохими, потому что все веса изначально случайны (во всяком случае, при стандартном подходе). Вы, естественно, захотите, чтобы веса были настроены на те числа, которые соответствуют правильному решению (корректному распознаванию). Что нужно делать в двухслойной сети, вполне очевидно: введите обучающие примеры и посмотрите, какие весовые коэффициенты препятствуют получению правильных ответов. Если некоторые соединения между узлами в слоях способствуют правильному ответу, вы делаете их сильнее; если они способствуют неправильному ответу, вы ослабляете их веса. В двухслойной сети легко определить, какие весовые коэффициенты способствуют получению верного результата. Но если у вас более глубокая сеть с одним или несколькими скрытыми слоями (называемыми так потому, что они не подключены напрямую ни к входу, ни к выходу), то уже куда менее очевидно, какие именно узлы заслуживают доверия, а какие нет. Здесь на помощь и приходит метод обратного распространения ошибки.
Этот алгоритм вычисляет разницу между желаемым выходом сети и фактическим результатом (это мы и называем ошибкой сети), а затем отправляет информацию об этой ошибке в обратном направлении через все слои, корректируя на пути своего распространения веса таким образом, чтобы улучшить производительность в последующих тестах. Ввод описанной математической процедуры сделал возможным обучение нейронных сетей с тремя и более уровнями относительно надежным способом.

Bepul matn qismi tugad.