Kitobni o'qish: «Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта»

Посвящается моим друзьям и коллегам по Ассоциации содействия развитию политической экономии и права – истинному интеллектуальному сообществу.

И, конечно, Рэю

Своим подходом к воспитанию мы решаем, достаточно ли мы любим мир, чтобы взять на себя ответственность за него и одновременно спасти его от гибели, которую без обновления, без прибытия новых и молодых было бы не остановить. А еще мы этим решаем вопрос о том, достаточно ли мы любим наших детей, чтобы не вышвыривать их из нашего мира, предоставляя самим себе, не вырывать у них из рук шанс предпринять нечто новое и для нас неожиданное, а вместо этого подготовить их к их миссии – обновлению нашего общего мира.

Ханна Арендт. Между прошлым и будущим

Я говорю о праве сейчас, поймите, о той точке, в которой тела, запертые в клетках, становятся онтологией, точке, в которой структуры жестокости, силы, войны становятся онтологией. Аналоговое – я в него верю, в реконструкцию феноменологии восприятия, но не машиной. К нему теперь – как никогда прежде – приковано воображение.

Лоуренс Джозеф. В скобках

Frank Pasquale

New Laws of Robotics

Defending Human Expertise in the Age of AI

The Belknap Press of Harvard University Press

Cambridge, Massachusetts & London, England 2020

Перевод с английского Алексея Королева

Под научной редакцией Софьи Щукиной

“New Laws of Robotics: Defending Human Expertise in the Age of Al” by Frank Pasquale Copyright © 2020 by the President and Fellows of Harvard College

Published by arrangement with Harvard University Press.

© ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации», 2022

1. Введение

Ставки технологического прогресса растут с каждым днем. Объедините базы данных распознавания лиц с постоянно дешевеющими микродронами, и вы получите анонимную глобальную силу убийц, обладающих беспрецедентной точностью и смертоносностью. То, что может убивать, способно и исцелять. Роботы могли бы значительно расширить доступ к медицине, если бы мы больше инвестировали в их исследование и развитие. Фирмы делают тысячи шажков к автоматизации найма, обслуживания клиентов и даже менеджмента. Все эти процессы меняют баланс машин и людей и даже распорядок нашей повседневной жизни.

Предотвращение худших исходов революции искусственного интеллекта (ИИ) и в то же время реализация его потенциала будут зависеть от нашей способности выработать мудрое отношение к такому балансу. Для достижения такой цели в этой книге выдвигаются три аргумента, которые должны привести к улучшению нашей жизни. Первый аргумент эмпирический: непосредственно сейчас ИИ и роботы чаще всего дополняют, а не заменяют человеческий труд. Второй имеет ценностный характер: во многих областях мы должны сохранить такое положение вещей. Наконец, третий аргумент содержит политическое суждение: наши институты управления действительно способны достичь именно такого результата. Вот главный посыл этой книги: сегодня у нас есть средства руководить развитием технологий автоматизации, не становясь ее пленниками и не меняясь под их воздействием.

Эти идеи многим покажутся самоочевидными. Зачем писать в их защиту целую книгу? Дело в том, что из них следуют довольно интересные выводы, которые должны изменить способы организации социального сотрудничества и урегулирования конфликтов. Например, в настоящее время во многих странах приоритет отдается капиталу, а не труду, потребителям, а не производителям. Если мы хотим построить справедливое и стабильное общество, эти перекосы должны быть исправлены.

Исправить их будет непросто. Появившиеся за последнее время в избытке консультанты по менеджменту рассказывают одну простую историю о будущем труда: если машина может записать и воспроизвести то, что вы делаете, она вас заменит¹. Эта перспектива массовой безработицы приковывает к себе внимание политиков и стратегов. Согласно этой теории, люди-работники становятся излишними в силу развития все более мощного программного обеспечения, роботов и предсказательной аналитики. Предполагается, что стоит только поставить достаточно камер и сенсоров, и менеджеры смогут создать симуляцию – вашего «цифрового двойника», то есть голограмму или робота, который будет выполнять работу человека не хуже, к тому же лишь за небольшую долю его зарплаты. Это представление задает суровую альтернативу: делайте роботов, или они заменят вас².

Но возможна и другая история, которая на самом деле более правдоподобна. Практически во всех областях роботизированные системы могут повысить ценность труда, а не уменьшить ее. В этой книге рассказывается о врачах, медсестрах, учителях, сиделках, журналистах и представителях иных профессий, которые работают вместе со специалистами по робототехнике и компьютерным наукам, но не служат источниками данных для своей будущей замены. Их сотрудничество предвосхищает то технологическое развитие, результатом которого могут стать более качественные здравоохранение, образование, более высокий уровень жизни для всех нас, в то же время позволяющий сохранить осмысленный труд. Также они показывают, как право и публичная политика способны помочь нам в достижении мира и инклюзивного процветания, а не «гонки против машин»³. Но мы можем добиться этого только в том случае, если обновим законы робототехники, которыми определяется наше представление о технологическом прогрессе.

Законы робототехники Азимова

В рассказе 1942 г. «Хоровод» писатель-фантаст Айзек Азимов определил три закона для машин, которые могут воспринимать среду, обрабатывать информацию, а потом действовать⁴. В рассказе приводится выдержка из 56-го издания «Руководства по робототехнике» за 2058 г.:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит первому и второму законам.

Законы робототехники Азимова были крайне популярными. Они кажутся совершенно ясными, но применять их непросто. Может ли автономный дрон нанести удар по террористической ячейке? Первая часть первого закона («Робот не может причинить вред человеку») вроде бы запрещает такое действие. Но военный может тут же отослать ко второй половине первого закона (запрещающей «бездействие», которое «допустит, чтобы человеку был причинен вред»). Чтобы определить, какую часть закона следует применять, нам понадобилось бы обратиться к другим ценностям⁵.

Полем боя двусмысленности не исчерпываются. Рассмотрим, например, допускают ли законы Азимова существование автомобилей-роботов. Беспилотные транспортные средства обещают избавить нас от тысяч несчастных случаев на дорогах, происходящих ежегодно. Поэтому на первый взгляд ответ очевиден. С другой стороны, тысячи оплачиваемых водителей останутся без работы. Позволяет ли этот ущерб государству запретить или замедлить развитие беспилотных автомобилей? Три закона Азимова не способны предельно конкретно решить такие вопросы. Не объясняют они и то, как быть с недавним требованием защитников беспилотных автомобилей, которые заявили, что пешеходы должны учиться вести себя так, чтобы беспилотным машинам было проще ездить, а если пешеходы отказываются учиться, их следует наказывать.

Эти и многие другие двусмысленности объясняют, почему нормы, регламенты и судебные дела, связанные с робототехникой и ИИ, в нашем мире более сложны и замысловаты, чем законы Азимова. Постепенно мы освоим большую часть этого правового ландшафта. Но прежде я хочу ввести четыре новых закона робототехники, чтобы сориентировать наши дальнейшие исследования⁶. Они написаны для людей, создающих роботов, а не для самих роботов⁷. И хотя они еще более двусмысленны, чем законы Азимова, они лучше отражают то, как работает реальное законотворчество. Поскольку законодатели не могут предугадать каждую ситуацию, которую властям приходится регулировать, часто они предоставляют определенные права ведомствам, ставя при этом перед ними довольно расплывчатые задачи. Новые законы робототехники должны быть примерно такими же, то есть в них должны определяться общие принципы, тогда как конкретные права должны предоставляться специальным регулирующим ведомствам, обладающим значительным опытом в технических сферах⁸.

Новые законы робототехники

Помня об этих целях, можно предложить четыре новых закона робототехники, которые в этой книге будут изучаться и развиваться:

1. Роботизированные системы и ИИ должны дополнять профессионалов, а не заменять их⁹

Громкие предсказания о наступлении технологической безработицы подогревают популярные дискуссии о будущем труда. Некоторые эксперты предрекают то, что практически каждая работа обречена на вымирание под натиском технологического прогресса. Другие указывают на препятствия, лежащие на пути автоматизации. Для политиков вопрос в том, какие из этих препятствий роботизации имеют смысл, а какие следует изучить и убрать. Роботы-мясники имеют смысл, роботы-воспитатели кажутся нам сомнительными. Являются ли эти сомнения попросту луддитской реакцией, или они суть отражение более глубокого понимания природы детства? Правила лицензирования не позволяют сегодня рекламировать приложения, анализирующие симптомы, в качестве врачей, действительно занимающихся медициной. Но правильный ли это подход?

В этой книге исследуются подобные примеры и представляются эмпирические и одновременно нормативные аргументы в пользу замедления или, наоборот, ускорения внедрения ИИ в различных сферах. Здесь имеют значение многие факторы, относящиеся к конкретным рабочим местам и юрисдикциям. Однако общим организующим принципом является значение осмысленного труда для ощущения человеком собственного достоинства и для управления сообществами. Гуманная программа автоматизации должна отдавать приоритет инновациям, дополняющим работников на рабочих местах, которые являются или должны быть их полноценным призванием. Машинами следует заменять опасные или изматывающие виды работ, обеспечивая при этом тех, кто в настоящий момент эти работы выполняет, справедливой компенсацией и предлагая им переход на другие социальные роли.

Такой сбалансированный подход разочарует как технофилов, так и технофобов. И точно так же упор на правление оттолкнет как тех, кто порицает «вмешательство» в рынки труда, так и тех, кто ненавидит «класс профессиональных менеджеров». В той мере, в какой профессии можно приравнять к экономической кастовой системе, в которой одни работники получают несправедливые привилегии, такие подозрения вполне оправданны. Можно, однако, смягчить стратификацию, отстаивая высшие цели профессий.

Компромисс, составляющий ядро профессионализма, состоит в том, что работникам надо предоставить определенные права в решении вопросов организации производства, но в то же время вменить им в обязанность трудиться на благо всего общества¹⁰. Профессионалы, занимающиеся исследованиями как в университетах, так и в собственных фирмах, культивируют распределенные экспертные знания, сглаживая классические противоречия между технократией и народным правлением. Мы не должны подрывать или обескровливать профессии, вопреки мнению слишком многих защитников подрывных инноваций. Скорее, гуманная автоматизация потребует усиления уже существующих экспертных сообществ и создания новых.

Удачное определение профессий довольно объемно, оно должно включать многих работников, объединенных профсоюзами, особенно когда они защищают тех, кому служат, от неумных или опасных технологий. Например, профсоюзы учителей выступали против избыточной «зубрежки и тестирования» средствами автоматических систем и во многих других ситуациях также отстаивали интересы учеников. Профсоюзы, развивающиеся по пути профессионализации, то есть позволяющие своим членам защищать тех, кому они служат, должны получить важную роль в определении облика революции ИИ.

Иногда будет сложно доказать, что процесс, завязанный на человека, лучше автоматизированного. Общие финансовые показатели вытесняют сложные критические стандарты. Например, программы машинного обучения скоро смогут, основываясь на обработке естественного языка методом перебора, предсказать, какая из предложенных книг способна стать бестселлером. С чисто экономической точки зрения такие программы могут отбирать рукописи или сценарии фильмов лучше редакторов и режиссеров. Тем не менее люди, работающие в креативных индустриях, должны отстаивать свои профессиональные знания. У редакторов важная роль в издании, оценке, поиске и продвижении работ, которые публика, возможно, сейчас еще не хочет читать, хотя они ей и нужны. То же можно сказать о журналистах: даже если автоматическая генерация текста способна создать текст, максимизирующий доходы от рекламы, этот примитивный триумф никогда не заменит настоящего репортажа с истинно человеческой точки зрения, которую еще нужно приобрести. Профессиональные школы в университетах уточняют и пересматривают стандарты медиа, права, медицины и многих других областей, не позволяя им скатываться до уровня простых показателей, допускающих автоматизацию.

Даже в тех областях, которые, кажется, просто напрашиваются на автоматизацию, например, в логистике, клининге, сельском хозяйстве и горном деле, работники будут играть ключевую роль в процессе длительного перехода к ИИ и роботам. Сбор или создание данных, необходимых для ИИ, для многих станет трудной задачей. Благодаря нормам и регулированию их работа может стать более интересной и автономной. В частности, европейский закон о неприкосновенности частной жизни дает водителям возможность оспаривать тотальный мониторинг и контроль, от которого страдают дальнобойщики в США¹¹. Это не значит, что такое опасное занятие должно остаться без контроля. Сенсоры способны указать на проблемы с рефлексами водителями. Но есть огромная разница между сенсорами, которые специально настроены на обнаружение проблем с безопасностью, и постоянной видео- и аудиозаписью любых действий водителя. Достижение правильного баланса между изматывающим надзором и разумным, фокусированным мониторингом может стать ключевой задачей в самых разных областях деятельности.

Также мы можем спроектировать такой технологической переход, который позволит не упускать людей из виду или, по крайней мере, предоставит им выбор. Например, Toyota продвигает автомобили с большим уровнем роботизации, начиная с режима «личный водитель» (который требует минимального контроля со стороны водителя) и заканчивая режимом «хранитель» (при котором компьютерные системы автомобиля сосредоточены на избегании аварий, тогда как самим транспортным средством управляет человек)¹². На самолетах автопилоты работают уже многие десятилетия, однако у коммерческих перевозчиков в рубке обычно все еще находится по меньшей мере два человека. Даже обычный авиапассажир может быть благодарен за то, что сторонники полной автоматизации пока не стремятся избавиться от пилотов¹³.

Заметим, что транспорт – одна из наиболее простых областей применения ИИ. Как только пункт назначения задан, спорить о траектории путешествия нет смысла. В других областях все наоборот: клиент или потребитель может передумать. Ученики в классе в весенний денек могут оказаться слишком непоседливыми, чтобы раз за разом повторять таблицу умножения. Модник может вызвать своего дизайнера интерьеров, расстроившись из-за того, что выбранная им для гостиной гравюра оказалась слишком аляповатой. Тренер может засомневаться в том, нужно ли клиенту, который выглядит слишком уставшим, бежать по беговой дорожке еще минуту. В каждом из этих случаев самое главное – это коммуникация, а также проявляемые при общении людей навыки терпения, размышления и различения¹⁴.

Конечно, если тысячи тренеров вооружатся Google Glass и запишут все свои встречи, наверно, соберется какая-то божественная база данных из гримас и выпученных глаз, ругательств и триумфов, которая сможет определить оптимальный ответ уставшему бегуну. Но даже если просто задуматься о том, как построить такую базу данных, о том, что должно оцениваться как положительный или отрицательный результат и в какой мере, тут же придет осознание ключевой роли, которую люди будут играть в создании и поддержании ИИ и роботов в любом правдоподобном сценарии будущего. Искусственный интеллект так и останется искусственным, поскольку он всегда будет плодом человеческого сотрудничества¹⁵. Более того, большинство недавних достижений в ИИ нацелены на решение строго определенных задач, а не на выполнение работ как таковых или социальных ролей¹⁶.

Существует много примеров технологий, которые позволяют повысить производительность рабочих мест, сделать их более интересными или допускают и то, и другое. Агентство цифрового развития Италии отметило: «Технология часто заменяет не профессионала целиком, а лишь некоторые конкретные действия»¹⁷. Современные студенты-юристы едва ли могут поверить, что до интернета их коллегам приходилось перелопачивать пыльные тома, чтобы оценить обоснованность того или иного дела; поисковые программы значительно упрощают этот процесс и значительно расширяют список ресурсов, доступных в судебном разбирательстве. Нисколько не упрощая задачу, они могут, наоборот, значительно ее усложнить¹⁸. Если на поиск по книгам тратится меньше времени, а на интеллектуальный труд, в котором создается общая картина дела, – больше, для адвокатов это прямая выгода. Автоматизация может дать похожий прирост производительности и многим другим работникам, что не обязательно ведет к замене их труда. И это не просто наблюдение. Это вполне состоятельная цель программы развития¹⁹.

2. Роботизированные системы и ИИ не должны притворяться людьми

Перспектива гуманоидных роботов всегда манила, пугала и возбуждала – со времен Азимова и до головокружительной мимикрии «Мира Дикого Запада». Некоторые специалисты по робототехнике стремятся найти правильное сочетание металлических костей и пластиковой кожи, позволяющее вырваться из «зловещей долины», то есть избавиться от чувства жути при виде гуманоидного робота, который слишком сильно приближается к человеческим качествам, жестам и повадкам, но при этом не может их полностью воссоздать. Программы машинного обучения уже освоили искусство создания изображений «фейковых людей», а вскоре получат распространение и убедительные синтетические голоса²⁰. Пока инженеры мучаются с тонкой настройкой этих алгоритмов, без ответа остается более важный вопрос: хотим ли мы жить в мире, в котором люди не знают, с кем они имеют дело – с другим человеком или машиной?

Существует принципиальное различие между гуманизацией технологии и подделкой исключительно человеческих качеств. Ведущие европейские специалисты по этике утверждают, что «должны быть (правовые) границы, определяющие, в какой мере людей можно заставлять верить в то, что они имеют дело с людьми, тогда как на самом деле они общаются с алгоритмами и умными машинами»²¹. Законодатели уже приняли законы об «идентификации ботов» в сетевых контекстах.

Несмотря на этот складывающийся этический консенсус, существуют отдельные области ИИ, например, программирование эмоций, когда анализируются и симулируются человеческие эмоции, задача которых – постоянно усложнять выявление различия между человеком и машинами. Такие исследовательские проекты способны привести к созданию передовых андроидов наподобие тех, что известны по фильму Стивена Спилберга «Искусственный интеллект», в котором машины внешне не отличались от человека. Специалисты по этике спорят о том, как должны проектироваться такие гуманоидные роботы. Но что если их вообще не стоит делать?

В больницах, школах, полицейских участках и даже в производственных цехах мало пользы от загрузки программного обеспечения в гуманоидную форму, а вреда много. Гонка за человекоподобием слишком легко может стать первым шагом на пути к замене человека. Некоторые люди, возможно, предпочтут такую замену в личной жизни, и право должно уважать их автономию в интимных вопросах. Однако безумным было бы общество, стремящееся к такой замене на рабочих местах и в публичной сфере. Подобная идея подменяет развитие человечества его устранением.

Этот аргумент может неприятно удивить или смутить технофилов, поскольку им отрицается содержание и посылка не только законов Азимова, но и обширной литературы о будущем технологий. Я надеюсь оправдать такой консерватизм тем, что последовательно, по главам, продумаю конкретные шаги, которые понадобилось бы сделать, чтобы достичь того научно-фантастического мира, где роботы неотличимы от людей. Для такого перехода необходим массовый контроль людей – и все для того, чтобы создать роботов, призванных дурачить людей или заставлять их относиться к машинам как к равным. Ни та, ни другая перспектива не кажется такой уж привлекательной.

Голос или лицо другого человека требует уважения и внимания; машины не имеют подобных прав на наше участие. Когда чат-боты обманывают ничего не подозревающих людей, которые думают, что они общаются с другими людьми, программисты чат-ботов действуют в качестве фальсификаторов, подделывающих черты реальных людей, чтобы повысить статус своих машин. Когда фальсификация денег достигает критической массы, подлинные монеты теряют ценность. То же самое ждет и человеческие отношения в обществах, которые позволят машинам свободно изображать эмоции, речь и внешний вид людей.

Подделка человека становится особой опасностью в том случае, когда корпорации и государства пытаются придать дружелюбный вид своим услугам и требованиям. Ассистенты Google поразили деловую прессу, изображая секретарей, которые назначают встречи, жутковато подражая даже «мычанию» и «ахам», которыми испещрена обычная беседа по телефону. Подобные междометия маскируют силу таких фирм, как Google, колебанием или уступчивостью, обычно заметными в неотрепетированной человеческой речи. Роботизированный звонок они облекают покровом человеческого запроса. Но тем, кто отвечают на такие звонки, несложно представить, как будет выглядеть злоупотребление – оно станет потоком телефонных вызовов из роботизированных кол-центров.

Подделка человека – не просто обман; она еще и нечестна, поскольку фальсификатор кажется лично заинтересованным и искренним, хотя на самом деле это совсем не так. Как мы сможем показать далее на разных примерах роботов (учителей, солдат, представителей по работе с клиентами и т. д.), неудовлетворенность и стресс при столкновении с неудачными имитациями человека – не просто следствие несовершенной технологии. Скорее в них отражается разумное предостережение об определенном пути развития самой технологии.

Роботизированные системы и ИИ не должны усиливать гонку вооружений с нулевой суммой

Споры о роботах-убийцах крайне важны для этики в международном праве. Глобальная коалиция организаций гражданского общества стремится заставить государства взять на себя обязательство не разрабатывать автономные системы оружия летального действия (АСОЛД (Lethal autonomous weapons systems, LAWS)). Сегодня некоторые факторы блокируют это вполне осмысленное предложение по ограничению технологий. Военачальники не доверяют своим коллегам из стран-конкурентов. Те, возможно, скрывают военные разработки в области ИИ, наращивают силы, публично отрицая при этом свои намерения. Усиливающиеся державы могут самоутверждаться, инвестируя средства в проекты наращивания вооружений, соответствующие их новому экономическому статусу, тогда как господствующие ныне армии требуют дополнительных ресурсов, которые необходимы для поддержания их относительного перевеса. Но это лишь один из способов начать гонку вооружений. Когда на сцену выходят ИИ и роботы, риски отставания от соперников становятся еще более значимыми, поскольку новые технологии обещают быть все более таргетированными, глобальными и быстро развертываемыми.

Политики, отстаивающие дело мира, возможно, будут проповедовать исключительно оборонительную стратегию (что нашло отражение в том, что в 1949 г. американское министерство обороны пришло на смену министерству войны). Тем не менее оборонные средства часто могут использоваться и как наступательные вооружения; достаточно вспомнить об автономных дронах, заточенных на уничтожение ракет, которые, однако, можно перепрограммировать так, чтобы убивать генералов. Соответственно, даже планы обороны могут быть агрессивными, что доказывает пример Стратегической оборонной инициативы (СОИ) Рональда Рейгана. В СОИ, получившей известность как «Звездные войны», должны были использоваться космические лазеры, которые бы сбивали советские ракеты. Если бы эта программа была внедрена, хрупкое равновесие сдерживания (обеспечиваемое гарантированным взаимным уничтожением ядерным оружием) было бы нарушено. АСОЛД, автоматические кибератаки и кампании по дезинформации – сегодня все это грозит подорвать давно сложившиеся ожидания, определявшие цели и границы международного конфликта. Мы должны найти новые способы ограничить их развитие и влияние.

Война поначалу может предстать исключительным положением, во время которого обычные этические аргументы перестают работать (или, по крайней мере, существенно ограничиваются). Однако третий новый закон робототехники применим и за пределами поля боя. Технологии, разрабатываемые в армии, также привлекают полицию, и все больше людей, занятых в области общественного порядка, стремятся использовать распознавание лиц для сканирования толпы в поисках преступников. Опираясь на методы машинного обучения, налоговые органы стремятся выявлять незадекларированные доходы путем анализа электронной почты и банковских счетов всех граждан. Сама возможность столь совершенного надзора заставит людей, обеспокоенных безопасностью, вкладываться в шифрование, которое, в свою очередь, будет подталкивать власти бросать все больше ресурсов на расшифровку.

Нам нужно найти способы сдерживания подобной динамики – и не только в военных и полицейских сценариях. Инвестирование в ИИ и робототехнику часто оказывается частью состязания за определенный набор ресурсов, например, в судопроизводстве, финансах и других областях, где люди конкурируют за позиционные преимущества. Для распределения таких ресурсов государство и корпорации создают для граждан и клиентов репутационные соревнования, в частности рейтингование, которое имеет значение в той мере, в какой позволяет пристыдить определенных людей (с низкими баллами) и превознести других (с высокими). Вначале кредитный рейтинг ограничивался одной областью жизни (определением кредитоспособности) и основывался на ограниченном множестве данных (истории выплат по кредитам). Но спустя десятилетия рейтинги и другие похожие оценки стали определять иные возможности, включая ставки страхования и возможности найма. В последнее время специалисты по сбору информации предложили еще больше источников данных для кредитного рейтинга, начиная с того, как люди печатают на клавиатуре, и заканчивая их политическими взглядами или сайтами, которые они посещают. Китайское правительство значительно расширило задачи подобного контроля, сделав так, что «социальный рейтинг» стал играть роль в определении того, на каких поездах или самолетах гражданин может передвигаться, в каких гостиницах останавливаться и в каких школах могут учиться его дети. Во многих областях Китая расширился объем потенциально используемых данных – начиная с того, как человек переходит улицу, как он относится к своим родителям, и заканчивая степенью его патриотизма и веры в коммунистическую партию и ее учение.

Система социального рейтинга и ее многочисленные западные аналоги вызвали немало споров, и неясно, до чего они способны дойти. Конечно, некоторые области применения таких систем могут оказаться достаточно ценными. Сложно жаловаться на медицинскую систему надзора, которая ускоряет отслеживание контактов, чтобы остановить распространение инфекционного заболевания и препятствует таким образом началу пандемии. Но когда те же инструменты используются для постоянного ранжирования всех и каждого, они становятся элементом подавления людей.

Основная опасность социального контроля средствами ИИ – это создание мира строгой регламентации. Конфликт и конкуренция – часть жизни, и мы должны быть готовы к тому, что технологическое развитие скажется и на них. Однако ИИ и роботы грозят сделать социальный контроль слишком совершенным, а конкуренцию (для того чтобы стать тем, кто способен навязывать контроль или уклоняться от него) – слишком жесткой. Безопасность и креативность человека развиваются в средах, в которых найден баланс предсказуемости и открытости, порядка и подвижности. Если мы не сможем ограничить робототехнику, встроенную в системы социального контроля, этому балансу придет конец.

4. Роботизированные системы и ИИ всегда должны содержать указание на идентичность своего создателя (или создателей), оператора (или операторов) и собственника (или собственников)

За роботов и алгоритмические системы отвечают люди. Конечно, некоторые программы могут сегодня порождать новые программы, которые, в свою очередь, дают начало другим. Но мы все еще может проследить родословную этих «детей и внуков разума» вплоть до их источника²². И мы должны сохранить это положение дел в обозримом будущем, несмотря на предсказуемое сопротивление со стороны некоторых апологетов полностью автономного ИИ.

На передовых рубежах ИИ, машинного обучения и робототехники подчеркивается автономия, будь то умных контрактов, высокочастотных трейдинговых алгоритмов (независимых, по крайней мере, в те промежутки времени, которые для людей незаметны) или будущих роботов. Существует туманное понятие «бесконтрольных» роботов, которые сбежали от своего создателя. Возможно, такие инциденты и в самом деле неизбежны. Тем не менее какой-то человек или организация должны за них отвечать. Требование, согласно которому у всякого ИИ или роботизированной системы должно быть лицо, отвечающее за его или ее действие, поможет ограничить те проекты, которые способны оказаться столь же опасными, как нерегулируемая биоинженерия вирусов.

Конечно, некоторые роботы и алгоритмы в своем развитии отступят от идеалов, запрограммированных их собственниками, в результате взаимодействия с другими людьми или машинами (представьте, к примеру, развитый беспилотный автомобиль, который будет развиваться в результате множества влияний, им испытываемых²³). В подобных случаях может быть несколько сторон, ответственных за развитие данной машины и ее действия²⁴. Независимо от того, что именно влияет на развитие подобных машин, исходный создатель обязан встроить в них определенные ограничения на развитие кода, чтобы можно было записывать факторы влияния и в то же время предотвращать возникновение негативных результатов. Когда же другой человек или организация взламывает либо отключает подобные ограничения, ответственным за проступки робота становится хакер.

В качестве примера применения этого принципа рассмотрим чат-бота, который постепенно обучается определенным паттернам диалога, используя для этого общение в сети Twitter. Если верить некоторым новостным аккаунтам, чат-бот компании Microsoft, Tay, оснащенный ИИ, быстро усвоил речевые паттерны отъявленных нацистов, проведя лишь несколько часов в Twitter²⁵. Microsoft не программировала такой результат, но компания должна была знать, что опасно размещать бота на платформе, известной плохой модерацией преследований и ненавистнических высказываний. Кроме того, если бы чат-бот вел дневник дурных воздействий, он мог бы сообщить о них в сети Twitter, которая, если бы работала лучше, могла бы предпринять определенные действия, чтобы приостановить или замедлить поток оскорблений, исходящих от аккаунтов троллей, а может, и кого похуже.

Регулирующие ведомства должны будут требовать запроектированной ответственности (дополняющей обширные модели запроектированной безопасности и конфиденциальности). Для этого, возможно, придется запрограммировать на аппаратном уровне обязательные контрольные журналы или ввести практики лицензирования, в которых специально оговариваются проблемные исходы²⁶. Подобные инициативы будут не просто регулировать робототехнику и ИИ post hoc, но и влиять на развитие систем, закрывая одни возможности 27 проектирования и поощряя другие²⁷.

* * *

Каждый из этих новых законов робототехники, требующих дополнительности, аутентичности, сотрудничества и атрибуции, основывается на теме, которая будет служить ориентиром для всего нашего исследования, а именно на ключевом различии между технологией, которая заменяет людей, и технологией, которая позволяет им лучше делать свою работу. Смысл новых законов в том, чтобы развивать программы, которые делают ставку на силы человека в таких областях, как здравоохранение и образование, и чтобы воспользоваться человеческими ограничениями для сужения масштаба и снижения интенсивности конфликта и зарегулированности в нашей социальной жизни.

Исследователи в области ИИ давно стремятся создать компьютеры, которые могли бы чувствовать, мыслить и действовать как люди. Еще в 1960-е гг. специалисты по робототехнике в MIT разрабатывали роботов-часовых, способных освободить солдат от утомительной и опасной обязанности стоять на посту в местах, которые могут подвергнуться атаке²⁸. Однако есть и другое понимание робота-часового – его можно расценивать не в качестве ИИ, заменяющего воинский состав, а в качестве еще одного средства, повышающего эффективность солдат-охранников. Если внедрить такой ИИ, армии, возможно, не нужно будет призывать дополнительных солдат для контроля все новых и новых угроз. Можно разработать сенсоры и компьютеры, которые будут работать в качестве дополнительного набора ушей и глаз, быстро оценивая уровни угрозы и другие данные, чтобы помочь солдатам с выбором действий. Эта цель, которая определяется как «усиление интеллекта» (УИ), определила проекты многих первопроходцев интернета²⁹. Также она является основой современного военного дела, то есть когда пилоты дронов работают с обширным комплексом данных, поступающих от сенсоров, и от их решений о воздушных бомбардировках зависят вопросы жизни и смерти.

Различие между ИИ и УИ, хотя порой оно и стирается, критически важно для определения направления инноваций. Большинство родителей не готовы отправить своих детей к учителям-роботам. Также детей не нужно учить тому, что их учителей со временем заменят машины, отлично подогнанные под их манеру обучения. В образовании есть много более гуманных концепций роботов. Например, школы уже успешно экспериментировали с «роботами-компаньонами», помогающими ученикам зубрить списки слов. Они способны задавать вопросы о том, что ученики только что выучили. Эти роботы, которые выглядят как животные или вымышленные создания, но не люди, не ставят под вопрос уникальность человека.

Исследователи постепенно приходят к выводу, что во многих контекстах УИ дает лучшие результаты и приносит больше пользы, чем искусственный или человеческий интеллект, когда они работают порознь. УИ и роботы, выполняющие функцию ассистентов, могут стать настоящим подарком для работников, высвобождая время для отдыха или досуга. Но в любой современной экономике действуют законы, которые заставляют выбирать ИИ, а не УИ.

Робот не просит отгулов, справедливой заработной платы, ему не нужна медицинская страховка. Когда труд рассматривается прежде всего в качестве издержек, справедливая оплата становится проблемой, которую как раз и должны решить роботы. Роботы привели к революции в промышленном производстве, заменив рабочих на конвейере. Сегодня многие бизнес-эксперты требуют похожего технологического развития, которое позволит роботам взять на себя более сложные задачи, начиная с медицины и заканчивая армией.

Слишком многие журналисты, увлеченные этим управленческим энтузиазмом, обсуждали «роботов-юристов» и «роботов-врачей» так, словно они уже существуют. В этой книге будет показано, что подобные описания нереалистичны. В той мере, в какой технология действительно меняет профессии, она обычно действует методами УИ, а не ИИ. За головокружительными заголовками о «программах, которые съедают мир», скрываются десятки менее громких случаев применения вычислений, помогающих адвокатам, врачам или учителям работать лучше и быстрее³⁰. Вопрос программ инноваций теперь в том, как сохранить преобладание УИ и где развивать ИИ. Эту проблему мы проанализируем применительно к разным секторам, не пытаясь придумать одну на все случаи модель технологического развития.

В разговорах о роботах обычно два полюса – утопический («машины будут делать всю грязную, опасную или сложную работу») и дистонический («да и всю остальную, а потому создадут массовую безработицу»). Однако будущее автоматизации рабочих мест (и не только) будет определяться миллионами небольших решений о том, как развивать ИИ.

В какой мере можно довериться машинам и передать им задачи, которые раньше выполняли люди? Что приобретается и теряется, когда они берут их решение на себя? Каково оптимальное сочетание роботизированных и человеческих взаимодействий? И как различные правила – начиная с кодексов профессиональной этики и заканчивая страховыми программами и уставами – влияют на объем и скорость роботизации повседневной жизни? Ответы на эти вопросы могут в значительной мере определять то, к чему приведет автоматизация – к революции роботов или к медленному и осторожному улучшению того, как выполняется та или иная работа.

* * *

Почему нас должны особенно волновать роботы и ИИ, если сравнить их с повсеместно распространившимися экранами и программами, которые уже колонизировали значительную часть нашего времени? Есть две практические причины. Во-первых, физическое присутствие робота может быть намного более навязчивым, чем любого планшета, смартфона или сенсора; собственно, сами эти технологии могут встраиваться в роботов³¹. Никакой плоский экран не может протянуть руку, остановить ребенка-хулигана или непокорного заключенного, меняя тем самым актуальную технологию контроля толпы и вырабатывая новые формы дисциплины. Но робот все это может.

Даже если внедрение роботов идет медленно или в ограниченном масштабе, ИИ грозит дать новый толчок техникам завлечения и убеждения, встроенным в различные технологии, начиная с мобильных приложений и заканчивая видеопокером³². Исследователь взаимодействий человека и компьютера Джули Карпентер отмечает: «Даже если вам известно, что у робота очень мало автономии, но когда нечто движется в вашем пространстве и при этом кажется, что это движение происходит с какой-то определенной целью, мы приписываем такой вещи внутреннее сознание или цели»³³. К примеру, и такой не слишком одушевленный аппарат, как робот-пылесос, может вызвать эмоциональную реакцию. Чем больше сенсоров записывают наши реакции, тем богаче залежи эмоциональных данных, в которых могут копаться все более сложные компьютеры³⁴. Каждый «лайк» – это сигнал, указывающий на то, что нас привлекает; каждое зависание на экране – это положительное подкрепление для определенной базы данных о манипуляциях. Миниатюрные сенсоры делают наблюдение мобильным, подрывая наши попытки скрыться. Действительно, решение скрыться от сенсоров может быть основой для действий, которые очень много расскажут об окружающем нас мире. Более того, вычислительные мощности и хранилища данных могут завести нас на путь дистопии, где все имеет значение, так что все, что делает ученик, может записываться и сохраняться для оценок в будущем³⁵. И наоборот, в обычной школе ученик каждый год встречается с новыми учителями, что позволяет ему начинать с относительно чистого листа³⁶.

Нельзя сказать, что какой-либо из этих тревожных прогнозов наверняка сбудется, и это вторая причина, заставляющая сосредоточиться на современных программах развития робототехники. Когда роботы проникают в хорошо регулируемые сферы, у нас появляется отличная возможность определить их развитие, применяя разумные правовые стандарты защиты неприкосновенности личной жизни и защиты потребителей. Мы можем определять направление развития технологии правом³⁷. Роботов не обязательно проектировать так, чтобы они записывали каждый момент жизни того, кого они сопровождают или за кем следят. Действительно, сам надзор за роботами может показаться достаточно угнетающим, чтобы мы требовали некоторого человеческого контроля за любой подобной системой (что и стало правилом в одной роботизированной южнокорейской тюрьме, где человек следит за механическими охранниками). Когда роботы становятся частью системы наказания, любое решение по их применению должно определяться открытой и содержательной дискуссией об управлении тюрьмами и относительных достоинствах возмездия и реабилитации. Ведь одна из основных целей новых законов робототехники – заставить политиков и чиновников не рассматривать столкновение позиций по вопросам ИИ и робототехники в качестве всего лишь части общей «программы развития технологии» и привлечь их к подлинному сотрудничеству с экспертами-профессионалами, обязанностью которых является защита важных ценностей в хорошо структурированных областях деятельности.

Циники могут посмеяться над такими ценностями, объявив их всецело субъективными, а потому обреченными на устаревание в обществе, которое становится все более технологическим. Однако сообщества ученых и консультантов, занимающихся наукой, технологией и человеческими ценностями, показали, что прогностическая этика может определять проектирование технологий и влиять на него³⁸. Ценности сами встраиваются в технологию³⁹. Канадские, европейские и американские регулирующие ведомства в качестве принципа, на который обязаны ориентироваться разработчики, ввели «запроектированную конфиденциальность»⁴⁰. Подобные правила в еще большей степени должны относиться к технологии, опирающейся на массовое использование сенсоров, которая может свободно наращивать свои способности к записи изображения и звука. Например, у многих видеокамер есть красная лампочка, включение которой показывает, что они записывают видео, и точно так же у роботов должен быть эквивалентный индикатор, показывающий, что они записывают людей, находящихся рядом с ними. Данные, основанные на ИИ, должны стать предметом строгих ограничений, определяющих их сбор, анализ и применение⁴¹.

Адепты технологий, возможно, возразят, сказав, что регулировать робототехнику пока еще слишком рано. Пусть проблема оформится, и тогда с ней можно будет что-то сделать, считают сторонники laissez-faire. Но такой квиетизм неуместен. Слишком часто в области высоких технологий индустрия демонстрирует тот факт, что подходящего момента для регулирования не бывает никогда. Когда возникают новые бизнес-практики, вызывающие опасения, регуляторов, готовых приступить к действиям, обвиняют в том, что они душат «индустрию в зародыше». Когда же подобные практики получают широкое распространение, сам факт их повсеместности демонстрируется в качестве доказательства того, что потребители уже свыклись с ними. На любой аргумент в пользу правового воздействия найдется заранее заготовленная стратегия отвлечения, основанная на успокоительных заверениях и трюизмах. «А есть ли проблема на самом деле?», «Давайте подождем и посмотрим», «Потребители хотят этого» – все это преподносится в качестве годного на любой случай, козырного обоснования бездействия⁴².

Позиция «подождем – посмотрим» игнорирует то, что технология, не будучи ни в коем смысле независимой от ценностей, сама начинает их формировать⁴³. Роботы – компаньоны детей в сетевых чартерных школах не просто отражают (или искажают) существующие ценности, определяющие то, какая именно социализация нужна детям, они еще и формируют ценности этих поколений, прививая им понимание того, какие моменты являются приватными, а какие могут легко постоянно записываться. Подобные обычаи не должны проистекать просто из того, что наиболее выгодно поставщикам технологизированного образования. Они требуют демократического управления и участия экспертов, работающих не только в сфере технологии⁴⁴.

* * *

Эта роль технологии в оформлении ценностей представляется очевидной опасностью в военном деле, где роботы могут существенно поменять наше понимание параметров честного конфликта. С точки зрения некоторых футуристов, автоматизация военного конфликта – дело решенное. Ни одна военная держава не может позволить себя слишком сильно отстать от конкурентов в разработке страшного флота «роботов-убийц»⁴⁵. Если мы «запрограммированы на войну», значит, мы будем развивать смертоносные роботизированные силы⁴⁶. С такой точки зрения человеческая природа сама диктует определенное направление технологического развития, как и, возможно, свое собственное устаревание, которое приведет к появлению сверхчеловеческих роботизированных систем⁴⁷.

Подобный реализм может быть благоразумным, однако он рискует стать опасным самоисполняющимся пророчеством, то есть ускорить гонку вооружений, а не просто ее предсказать. Чем менее дорогостоящим кажется военное вмешательство, тем с большей вероятностью оно привлечет политиков и государства. Кроме того, чем с большей точностью можно использовать силы, тем больше друг с другом начинают сливаться язык войны и язык правоприменения, создавая этические серые зоны. Рассмотрим почти уже реальную возможность: США могут дополнить своих воздушных дронов, присутствующих в зонах военных действий, наземными роботами и более мелкими дронами, проникающими в помещения. Кем в таком случае считать людей, отслеживаемых такими дронами, – комбатантами или подозреваемыми? И международные, и национальные правовые прецеденты указывают на разное обращение с теми и другими. Подобное обращение нельзя легко автоматизировать или, может быть, вообще нельзя. Следовательно, военное право (или простая уголовная процедура) могут стать непреодолимым барьером для роботов-солдат или, о по крайней мере, для их законного применения⁴⁸.

И академики, и государственные чиновники уже приступили к анализу сценариев роботизированной войны и правоприменения⁴⁹. Следует ожидать дальнейшего слияния двух этих областей под общей рубрикой «внутренней безопасности» и все большего применения роботов с целью поддержания общественного порядка. В конечном счете нам обещают появление сверхчеловеческого интеллекта, который будет выявлять угрозы, то есть ИИ, способного просеивать миллионы потоков данных для быстрого выявления и предотвращения будущего преступления.

Но прежде чем воодушевляться подобной технологией, надо привести некоторые отрезвляющие примеры, показывающие, насколько бесчеловечным может быть искусственный интеллект. Исследователи использовали машинное обучение для предсказания криминальных наклонностей на основе таких скудных данных, как черты лица. Должны ли будущие роботы-полицейские учитывать эти данные о криминальных чертах лица при принятии решений о том, за какими людьми следить внимательнее, а каких игнорировать? Или любые данные и выводы на их основе запрещены для машин и техник, которые в будущем могут стать еще более важной частью охраны общественного порядка, например, таких, как предиктивный анализ, ныне пользующийся популярностью в некоторых отделениях полиции? Есть ли у нас право инспектировать и обсуждать подобные данные? Должны ли эти исследования вообще проводиться?⁵⁰

Соотнесение черт лица с криминальными наклонностями может показаться довольно экзотическим или необычным применением ИИ. Однако базовая логика развитых вычислительных решений остается непроницаемой для обычных форм объяснения. Некоторые специалисты по робототехнике превозносят такую необъяснимость, представляя ее в качестве альтернативы человеческому интеллекту, выходящей далеко за его пределы. «В какой-то момент это все равно что объяснять Шекспира собаке», – заметил Ход Липсон из Колумбийского университета, когда его попросили оценить необходимость потребовать от ИИ большей прозрачности⁵¹. Если речь идет об уничтожении раковых клеток или предсказании погоды, Липсон, возможно, в чем-то и прав: нам не нужно понимать точный механизм ИИ, чтобы дать ему возможность решать наши проблемы. Но когда дело касается важных человеческих решений, необъяснимое становится неприемлемым. Как показывает постепенно складывающееся в ЕС «право на объяснение», необъяснимое может быть ограничено и заменено более гуманным подходом.

Некоторые крупнейшие сражения вокруг роботов и ИИ будут сосредоточены на аналитической силе машин. Какие данные им позволено собирать и применять? И как такие данные будут обрабатываться? Эти вопросы жизненно важны для будущего демократии и коммуникаций. Подумаем о том, как и когда расцветает дезинформация⁵². Хотя недобросовестная пропаганда давно преследует медиа, автоматизированная в значительной мере публичная сфера дала ей новый толчок, допустив вирусное распространение ложных заявлений и фейков. Некоторые властные структуры уже начали вмешиваться, блокируя распространение разжигания ненависти и лжи. Это первый шаг на пути к восстановлению сетевой публичной сферы, но потребуется намного больше – в частности, журналисты, соблюдающие традиционные нормы своего ремесла, должны будут играть более важную роль.

Киберлибертарианцы будут доказывать, что искусственные интеллекты должны обладать «свободой мысли», подразумевающей обработку любых данных, которые они только могут найти или которые их собственники решат им «скормить». В области чистых вычислений, не связанной с социальными последствиями, это право может соблюдаться. Ради свободы слова можно позволить любую неуважительную речь; программисты могут утвердить подобное право на ввод в программы данных независимо от их социальных последствий. Но как только алгоритмы – и особенно роботы – начинают оказывать определенное воздействие на мир, они должны регулироваться, а программисты должны нести этическую и правовую ответственность за причиненный ими вред⁵³.

Профессионализм и экспертные знания

Кто должен решать, что включается в такую ответственность? Мягкий и ровный переход потребует старых и в то же время новых форм профессионализма в нескольких ключевых областях. Понятие экспертных знаний обычно указывает на владение определенным корпусом информации, но его реальное применение требует намного большего⁵⁴. Будущее трудовой занятости покажется довольно мрачным тем, кто путает профессиональные обязанности с простым знанием. Способность компьютеров хранить и обрабатывать информацию выросла по экспоненте, и постоянно накапливается все больше данных о том, что люди делают на рабочем месте⁵⁵. Однако профессионализм включает в себя и нечто более сложное – постоянную необходимость решать конфликты ценностей и обязанностей, а также противоречивость описаний фактов⁵⁶. И это имеет большое значение для будущего состояния рынка труда.

Представим, например, что вы едете домой со скоростью сорок пять миль в час по дороге с двумя полосами движения. Впереди, на расстоянии сотни ярдов, вы замечаете группу детей, которые идут домой после школы. Но именно в тот момент, когда вы вот-вот проедете мимо них, встречная фура виляет и выезжает со своей полосы, направляясь вам прямо в лоб. У вас лишь пара секунд, чтобы решить: пожертвовать собой или наехать на детей, чтобы уклониться от грузовика.

Мне хочется думать, что большинство выберет более благородный вариант. По мере развития автоматизации вождения подобные ценности самопожертвования могут быть закодированы непосредственно в транспортные средства⁵⁷. Многие автомобили уже сегодня заметят малыша на дороге, которого может задавить водитель, если в поле его зрения есть слепое пятно. Они даже подают сигнал, когда есть риск столкновения с другими автомобилями. Технически возможно перейти от системы оповещения к остановке, которая будет закодирована на аппаратном уровне⁵⁸. А если это возможно, следовательно, возможно и автоматическое торможение, не позволяющее водителю вильнуть в сторону ради самосохранения, которое будет во вред другим.

Но такое решение можно закодировать и иначе – поставить интересы пассажиров машины выше интересов всех остальных. И хотя я не думаю, что это правильный подход, его правильность для нас сейчас не важна. Главный вопрос в том, как инженеры, регуляторы, маркетологи, а также специалисты по связям с государственными органами и продажам должны работать вместе, определяя такие взаимодействия человека и компьютера, при которых соблюдались бы интересы всех, кого затрагивает автоматизация, но при этом учитывались коммерческие требования. В проектировании, маркетинге и безопасности не так много проблем, которые надо решить всего один раз. По мере развития технологий пользователи адаптируются, рынки меняются и постоянно возникают новые требования.

Медицина как профессия давно сталкивается с подобными дилеммами. Работа врачей никогда не ограничивается лечением болезней, с которыми они имеют дело непосредственно. Врачи, обязанные понимать и отслеживать постоянно меняющиеся риски и возможности, должны не упускать из виду направление развития медицины в целом, учитывая актуальные исследования, которые либо подтверждают, либо ставят под вопрос общепринятые медицинские знания. Рассмотрим такое, на первый взгляд тривиальное, решение – давать пациенту с синуситом антибиотик или нет? Хороший терапевт должен сначала решить, есть ли клинические показания для данного лекарства. Позиции врачей касательно того, насколько сильна их обязанность ограничивать предписания антибиотиков с целью замедления эволюции резистентных бактерий, могут несколько разниться. Они могут учитывать и значение возможных побочных эффектов антибиотиков, таких как весьма опасные инфекционные болезни, вызываемые в некоторых случаях бактерией Clostridium difficile, а также вероятность последствий для пациентов разных типов. Когда пациенты приходят к терапевту, у них есть некоторое представление о подобных вещах, однако они не несут ответственности за правильное решение, и точно так же они не обязаны объединять все субъективные суждения в конкретные рекомендации. Это задача профессионала.

С точки зрения адептов всемогущества больших данных, предсказательной аналитики, алгоритмов и ИИ, «мозги» роботов могут найти путь, чтобы обойти все эти проблемы. Это весьма привлекательное представление, которое обещает быстрое развитие технологии, сопровождаемое ростом уровня жизни. Но является ли оно реалистическим? Даже системы, работающие в чисто цифровой сфере, такие как поисковые алгоритмы, высокочастотный трейдинг и таргетированная реклама, во многих случаях оказывались предвзятыми, нечестными, неточными или неэффективными⁵⁹. Гораздо сложнее собирать информацию в полевых условиях, да и вообще спорно то, что следует измерять в первую очередь. Ставки значительно выше, когда алгоритмические системы переходят на новый уровень, реализуясь в мозгах роботов, которые могут воспринимать свою среду и воздействовать на нее. Существенное значение в таком случае приобретает осмысленный человеческий контроль.

Подобный человеческий контроль необходим не только в таких областях, как медицина с ее историей профессионального самоуправления. Даже в сфере транспорта у профессионалов еще многие десятилетия будут сохраняться критически важные роли. Каким бы быстрым ни был прогресс в техниках роботизированного вождения, фирмы, его развивающие, не могут автоматизировать социальную апробацию дронов-доставщиков, переходных тележек или автомобилей. Как заметил эксперт по праву Брайант Смит, юристы, маркетологи, инженеры-строители и законодатели должны работать сообща, чтобы помочь обществу подготовится к широкому применению подобных технологий⁶⁰. Государствам следует изменить политику обеспечения как в области транспорта, так и инфраструктуры. Локальные сообщества должны принять сложные решения о том, как управлять переходами, поскольку светофоры и дорожные знаки, оптимизированные для водителей-людей, возможно, не будут достаточно хорошо работать для роботизированных транспортных средств, и наоборот. Как отмечает Смит, «необходимо пересмотреть долгосрочные принципы планов землепользования, инфраструктурных проектов, строительных кодексов, ценных бумаг и бюджетов»⁶¹.

Для этого перехода понадобится выполнить большую и многостороннюю работу⁶². Эксперты по безопасности будут моделировать то, создают ли транспортные средства без людей-пассажиров особые риски для критически важной инфраструктуры или для толп. Террористам не нужен самоубийца-подрывник, если можно начинить взрывчаткой беспилотный автомобиль. Эксперты по здравоохранению будут моделировать распространение инфекционных заболеваний в той ситуации, когда в транспортных средствах перевозятся незнакомые друг с другом люди. Законодатели уже мучаются с вопросом о том, следует ли обязать такие транспортные средства возвращать контроль человеку по его запросу или предоставлять контроль полиции, если она его требует⁶³. Я использовал в последнем предложении двусмысленный термин «человек», поскольку у нас все еще нет хорошего термина для того, кто находится в полуавтоматическом транспортном средстве. И право, и нормы постепенно определят, что представляет собой подобная идентичность⁶⁴.

Ни одно из таких решений не должно приниматься исключительно – или даже в первую очередь – программистами и корпорациями, разрабатывающими алгоритмы беспилотных автомобилей. Для них требуется участие властей и значительно более широкого спектра экспертов, начиная со специалистов по урбанистке и заканчивая регулирующими ведомствами, полицией и адвокатами. Переговоры всех этих заинтересованных сторон, скорее всего, будут длительными, но такова цена демократического, инклюзивного перехода к новой и более качественной технологии. И это только немногие из этических, правовых и социальных составляющих масштабного перехода к беспилотным автомобилям⁶⁵.

Тем не менее некоторые футуристы утверждают, что ИИ обходит саму необходимость наличия профессий. По их мнению, если у нас есть достаточный массив данных для обучения, практически любую человеческую функцию можно заменить роботом. В этой книге мы исходим из прямо противоположного взгляда: в той мере, в какой наша повседневная жизнь оформляется ИИ и машинным обучением (которыми часто управляют далекие крупные корпорации), нам нужно больше профессионалов, причем профессионалов более квалифицированных. Это вопрос утверждения и расширения схем образования и лицензирования, которые у нас уже имеются в таких областях, как медицина и право. Также может потребоваться создание новых профессиональных идентичностей в других критически важных секторах, где существенную роль играет широкое участие общества и в то же время экспертные знания.

Два кризиса экспертных знаний

Утверждение человеческих ценностей как формы экспертных знаний у некоторых читателей может вызвать раздражение. В настоящий момент наиболее популярным аргументом против проникновения ИИ в управление рабочими местами и городами является не что иное, как принцип демократии. Критики ИИ утверждают, что технические эксперты в таких областях, как машинное обучение и нейронные сети, недостаточно отличаются друг от друга, чтобы представлять людей, на которых воздействует их технология⁶⁶. Также они слишком далеки от местных сообществ. То же самое можно сказать и о многих других экспертах. Давно известны выдающиеся активисты, которые обличают безразличных врачей и преподавателей, юристов в «башне из слоновой кости» и ученых, далеких от проблем обывателя. Обратив внимание на предсказания экономистов, указывающие на катастрофические последствия Брексита, британский политик Майкл Гоув заявил, что «народу в этой стране эксперты надоели»⁶⁷. Когда это ощущение начинает питать популистские кампании по всему миру, становится заметен все больший разлом между политикой и экспертными знаниями, массовыми движениями и бюрократической компетенцией, народной волей и соображениями элиты.

Комментируя подобные тенденции, социолог Джил Эйал утверждает, что экспертные знания и навыки – способ говорить о «пересечении, оформлении и трении между наукой и технологий, с одной стороны, правом и демократической политикой, с другой»⁶⁸. В управлении с давних пор известно противоречие, проявляющееся, когда бюрократам приходится принимать сложные решения, в которых учитываются и факты, и ценности. Так, повышение или снижение допустимых норм загрязнения – решение, влекущее определенные медицинские следствия (например, повышение заболеваемости раком легких), экономический эффект (в плане доходности предприятий) и даже культурные следствия (например, в плане жизнеспособности шахтерских районов). Эйал сосредоточивается на демократическом вызове чисто технократическому принятию решений на каждом из фронтов.

В этой книге исследуется принципиально иной вызов, брошенный экспертным знаниям, а именно столкновение различных форм экспертизы. Уважаемые экономисты и эксперты в области ИИ утверждали, что их способы познания и упорядочивания мира должны получить приоритет практически во всех областях, в больницах и школах, центральных банках и военных штабах. Немногие из них столь же откровенны, как бывший исполнительный директор некой технологической компании, который заявил одному генералу: «Вы вообще ничего не понимаете в машинном обучении. Если я проведу в вашей палатке один день, я смогу решить большую часть ваших проблем»⁶⁹. Однако общая тема многих книг об автоматизации на базе ИИ и экономическом прорыве такова: методы экономики и информатики – всего лишь первые среди равных, то есть среди других форм экспертных знаний. Они предсказывают (и помогают создавать) мир, в котором ИИ и робототехника быстро заменят человеческий труд, поскольку экономика требует более дешевых методов выполнения работ. С этой точки зрения почти все работники со временем разделят судьбу операторов лифтов и кучеров былых времен, то есть им только и останется, что ждать, когда их заменит кто-нибудь, обладающий подходящими данными, алгоритмами и техникой.

Конечно, есть такие области, где экономика и ИИ крайне важны. Бизнес не может работать, не покрывая издержки; касса самообслуживания сломается, если программа сканера не сможет распознать штрих-код товара. Однако на вопросы о том, должна ли существовать определенная фирма и следует ли заменить роботизированным киоском кассира, лишь экономика и информатика ответить не могут. Решение принимается политиками, сообществами и фирмами, причем на основе сложного комплекса ценностей и требований. Такие ценности и требования невозможно свести к уравнениям эффективности и алгоритмам оптимизации, совершенно отличным и абстрагированным от конкретных сообществ. Скорее они выражаются и согласовываются экспертами-людьми, в рамках современных или будущих профессий способных показать, как скрытые, локальные знания работников и менеджеров выражаются в услугах и практиках, заслуживающих сохранения.

Стремиться к противоположному, то есть к высвобождению коммерческих мотивов и мимикрии роботов, нацеленных на то, чтобы колонизировать, заменить или подчинить себе любую форму человеческого труда, – значит радикально реорганизовать общество. Социолог Уилл Дэвис однажды отметил, что «профессия, требующая права на все что угодно, является уже не профессией, а разновидностью эпистемологической тирании»⁷⁰. Сегодня в очень многих спорах об ИИ и робототехнике господствует узкий взгляд, сосредоточенный на эффективности и оптимизации. Моя цель в этой книге – ввести в обсуждение автоматизации намного более широкий список целей и ценностей. Чтобы закрепить этот более содержательный диалог, нам нужно добиться того, чтобы везде, где труд и услуги выражают наши ценности, распределенные экспертные знания соединяли демократическую ценность представительства с когнитивными ценностями точности, эффективности и научного метода⁷¹.

Этот подход существенно отличается от позиции многих программистов 1980-х гг., которые стремились свести процесс принятия решений в среде юристов или врачей к древу импликаций «если… то». Например, подобная программа может спрашивать обучаемого врача: «Есть ли у пациента жар? Если есть, спросите его, когда он начался. Если нет, спросите, есть ли у него кашель». Такие системы внушили немалый энтузиазм, однако они оставались громоздкими и неудобными. Оказалось, что систематизировать профессиональное суждение намного сложнее, чем думали исследователи ИИ.

Философ Хьюберт Л. Дрейфус для объяснения того, почему экспертные системы показали столь слабые результаты, разработал специальную теорию неявного знания⁷². Мы знаем больше, чем можем объяснить. Подумайте о том, как сложно было бы свести вашу собственную работу к серии утверждений «если… то». Смог бы компьютер распознавать ситуации, с которыми вы сталкиваетесь ежедневно? Смог бы он с той же скоростью формулировать, оценивать и ранжировать возможные ответы на такие ситуации? И если нет (я подозреваю, что именно такой отрицательный ответ даст большинство моих читателей), трудности описания (профессиональных задач) и перевода (человеческих ситуаций в компьютерный код) позволяют хорошо понять, что у людей и в будущем останется определенная трудовая роль.

Конечно, изменчивость иногда следует сдерживать, а не превозносить. Если одни отоларингологи рекомендуют удаление миндалин 90 % детей, которых лечат, тогда как все остальные – лишь в 15 % случаев или даже реже, это, вероятно, означает наличие серьезных проблем с некомпетентностью или оппортунизмом, которые следует изучить⁷³. И все же самостоятельность врачей, указывающая на их право на инновации или на отклонение от общепринятой практики, часто защищается законом и является чем-то желанным, с точки зрения самих пациентов⁷⁴. В обычной медицинской практике слишком много неопределенности, чтобы целиком сводить ее к алгоритмам, которые обычно в шутку называются «поваренной медициной». Пациенты хотят также, чтобы осмотр вел человек, готовый посочувствовать их страданиям и их подбодрить, дабы они быстрее выздоравливали. Точно так же многие родители, вероятно, не захотят, чтобы их детей учил общенациональный учитель, транслируемый по телевидению или радио, и неважно, какого сокращения налогов, выплачиваемых на систему образования, удалось бы при таком подходе достичь. Есть общее понимание того, что прямая связь с человеком, которому ты доверяешь, нечто намного более ценное, чем простая трансляция с участием пусть даже самого квалифицированного человека или робота.

Следовательно, один из способов сгладить демократический кризис экспертных знаний, то есть напряжение, возникающее между безразличными технократами и страстными популистами, – предоставить определенные права местным профессионалам. Мы не хотим, чтобы школьные программы во всех подробностях определялись законодательными собраниями штатов или мультинациональными корпорациями; учителя и профессора с сохраняющимся здравым пониманием того, что важно в их сфере, должны обладать всеми возможностями обогащать и оживлять базовую программу. Достаточно распространить это понимание ценности «личного стиля» на многие другие области, в которых он важен для работников и тех, кому они служат, и у нас будет базовый аргумент против преждевременной автоматизации. Если ИИ и суждено добиться успеха, его, по крайней мере, следует кормить разными данными, исходящими от наблюдателей-людей. «Успех» может вообще определяться как помощь профессионалам, обладающим всеми необходимыми знаниями и достаточно преданными своему делу, чтобы понимать, когда доверяться машине, а когда полагаться на собственное суждение.

Выгода издержек

Технократические представления о быстрой и всеобщей автоматизации порождают странное напряжение в самом центре современной экономической политики. Когда вопрос о технологической безработице поднимается американским Советом консультантов по экономическим проблемам, Всемирным экономическим форумом или Международным валютным фондом, эксперты сухо предупреждают о том, что роботами будут заменены десятки миллионов рабочих мест⁷⁵. Эта дискуссия, сосредоточенная на нас как производителях, окрашена в грустные тона неотвратимости. Похоже, что будет автоматизирована одна область за другой – сперва рутинные задачи, потом более профессиональные, наконец даже работа программистов, когда будет найден «мастер-алгоритм»⁷⁶. Изучение подобной литературы способно создать апокалиптическое настроение. «Роботы готовятся украсть 15 млн рабочих мест» – выстрелила Daily Mail, потрясая исследованием, расхваленным директором Банка Англии Марком Карни⁷⁷. Хотя оценки сокращения числа рабочих мест существенно разнятся, тон экономической литературы не может ввести в заблуждение: любой работник сегодня под угрозой.

В то же время экономисты превозносят удешевление услуг. Модель экономического прогресса в этом случае странно напоминает модель, которая описывается в рассказах об автоматизации. Предполагается, что ведущие компании в области здравоохранения и образования должны учиться на успехе конвейерных линий в промышленном производстве, а также на персонализации в интернете, основанной на сборе данных. Шаблонные и в то же время персонализированные подходы, состоящие в своего рода диалектическом отношении, должны удешевить больницы и школы и в то же время сделать самые лучшие услуги общедоступными⁷⁸.

Стоит только соединить дистопию «роботов, которые заберут все рабочие места» с утопией «постоянно дешевеющих услуг», и мы получим раздвоенное представление о нашем экономическом будущем. Рабочее место обречено стать дарвинистским адом, в котором работники подчинены машинам, записывающим каждое их движение для разработки роботизированных копий. Единственное утешение возможно после работы, когда чудеса технологии, как предполагается, приведут к всеобщему удешевлению.

Эта модель несчастных работников и восторженных потребителей не просто внушает опасения, она еще и просто неустойчива. Снижение затрат на рабочую силу само по себе представляется достижением. Если я могу заменить своего дерматолога приложением, а учителей детей – интерактивными игрушками, у меня будет больше денег на другие вещи. То же относится и к общественными услугам: город с полицейскими-роботами или нация с солдатами-дронами может отчислять меньше налогов на их зарплату и на здравоохранение. Однако врачи, учителя, солдаты и полицейские – все они тоже потенциальные покупатели того, что пытаются продать другие. И чем меньше у них денег, тем меньше я могу с них запросить.

Говоря языком классических экономических категорий, главной опасностью оказывается в таком случае дефляция, раскручивающаяся спираль низких заработных плат и цен.

Даже в рамках наиболее эгоистического рассуждения можно сказать, что «издержки» товаров и услуг, которые я несу, не просто убыток для моего благосостояния. Скорее, это способ перераспределения покупательной способности, позволяющий предоставить определенные возможности тем, кто мне помог (создавая то, что я покупаю), чтобы со временем они помогли сами себе (чтобы, возможно, купить то, что произвожу я). Конечно, универсальный базовый доход мог бы в какой-то мере компенсировать снижение покупательной способности тех людей, которых роботы лишают работы. Но нереалистично ожидать того, что перераспределение достигнет результата, аналогичного «пред-распределению», то есть некоторого сбалансированного паттерна экономического вознаграждения. В большинстве демократических стран налоговые обязательства богатейших граждан снижались многие десятилетия⁷⁹. Роботизация вряд ли изменит эту динамику, которая подрывает амбициозные планы по перераспределению богатства.

Если рассматривать экономику как устойчивую экологию трат и сбережений, как способ дробления власти (и ответственности) в части важных услуг, мы сможем лучше понять революцию робототехники. Традиционный анализ издержек и прибылей обычно требует поспешной замены людей машинами, даже если способности машин не дотягивают до стандарта. Чем ниже стоимость услуги, тем выше сравнительные прибыли. Но как только мы начинаем понимать выгоды самих издержек, представляемых как учет усилий и инвестиций в людей, недостатки этого упрощенного дуального представления об экономике становятся яснее. В предпоследней главе мы дополнительно обсудим выгоды издержек программ и курсов, которые рекомендуются в остальной части книги.

План книги

Многие адепты технологий стремятся к быстрой замене людей в областях, где нам не хватает данных и алгоритмов, чтобы эффективно выполнять работу. В то же время политики склоняются к фатализму, привычно жалуясь на то, что регулирующие ведомства и суды не могут поспеть за технологическим прогрессом. В этой книге будет обсуждаться как триумфализм технологического сообщества, так и минимализм политиков и стратегов; задача этого обсуждения в том, чтобы изменить публичное понимание роли государства в культивации технологического развития. Я предлагаю анализ программ развития, демонстрирующий силу нарратива и качественного суждения, управляющих развитием технологий, которые ныне подчинены алгоритмическим методам и количественным метрикам. Основная задача книги – извлечь накопленные знания из многих областей и позиций, чтобы представить их общественности, которая получит возможность ими пользоваться. В идеальном случае книга заложит основания для того, что Алондра Нельсон называет «предсказательным социальным исследованием», призванным оформлять технологическое развитие, а не только реагировать на него⁸⁰.

Перевод задач в код – не просто технологическая задача. Скорее, это приглашение определить то, что на самом деле важно в процессе обучения, в медицинском уходе, уходе за душевнобольными, журналистике и множестве других областей. Хотя есть искушение установить во всех этих сферах простые количественные показатели успеха и оптимизировать алгоритмы так, чтобы они им удовлетворяли (методом проб и ошибок, переработки накопленных данных или за счет применения каких-либо иных стратегий); определение того, что считать успехом или неудачей в подобных областях, остается крайне спорным вопросом. Обосновывать решение каким-то одним показателем – значит исключать все остальные. Никто не может «управляться» данными вообще. Некоторые данные имеют значение, но определение того, что считать значимым (а что отвергать в качестве нерепрезентативного), – это вопрос политический.

Среди специалистов по этике, занимающихся проблемами ИИ, возникло определенное противостояние прагматиков (которые работают с небольшими и обозримыми реформами вычислительных систем, призванными снизить их склонность к дискриминационным или иным нечестным суждениям) и футуристов, беспокойство которых вызвано развитием неподконтрольных систем и саморазвивающегося ИИ (который, как они опасаются, вскоре станет «умнее» или, по крайней мере, смертоноснее своих создателей – людей). Прагматики обычно отмахиваются от футуристов, которых преследуют призраки, тогда как футуристы считают, что задачи прагматиков слишком скучны в своей ограниченности. Я полагаю, что каждая из этих двух сторон нуждается в другой. Страшные предсказания футуристов, вполне вероятно, сбудутся, если мы уже сегодня не будем активно требовать прозрачности и подотчетности автоматизированных систем. Но мы вряд ли справимся с этой серьезной задачей, если не сумеем учесть фундаментальные вопросы человеческой природы и свободы, которые ставят футуристы.

Эти вопросы не новы. Например, еще в 1976 г. специалист по компьютерным наукам Джозеф Вейценбаум спрашивал: «Какие человеческие цели и задачи нельзя в должной мере передать компьютерам? Вопрос не в том, можно ли это сделать, а в том, следует ли передавать машине функцию, которая ранее выполнялась человеком»⁸¹. Однако вопросы: «Могут ли роботы быть лучше людей?» и «Когда люди не должны использовать роботов?» – сами по себе неполны. Почти каждый из нас в своей работе сегодня в определенной мере уже использует автоматизацию, которая начинается с простых инструментов и заканчивается ИИ, заменяющим человека. Более верная формулировка вопросов такова: «Какое социально-техническое сочетание людей и робототехники лучше всего отвечает социальным и индивидуальным задачам, а также ценностям?».

Разбирая ряд кейсов, я дам конкретные ответы на этот вопрос, отстаивая мысль о том, что именно дополнение, а не замена человеческих экспертных знаний искусственным интеллектом позволяет реализовать важные человеческие ценности. В главах 2, 3 и 4 описывается то, как подобный процесс мог бы осуществляться в здравоохранении, образовании и медиа, при этом обсуждение сосредоточено на первом новом законе робототехники, а именно на том, что технология должна дополнять, а не заменять уже существующих профессионалов.

В целом я смотрю на перспективы дополняющей автоматизации в здравоохранении и образовании с оптимизмом. В общем, пациентам и учащимся требуется взаимодействие с человеком⁸². Они понимают, что, какого бы уровня развития не достиг ИИ, крайне важно о его применении консультироваться с экспертами, ежедневно изучающими надежность различных источников знаний. Еще более важно в различных образовательных и медицинских контекстах то, что во взаимодействии всегда присутствует элемент человеческих отношений. Роботизированные системы способны предоставить техническую помощь, оценить суждения, разработать увлекательные и захватывающие способы зубрежки. Возможно, в сельских или неблагополучных областях на них будет спрос как на замену профессионалам, которых там сегодня нет. Но требования в условиях дефицита очень далеки от образцовой программы развития рабочей силы. И особую тревогу они вызывают тогда, когда речь заходит о психиатрическом уходе, необходимом уязвимым группам.

Когда в точке контакта с ИИ присутствует медработник, учитель или врач, которые опосредуют его воздействие, обеспечивают правильный сбор данных, сообщают об ошибках и выполняют другую крайне важную работу, можно предположить существенное снижение вероятности мрачного детерминистического будущего, в котором нас всех толкают и шпыняют безличные машины, заставляющие учиться и заботиться о своем здоровье. У профессиональных работников в области здравоохранения и образования есть строго определенные юридические и этические обязанности перед пациентами и учащимися. Такие стандарты в среде технологий только начинают формироваться. Так, в области медиа и журналистики, которые изучаются в главе 4, для восстановления той публичной сферы, сегодня в значительной степени автоматизированной, потребуются коллективные усилия, которые смогут эту ситуацию исправить.

Когда дело дошло до систем рекламы и рекомендаций, то есть самой основы новых медиа, развитие ИИ было и в самом деле быстрым. Компании вроде Facebook и Google, занятые реорганизацией коммерческой и политической жизни, применяли ИИ для принятия таких решений, за которые раньше отвечали руководители телекомпаний или редакторы газет, но их следствия оказались более мощными. Такие компании сумели изменить читательские и зрительские привычки сотен миллионов людей. Прорывное развитие сильно ударило по газетам и журналистам. Для некоторых уязвимых групп, включая преследуемые меньшинства, его последствия оказались ужасными. Единственный способ остановить эпидемию фейковых новостей, цифровых кампаний по разжиганию ненависти и другого подобного мусора – вернуть в управление сетевыми медиа больше ответственных людей.

Если в главе 4 речь в основном идет о неудачах ИИ в определении ценности новостей, то в главе 5 описываются опасности, возникающие при попытке применять ИИ для оценки людей. Программное обеспечение играет все более значительную роль в найме и увольнении, а также в выдаче кредитов и работе с долгами. Также оно постепенно проникает и в службы безопасности. Я предостерегаю от поспешного внедрения роботов-полицейских и роботов-охранников. Даже предсказательная полиция, то есть чисто программные инициативы под управлением полицейских, оказалась достаточно спорной из-за того, что часто опиралась на старые и искаженные данные. Машины, отправляемые самостоятельно патрулировать районы или разгонять попрошаек, вызывают еще больше беспокойства. Не так много других форм применения ИИ в гражданском праве, которые бы подходили для широкого внедрения уже сегодня. Все они требуют власти машин над людьми, что заставляет принести человеческое достоинство в жертву на алтарь эффективности.

В главе 6 этот вопрос о власти рассматривается на полях сражений, как традиционных, так и сетевых. Споры об автономных системах вооружения приобрели хорошо знакомую структуру. Аболиционисты призывают запретить роботов-убийц, реалисты отвергают этот подход, а реформаторы занимают середину, предлагая регулирование, которое все же не означает полного запрета. Аболиционисты и реформаторы участвуют сегодня в оживленных дискуссиях о ценности подхода каждой из сторон. Однако стратегии двух этих групп со временем можно будет согласовать. Реформаторы признают то, что определенные типы систем вооружений настолько опасны, что их вообще нельзя создавать. Аболиционисты соглашаются с тем, что некоторые оборонные применения автоматизации (особенно в кибервойнах) необходимы для национальной безопасности.

И аболиционисты, и сторонники регулирования достойны уважения в связи с тем, что предпринимают правовые действия, нацеленные на ограничение тактики конфликта. Однако их старания могут быть подорваны динамикой гонки вооружений, которую одновременно признают и продвигают реалисты. Повсеместность автономных систем оружия летального действия имеет значение, будучи производной от объема инвестиций ведущих держав в кибервойны, солдат-роботов и другие вооружения с применением ИИ. Для сокращения таких инвестиций, которое является ключевым следствием третьего нового закона робототехники, описанного мной выше, гражданам и лидерам потребуется ввести ограничения на право государств осуществлять военное вмешательство.

Предлагаемые мной реформы окажутся довольно дорогостоящими. Однако расходы можно во многом считать решением вопросов, поставленных роботизацией военной силы, которая является проблемой государственных финансов. В главе б доказывается, что государства, вынужденные наращивать качество (и доступность) устойчивых секторов здравоохранения и образования, вряд ли будут иметь ресурсы для автоматизации военной силы, в отличие от тех государств, которые подобными обязательствами не скованы. По сути, новая, более привлекательная глобальная политическая экономия – единственный способ избежать трагического разбазаривания ресурсов на гонку роботизированных средств разведки и контрразведки, применения сил и противодействия им.

В главе 7 представлена карта основных черт новой политической экономии автоматизации, включая фискальную и монетарную политику. И та и другая должны быть скорректированы так, чтобы можно было развивать ИИ, ориентированный на человека. Сейчас больше всего обсуждаются предложения по универсальному базовому доходу. Когда пределы программ перераспределения станут яснее, гарантии универсальных базовых услуг и рабочих мест станут еще более важными. Эти программы нацелены не только на гарантию выживания, но также и на обеспечение демократического управления экономикой в целом. Ими исправляются многие другие программы, в которых приоритет отдается накоплению капитала, а не труду, а также замене людей машинами.

Конечно, имеющиеся данные не позволяют предсказать, какая именно концепция робототехники обязательно сбудется – концепция замещения или дополнения. Скорее, обе концепции зависят от более общего понимания природы и цели человеческого труда и технологии. Такие представления указывают на определенную интерпретацию не только экономической реальности, но также культуры робототехники и занятости. В последней главе исследуются вопросы культуры, а также те истории, которые мы обычно рассказываем об ИИ и робототехнике. Подобные нарративы в лучших своих примерах являются не просто симптомами тревоги или устремлений, но и источниками мудрости.

Мы можем поддерживать культуру устойчивости, а не прорывного развития, дополнения людей, а не их замены. Мы можем достичь мира, управляемого людьми, а не машинами, и такой мир нам и правда по карману. Будущее робототехники может быть инклюзивным и демократическим, отражающим стремления и надежды всех людей. И на пути к этому обществу мы можем руководствоваться новыми законами робототехники.

2. Лечение людей

В медицине есть две мечты. Первая, утопическая, берет начало непосредственно в научно-фантастических романах. Роботы-медработники будут диагностировать и мгновенно лечить любую болезнь. Наноботы будут патрулировать наши вены и артерии, разбивая тромбы и чиня поврежденные ткани. Распечатанные на трехмерных принтерах органы, кости и кожа позволят нам сохранять молодость до восьмидесяти и девяноста лет. А если повезет, то и мозг можно будет загружать в компьютер для постоянного хранения, так что роботизированные тела можно будет использовать в качестве оболочки для неразрушимых разумов⁸³.

Каковы бы ни были долгосрочные преимущества этой научно-фантастической картины, до нее еще очень и очень далеко, да и вообще неясно, сбудется ли она когда-нибудь. Более реалистичные медицинские футуристы тоже вполне амбициозны, однако они предлагают картины будущего подоступнее. Они признают ключевую роль человеческой эмпатии в медицинском уходе, значение человеческой интуиции в диагностике и гибкость рук хирурга. В целом они соглашаются с первым законом робототехники, обосновывающим будущее, в котором ИИ преимущественно помогает врачам и медсестрам (а не замещает их). И это вполне разумно, если придерживаться реалистической оценки современного состояния технологии и данных⁸⁴.

К несчастью, даже многие реалисты часто теряются, когда дело доходит до программ развития и до права. На системы медицинского обеспечения они смотрят в основном с экономической точки зрения, сетуя на расходы и неэффективность. Они отстаивают дерегулирование, которое должно подстегнуть инновации, и ограничение бюджета, которое вынудит сокращать расходы. Но на самом деле в программах развития медицинских технологий нам нужно больше, а не меньше ответственности в сборе и применении более качественных данных. Нам следует инвестировать в передовые медицинские практики, а не просто предполагать, что больницы и врачи будут постоянно придумывать новые хитрые способы делать больше, а тратить меньше⁸⁵.

Фантасты мечтают о тех временах, когда приложения и роботы возьмут на себя все наши медицинские заботы. Но основная линия медицинского развития сейчас ведет не в этом направлении, и стратеги вместе с политиками не должны пытаться представить это воображаемое направление в качестве ориентира. Задачи медицинского обеспечения, как и психологический стресс, связанный с заболеванием, указывают на необходимость присутствия человека в практике медицинской автоматизации. И если экономические императивы заставят больницы и страховщиков заменять программами врачей, а ботами – медперсонал, профессиональные ассоциации должны приложить все силы, чтобы соображения об издержках были уравновешены многими преимуществами прямого участия человека в терапевтическом процессе.

Решение об обращении за медицинской помощью

Представьте, что вы проснулись с острой болью в животе. Что это – аппендицит? Кровотечение? Растяжение мускулатуры? Боль в животе – один из самых сложных для диагностики симптомов, который не всегда могут правильно квалифицировать даже опытные врачи скорой помощи. Острая боль в брюшной полости может возникать при десятках разных заболеваний, начиная с тривиальных и заканчивая опасными для жизни⁸⁶. Даже небольшой риск катастрофического исхода должен стать причиной для незамедлительного посещения больницы, где можно получить профессиональную консультацию.

Богатым или людям с хорошей страховкой принять решение, возможно, просто. Но для остальных обращение за помощью может обернуться разорением. В развивающихся странах счета за медицинские услуги порой лишают семьи возможности удовлетворить даже самые базовые нужды⁸⁷. В США миллионы людей не имеют страховки или имеют недостаточную страховку. Одно-единственное посещение отделения неотложной помощи может обернуться расходами в размере более 10 тыс. долл.; ложная тревога тоже способна привести к многотысячным расходам, накапливающимся после проведения анализов, посещения терапевта и других трат. Даже для людей с достаточной страховкой и немалыми финансовыми ресурсами посещение больницы может означать риск ненужных тестов, столкновения с вирусами и многочасовых неудобств.

Поэтому многие первым делом ищут свои внезапно возникшие симптомы в Google. И много лет Google рассматривал медицинские запросы – которые люди задавали, в частности, из-за внезапной боли, возникшей посреди ночи, – как практически любые другие запросы. Поэтому сайты с сомнительной репутацией, если только у них достаточно «сока Google» (таинственной смеси релевантности и авторитета, которая позволяет тому или иному контенту оказаться в верхней части поисковых результатов), могли попадаться среди информации от уважаемых врачей и медицинских заведений. Отделять зерна от плевел должны были сами пользователи Google, определяя, стоит ли доверять таким сайтам.

Однако в 2016 г. компания изменила подход⁸⁸. В сотрудничестве с экспертами из Mayo Clinic она решила проверять информацию, которая выводится при обычных запросах, связанных со здоровьем⁸⁹.

Введите, например, запрос «головная боль с одной стороны головы», и выше или рядом со стандартным списком поисковых результатов появится несколько блоков, в каждом из которых вкратце описывается возможная причина головной боли. Выберите один из них (например, «головная боль напряжения»), и вы увидите другой блок, опять же от самой компании Google. В нем вкратце описывается распространенность заболевания, его частотность в различных возрастных группах, а также типы медицинского вмешательства, которые могут понадобиться.

Эти новые результаты Google – ободряющий знак того, как может работать искусственный интеллект в здравоохранении. Они говорят не о том, что компания свято верит в замену экспертных знаний врачей большими данными и алгоритмами. Скорее, профессионалов приглашают специально, чтобы разрабатывать структурные подходы к медицинской информации и самой системе медицинской помощи. Подобным образом компания IBM стала иначе представлять свою систему Watson на рынке здравоохранения и права – больше в качестве помощника, а не замены врачам⁹⁰. Когда я разговаривал с представителем команды разработчиков Watson в IMB в 2017 г., он сказал, что они отстаивают позицию усиленного, а не искусственного интеллекта. Если подход усиления интеллекта защищают даже те фирмы, которые могли бы выиграть от ИИ больше остальных, значит, мечта о полностью автоматизированных средствах диагностики является скорее анахронистической, чем футуристической. Всегда будет место для экспертов-профессионалов, которые должны будут оценивать точность советов искусственного интеллекта, как и его работу в реальном мире.

Базовые компетенции ИИ: недопущение обычных ошибок

Врачи – эксперты по распознанию паттернов. Мы ждем того, что дерматолог скажет нам, какая это родинка – злокачественная или обычная; мы терпим колоноскопию для того, чтобы гастроэнтеролог получил возможность заметить (и удалить) полипы. Но даже лучшие врачи могут допускать ошибки, а обычные терапевты порой устают или могут в ключевой момент отвлечься. Благодаря ИИ мы можем существенно снизить число таких ошибок и тем самым спасти тысячи жизней в год.

Такой метод зависит от массового накопления данных. В базе данных могут храниться размеченные изображения миллионов различных аномалий, которые со временем становятся раком, а также миллионы доброкачественных новообразований. Так же как Google, который сопоставляет сайты с запросом, компьютер может быстро сравнить изображения вашего кишечника или кожи с теми, что хранятся в базе данных. В идеальном случае машина обучается определять «злых цифровых двойников», то есть ткань, которая в прошлом уже становилась опасной и при этом подозрительно похожа на вашу⁹¹.

Такое машинное зрение, выявляющее опасность в том случае, когда ее может не заметить даже опытный специалист, существенно отличается от нашего собственного зрения. Для понимания машинного обучения, о котором мы в этой книге будем говорить не раз, стоит рассмотреть успехи современного компьютерного зрения в области распознания лиц или чисел. Когда программа распознания лиц успешно идентифицирует изображение в качестве фотографии данного человека, она сопоставляет паттерны изображения с теми, что хранятся в базе данных, например, в растре 1000 на 1000 пикселов. Каждая клетка в растре может быть идентифицирована как участок кожи или какой-то другой участок, который определяется по тысячам параметров (таким как гладкость), незаметных для человеческого глаза. Сегодня доступен даже более высокий уровень чувствительности. Медицинские изображения способны кодировать данные на таком пиксельном или воксельном (воксел – трехмерный пиксел) уровне, который позволяет картографировать то, что чувствуют наши руки, нос и уши, – и даже намного больше.

Распознание паттернов на базе машинного зрения сначала стало успешно применяться в банках, когда понадобилось найти способ распознавать цифры на чеках (учитывая огромное разнообразие человеческих почерков). При наличии достаточного числа примеров почерка и вычислительных мощностей это распознание стало почти совершенным. Таким образом, во многих отношениях машинное зрение является «сверхчеловеческим», если оценивать его в категориях обработки данных и сравнения этих данных с миллионами других изображений. Дерматолог может использовать ту или иную эвристику для диагностики меланомы (например, пользуясь приемом ABCDE, то есть оценивая «асимметрию» (А), границы (В), которые могут быть неправильными, цвет (С), который бывает разным, диаметр (D) и развитие (Е)), а также опираясь на свой опыт знакомства со злокачественными и доброкачественными родинками. Достаточно развитый ИИ может проверить все эти параметры ABCDE, достаточно точно сопоставив данную родинку с тысячами других, если только его данные точны. Более того, по мере развития сенсоров ИИ сможет находить неожиданные факторы, определяющие отличие злокачественных родинок от доброкачественных.

Но у машинного зрения есть и «недочеловеческие» качества, что может выражаться в его удивительной ненадежности⁹². Большинство его приложений в медицине сегодня являются узкоспециализированными ИИ, сосредоточенными только на определенной задаче. Например, такой ИИ, выявляющий полипы, может «увидеть» проблемный полип, который не заметит гастроэнтеролог, но при этом он, возможно, окажется неспособным распознать другие отклонения, определять которые не учился. Поэтому совместная работа программы ИИ и врача в диагностике ценнее работы каждого из них по отдельности⁹³.

Врачи учатся годами, однако медицинское знание постоянно развивается. Сегодня человек не в состоянии запомнить все возможные взаимодействия лекарств, особенно в сложных случаях, когда пациент может принимать двадцать и более препаратов. Определенную роль в предотвращении негативных результатов могут сыграть фармацевты, но и они могут просмотреть необычные проблемы⁹⁴. Системы поддержки принятия клинических решений (СППКР (clinical decision support software, CDSS)), встраиваемые в медицинские картотеки, – это ранняя форма ИИ, способного помочь врачам предотвратить фатальные результаты⁹⁵. СППКР «занимается мониторингом и предупреждает врачей о состояниях пациентов, предписаниях и лечении, предоставляя основанные на научных данных клинические советы»⁹⁶. Уже сегодня есть данные, говорящие о том, что СППКР снижает количество ошибок⁹⁷. Однако даже в этой относительно простой области предоставления информации программисты, управленцы и инженеры не просто навязали применение СППКР в медицинской практике. Существенную роль в распространении таких систем сыграло право, в том числе государственные субсидии, выделенные на их поддержку. Угроза исков по врачебным ошибкам или корпоративной ответственности больниц склоняет к внедрению СППКР; но также суды признали, что профессиональное суждение невозможно автоматизировать, поэтому они не готовы рассматривать несоблюдение совета машины в качестве автоматического повода для возбуждения дела, если были веские причины не учитывать рекомендации СППКР⁹⁸.

Постоянное регулирование станет критически важным для гарантии того, что передовые технологии действительно приносят пациентам пользу, не отягощая врачей и медперсонал избыточной информацией. Многие авторы писали о проблеме «усталости от оповещений»⁹⁹. Эксперты по взаимодействию человека и компьютера работают над достижением более устойчивого равновесия между оповещениями и более точными отчетами о потенциальных проблемах. Идеальное программное обеспечение СППКР не должно перегружать информацией, но в то же время не быть и молчаливым наблюдателем врачей-практиков. Свое обещание оно может выполнить только в том случае, если его сообщения будут постоянно калиброваться, чтобы врачи, медперсонал и фармацевты были действительно заинтересованы в его применении и имели все возможности критиковать его и совершенствовать.

Данные, дискриминация и неравенство в медицинском обеспечении

ИИ, результаты которого одобрены человеком, может стать стандартом медицинских услуг, то есть тем, что должно предоставляться каждому пациенту, обратившемуся за помощью¹⁰⁰. Однако то, что определенная технология в целом лучше, еще не означает, что она оптимальна во всех случаях¹⁰¹. В самом деле, ИИ, если он работает на основе ошибочных данных, может легко заниматься дискриминацией. Хорошо известный «рейтинг риска» (используемый для таргетирования помощи пациентам с определенными нуждами) отдавал приоритет белым пациентам, а не черным, поскольку стоимость врачебной помощи использовалась в нем в качестве показателя серьезности заболевания. Афроамериканцы обычно получали менее дорогостоящую медпомощь, поэтому алгоритм считал, что они нуждаются в медицинском внимании меньше, чем они нуждались на самом деле. Опасности таких условных оценок должны быть хорошо известны, но в стремлении к квантификации риски часто игнорируются или недооцениваются¹⁰².

Также диагностический ИИ может «заражаться» теми или иными предубеждениями. Врачи и специалисты по компьютерным наукам уже обеспокоены тем, что выявляющее меланому программное обеспечение будет хуже работать с меньшинствами, которые в тренировочных наборах данных обычно представлены малочисленнее¹⁰³. Если этот разрыв действительно скажется, у правовой системы возникнет проблема: можно ли будет поднять стандарт выявления больной кожи в целом до того уровня, который достигнут такими системами для основной этнической группы? Регуляторам нужно гарантировать доступность и применение более репрезентативных данных. В противном случае они могут закрепить уже существующее неравенство в предоставлении медицинской помощи.

Если регулирующие ведомства не смогут исправить эту ситуацию, судам понадобится решать, когда для данного проекта (такого, как выявление меланомы) необходимы дополнительные данные, а когда их просто «неплохо иметь» тем, кто способен купить медицинские услуги высшего уровня. Право, регулирующее врачебную ответственность, стремится дать пациентам гарантию того, что, если их врач не удовлетворяет стандарту медицинской помощи, к нему будет применено наказание, причем часть штрафа должна пойти на реабилитацию пациента¹⁰⁴. Если поставщикам услуг не удается применять достаточно репрезентативные наборы данных для разработки своих медицинских ИИ, судебные иски помогут вменить им в ответственность, чтобы каждый сумел воспользоваться ИИ в области здравоохранения (а не только те счастливчики, которые принадлежат к наиболее изученным группам).

Специалисты по данным иногда шутят, что ИИ – это просто хорошо разрекламированная форма статистики. Конечно, ИИ, спроектированный только для выдачи строго определенных предсказаний, основан на квантификации вероятности¹⁰⁵. Он представляет собой лишь один из многих шагов, сделанных за два последних десятилетия для модернизации медицины на основе обширного комплекса научных данных¹⁰⁶. Исследователи-медики ухватились за предсказательную аналитику, большие данные, искусственный интеллект, машинное и глубокое обучение, которые стали главными метафорами оптимизации эффективности систем. Работы в каждой из этих областей способны помочь регулирующим ведомствам выделять проблемные данные ИИ. Кроме того, критика ограничений самого ИИ (в том числе недостаточной воспроизводимости результатов, слабой валидности, чрезмерных притязаний и непрозрачных данных) также должна определять правовые стандарты¹⁰⁷. Основная идея здесь в том, что ключевая компетенция ИИ – предотвращение человеческих ошибок – теперь должна применяться и к тем людям, которые создают ИИ. Они обязаны нести ответственность, если не используют правильные данные и методы. В противном случае мы так и будем повторять ошибки в будущем, которое должно быть от них свободно.

Сегодня активисты разоблачают многие проблематичные наборы медицинских данных. Так, Кэролайн Криадо Перес доказала, что в многочисленных медицинских исследованиях и учебных материалах объектом исследования по умолчанию считается мужчина¹⁰⁸. Она замечает: «Женщины – это не просто маленькие мужчины: тела мужчины и женщины отличаются даже на клеточном уровне… [однако] пока сохраняется серьезный гендерный разрыв в данных, который требуется заполнить»¹⁰⁹. Перекосы в наборах данных становятся еще более непростительными, когда благодаря таким работам, как исследования Криадо Перес, они оказываются общеизвестными. Нам необходимо финансировать намного более качественный сбор данных, гарантируя применение в медицине честного и инклюзивного ИИ и заставляя разработчиков, врачей и больницы его использовать.

Четыре всадника безответственности

Благодаря давно начавшимся кампаниям по ограничению ответственности утвердилось общее сопротивление подобным обязанностям. При этом ИИ создает новые препоны отчетности, и не только в медицине. Футуристы анализируют ИИ, который действует по своему собственному разумению, без контроля со стороны разработчиков (или каких-то других людей). Проблема в том, как создатели или собственники столь многоцелевой технологии могут предсказать все возможные правовые проблемы, которые их ИИ может породить или с которыми он может столкнуться? Никто же не считает компанию Microsoft ответственной за письма с требованием выкупа, написанные в документе MS Word, который сам по себе является чистой доской. Также родители не отвечают за преступления своих совершеннолетних детей, являющихся независимыми личностями.

Когда ведущие разработчики ИИ утверждают, что не отвечают за свои творения, они пользуются метафорами одновременно «чистой доски» и «независимой личности». Но если учитывать десятилетнее исследование алгоритмической подотчетности, ни то, ни другое оправдание не может стать для таких фирм отговоркой. Сегодня нам известно, что алгоритмы могут повредить людям¹¹⁰. Более того, юристы сражались с проблемой ошибочных действий компьютеров десятилетиями, по крайней мере со времен сбоев автопилота в 1950-х гг. и ошибок аппарата лучевой терапии Therac-25 в 1980-х гг. (когда сбой в программе вызвал фатальную передозировку радиации)¹¹¹.

Тем не менее некоторые предложения могут существенно снизить роль судов в сфере ИИ, не позволяя им играть традиционную роль в определении виновных в халатности. Другие могут ударить по федеральным агентствам-регуляторам, оставляя судьям задачу определения компенсаций, соответствующих конкретным несчастным случаям. Даже если подобные правовые «реформы» так и не будут проведены, фирмы способны ограничивать свою ответственность или перекладывать ее благодаря недобросовестным условиям обслуживания, с которыми пользователи, подписывая контракты, «соглашаются». В конечном счете радикальные защитники свободы слова утверждают, что ИИ просто «говорит» о людях определенные вещи, а не делает им что-либо, и потому это случай свободы слова, защищенной от судебного преследования. Защитники этих четырех всадников безответственности-общего упреждения, радикального дерегулирования, широких оправдательных условий в договорах и оппортунистической апологии свободы слова – доказывают, что ИИ будет быстро развиваться только в том случае, если изобретатели и инвесторы будут свободны от угрозы судебного преследования.

Политики и стратеги, завороженные обещанием инноваций, возможно, хотели бы отбросить местные законы, чтобы предложить лидерам индустрии простую и совершенно понятную картину их юридических обязательств¹¹². Или они могут пользователям ИИ «дать право» отказываться от прав на судебное преследование. Это не что иное, как извращенный пример контрактной суверенности: мое право отказаться от моих прав будто бы повышает мою автономию. Менее противоречивое утилитарное обоснование состоит в том, что гражданам нужно отказаться от определенных прав, чтобы ИИ мог по-настоящему успешно развиваться.

Даже если защита от ответственности и в самом деле нужна для пришпоривания определенных инноваций, она не может быть абсолютной. Как отметила Венди Вагнер, гражданское судопроизводство является ключевым моментом предоставления информации, которая может быть недоступной регуляторам¹¹³. Когда меры регулирования согласовываются на международном или национальном уровнях, возможность развивать собственные стандарты приемлемого риска, который несут новые технологии, должна быть предоставлена также и большему числу локальных организаций и ведомств¹¹⁴. По мере развития точечного и ситуативного судопроизводства и регулирования представители более высокой инстанции получают ресурсы и время, необходимые для картографирования более общих трендов технологического развития и для запроса мнения экспертов. Например, американский Национальный комитет по статистике здравоохранения и актов гражданского состояния (с которым я подписал четырехлетний рабочий контракт в 2019 г.) предлагает политикам и стратегам экспертные консультации, связанные с тем, как оптимально собирать, анализировать и применять данные. Эти консультации играют критическую роль, поскольку в хорошо организованных обществах регуляторы участвуют в определении развития технологии (а не только реагируют на нее, когда она уже создана)¹¹⁵.

Кроме того, суды и законодательные органы должны с осторожностью относиться к оправдательным условиям договоров, ограничивая число случаев, когда потребители могут от своих прав отказаться. Часто судьи не желали признавать подобные условия в медицинском контексте, полагая, что пациенты уязвимы и что им недостает информации, необходимой для действительно информированного решения¹¹⁶. Мы все находимся в похожей позиции уязвимости, когда дело доходит до большинства роботов и ИИ, поскольку мы почти никогда не разбираемся в данных и кодах, которые за ними скрываются. Даже в тех случаях, когда оправдательные пункты договоров допускаются, у судей все равно остается важная роль в решении тяжб о несправедливых условиях договора¹¹⁷. Существуют также определенные типы оснований для предъявления иска, которые должны быть сохранены, на какие бы условия стороны договора ни были готовы согласиться.

Чтобы оценивать риски ответственно, и поставщикам, и потребителям нужна точная информация о данных, используемых в ИИ (входных данных), а также данные об эффективности (выходные данные). Никому нельзя позволять отказываться от своего права на изучение данных, когда ИИ причиняет ущерб¹¹⁸. В следующем разделе описывается, как регулирующие ведомства способны помочь повысить качество как входных данных, используемых для инноваций в области ИИ, так и выходных данных подобных технологий.

Кто будет учить обучающуюся систему медицинской помощи?

Раньше мы могли определять меланому как просто разновидность рака кожи. Однако сегодня это определение кажется таким же устаревшим, как отнесение пневмонии, бронхита и сенной лихорадки к одной категории «кашля». Персонализированная медицина поможет большему числу онкологов достичь более тонкого понимания определенного вида рака как, к примеру, определенного числа мутаций. Цифровые записи, если их правильно комбинировать, сравнивать и анализировать, могли бы указать, какие сочетания химиотерапии, радиоиммунотерапии, хирургии и облучения дают наилучший результат в случае данного подтипа рака. Такова главная цель «обучающихся систем медицинской помощи», которые разрабатываются для оптимизации медицинских вмешательств путем сравнения результатов естественных вариации в лечении¹¹⁹.

Для тех, кто мечтает о «Супер-Уотсоне», который не просто выиграет викторину Jeopardy, но и начнет управлять больницами, все это развитие представляется шагами по направлению к «поваренной медицине», реализованной на машинном уровне. Но кто знает, что нас ждет через сто лет. Пока же важно то, как все эти потоки данных интегрируются, сколько усилий прилагается к достижению этой цели, как относятся к участникам процесса и кто имеет доступ к результатам. Это сложные вопросы, но никто не должен сомневаться в том, что для жонглирования всеми этими данными потребуется квалифицированность и осторожность человека, а также серьезные юридические консультации, если учитывать сложные правила медицинской конфиденциальности и привлечения людей в качестве подопытных¹²⁰.

Углубимся в радиологию: визуализация тканей развивается по-настоящему быстро. Мы наблюдали переход от рентгеновских лучей и ультразвука к радионуклидной визуализации и радиомике¹²¹. Ученые и инженеры разрабатывают все более сложные способы выяснения того, что происходит внутри тела. Уже сегодня существуют миниатюрные камеры-таблетки, проглатываемые пациентом; представьте существенно меньшие версии тех же приборов, которые можно будет впрыскивать в кровеносную систему¹²². Генерируемые таким образом потоки данных намного богаче всего, что у нас было раньше. Для интегрирования их с целью вынесения суждения о том, как скорректировать или полностью изменить схему лечения, потребуется креативное, несистематизи-руемое мышление. Рентгенолог Джеймс Тролл утверждал:

Данные в наших… информационных базах – это «тупые» данные. Обычно они анализируются по одному изображению или факту за раз, и именно индивидуальный пользователь должен интегрировать данные и извлечь из них операционный и концептуальный смысл. Главная задача ближайших 20 лет – превращение этих тупых данных из обширных, но разрозненных источников в знания, а также использование способности быстрой мобилизации и анализа данных для повышения эффективности наших рабочих процессов¹²³.

Более полные результаты лабораторных исследований, новые, более качественные формы визуализации, генетический анализ и другие источники – все это надо будет сводить в единую картину состояния пациента и его болезни. Если использовать различие, введенное Саймоном Хедом, оптимизация медицинской реакции на новые объемы и разнообразие данных станет вопросом практики, а не заранее заданного процесса ¹²⁴. И диагностической рентгенологии, и инвазивной потребуется разбирать сложные случаи заново, и не просто как упражнения по сортировке.

Учитывая все доступные ныне потоки данных, можно было бы предположить, что рациональная политика в области здравоохранения должна углубить и расширить профессиональное образование рентгенологов. Но похоже, что в США эта сфера все больше сдвигается к коммодификации¹²⁵.

Ирония в том, что за это в изрядной степени отвечают сами же рентгенологи; для того чтобы не работать по ночам, они стали заключать контракты с удаленными «совиными» службами, которые готовы просматривать изображения ночью¹²⁶. Это привело к тому, что изображения стали отдаваться на сторонний анализ и днем, что подтолкнуло обеспокоенные расходами медицинские организации искать наиболее дешевые рентгенологические услуги – даже если оптимальная медицинская практика требовала более тесного консультационного взаимодействия рентгенологов и других членов лечащей бригады, которое позволяет достигать клинических и исследовательских результатов. Государственные компенсационные программы также не смогли в должной мере подержать развитие рентгенографического ИИ¹²⁷.

Специалистам по визуализации, сталкивающимся с новыми потоками данных, часто приходится принимать субъективные решения. В настоящее время хорошее частное и социальное страхование покрывает доступность рентгенологов, которые могут решать подобные задачи. Но можно ли представить мир, в котором людей заманивают более дешевыми страховыми планами, чтобы они могли получить «медицинские услуги прошлого года по прошлогодним ценам»? Конечно. Также мы можем представить то, что второй (или третий, четвертый, пятый) уровень медицинских услуг, скорее всего, станет первым, в котором будет практиковаться чисто автоматическая диагностика.

Те, кто находятся на верхнем уровне, будут рады итоговому снижению общих расходов на здравоохранение. Часто именно они являются налоговой базой, необходимой для расходов на незастрахованных людей. Но ни один пациент не является изолированным в обучающейся системе медицинской помощи. Так же как постоянное удешевление производства лекарственных препаратов привело в США к постоянному дефициту стерильных впрыскиваемых лекарств, лишение значительной части населения высокотехнологической медицинской помощи осложнит тем, у кого к ней есть доступ, понимание того, стоит ли ее вообще получать¹²⁸. Обучающаяся медицинская система может сделать удивительные открытия, если полный набор данных будет питать экспериментальные исследования, которые должны привести к созданию самых современных клинических инноваций. Чем меньше у людей доступа к таким инновациям, тем меньше возможностей у нас узнать, насколько хорошо они работают и как их можно усовершенствовать. Разделение услуг на разные уровни поможет преодолеть сегодняшний кризис расходов, который наблюдается в медицине, но в то же время оно замедлит выгодный каждому прогресс медицины в будущем. Следовательно, существует верхняя траектория движения к передовым достижениям в медицинском ИИ, на которой главным является доступ для каждого к медицинской помощи все лучшего и лучшего качества, и, с другой стороны, экономная нижняя траектория, когда главное – это попросту воспроизведение того, что мы уже имеем. Врачи, руководители больниц, инвесторы будут двигаться по верхней, нижней или по какой-то промежуточной траектории. А их решения, в свою очередь, определяются изменениями в медицинском законодательстве, а также социальным общеполитическим ландшафтом.

Рассмотрим, к примеру, противоречия между традицией и инновацией в законодательстве о врачебной ответственности. Когда что-то идет не так, врачей судят на основе стандарта, который в общем и целом определяется тем, как в то же самое время работают другие врачи. Поэтому вероятность ошибок некоторых врачей пугает, заставляя их придерживаться конформистских и традиционных практик. С другой стороны, угроза судебного преследования может ускорить переход к очевидно более качественной практике. Ни один врач сегодня не может просто прощупать опухоль и сказать, злокачественная она или доброкачественная. Обычно берутся образцы тканей, проводятся консультации с патологами, выполняется экспертный анализ ткани. Если методы ИИ-диагностики станут достаточно развитыми, само их неприменение станет врачебной ошибкой.

С другой стороны, передовая автоматизация может не достичь нужного уровня, если некая третья сторона (государство или страховщики) откажется за нее платить. Страховщики часто пытаются ограничить покрываемый их планами спектр медицинских услуг. Группы, защищающие права пациентов, сражаются за обязательные льготы. Сторонники сокращения бюджета сопротивляются, а когда они добиваются успеха, у систем здравоохранения нет другого варианта действий, кроме как отвергнуть дорогостоящую новую технологию.

Также имеют значение другие схемы регулирования. Медицинские советы определяют минимальный приемлемый уровень опытности врачей. В США центры по обслуживанию Medicare и Medicaid участвуют в определении условий выпуска медицинских специалистов из высших учебных заведений, поддерживаемых субсидиями. При хорошем финансировании они могут сотрудничать с биоинженерами, специалистами по компьютерным наукам и статистиками. При плохом финансировании они будут и дальше производить слишком много врачей, которые ничего не знают о статистике, необходимой для качественного выполнения их актуальных рабочих обязанностей, не говоря уже о критической оценке новых ИИ-технологий¹²⁹.

Право – это не просто дополнительный набор препятствий, которые нужно преодолеть, а уж потом инженеры получат свободу и смогут вылечить любые человеческие болезни. Основная причина роста занятости в здравоохранении как отдельном секторе в последнее десятилетие состоит в том, что определенные правовые нормы наделили значительные группы населения покупательной способностью, не зависящей от их богатства или заработной платы. При благоприятном раскладе такие нормы будут направлять развитие систем медицинской помощи в сторону постоянных инноваций и совершенствования.

На кого работает ваше терапевтическое приложение?

Несмотря на все проблемы, поджидающие диагностику рака и других телесных заболеваний методами ИИ, мы можем быть уверены в том, что в этих областях такая технология будет играть значительную и постоянно растущую роль. Врачи и исследователи могут прийти к согласию об оптимальных стандартах эффективности и постепенно усовершенствовать машины, которые смогут распознавать больше заболеваний и выполнять больше процедур. Но проблемы становятся запутаннее, когда от физического мы переходим к психическому здоровью, для которого требуется еще большее участие человека.

Людей, страдающих душевными заболеваниями (как и другие уязвимые группы), часто посылают к автоматическим системам. В Арр Store компании Apple и Android Market Google можно найти множество приложений, которые утверждают, что они помогают улучшить психическое здоровье. Есть приложения для депрессии, тревожности, аддикции и фобий, все они предлагают некий успокоительный или подбодряющий интерфейс, а иногда и не только. Когда такие приложения выписываются терапевтом или другим специалистом, они и в самом деле могут быть полезны. Например, люди, пытающиеся вылечиться от наркотической зависимости, могут при помощи подобных приложений записывать свои пристрастия, связывать возвращение к употреблению наркотиков с определенными триггерами и получать подсказки или советы. Однако когда приложения становятся более автономными и независимыми от экспертов, могут возникнуть серьезные проблемы.

Порой приложения не способны выполнить базовые терапевтические обязанности. Журналисты выяснили, что один ИИ-терапевт не стал предупреждать власти, когда участница его испытаний написала о том, что она ребенок, страдающий от сексуальных домогательств в семье¹³⁰. Квалифицированные специалисты знают об обязанности сообщать о подобных случаях, тогда как технологи, которые учились «быстро решать проблемы», возможно, не имеют о них никакого представления. Появляется все больше непроверенных и даже опасных приложений, которые создают угрозу для здоровья тех, кто нуждается в более компетентной медицинской помощи¹³¹. Политика обмена данными в таких приложениях часто несовершенна или однобока, а потому могут встречаться нарушения правил конфиденциальности, которых обычно придерживается терапевт¹³². Американское Управление по контролю за качеством пищевых продуктов и медикаментов (FDA) отказалось от своих обязанностей в этой сфере, практически перестав регулировать такие приложения, после нескольких предупреждений от членов Конгресса, которые заявили, что финансирование агентства может быть урезано, если оно станет мешать инновациям. Похоже, ни одна другая инстанция не занимается действительно реальным обеспечением безопасности и эффективности в этой области¹³³.

Это попустительство подкрепляется экономическими стимулами. Дешевые приложения психического здоровья – настоящий подарок для систем здравоохранения, которые стремятся во что бы то ни стало снизить расходы, например, для британской Национальной системы здравоохранения (NHS). Медицинские власти в Британии стали использовать библиотеку приложений NHS для рекомендаций специальных приложений тем, кто страдает от депрессии и тревожности. К сожалению, по данным исследования, представленного в журнале Evidence Based Mental Health, истинную клиническую ценность большинства приложений «определить невозможно»¹³⁴. Только два из изученных приложений применяли проверенные количественные параметры. Также совершенно неясно, могут ли цифровые заменители недоступных специалистов по психическим болезням соответствовать стандартам, в том числе конфиденциальности, которые ожидаются от людей, предлагающих медицинские услуги¹³⁵. Эта обеспокоенность, которая становится все более острой в сфере цифровых ассистентов, будет еще более выраженной в области медицинской помощи, где подобные проблемы доверия особенно значимы¹³⁶.

За этой проблемой тоже стоит история. Технологические решения, нацеленные на быстрые результаты, часто могут развиваться по непредсказуемой траектории. Опасные патентованные средства десятилетиями соблазняли доверчивую публику, что привело к некоторым печальным результатам¹³⁷. Особенно такие препараты были привлекательны для тех, кто не мог попасть к врачу, и точно так же приложения психического здоровья сегодня рекламируются тем, кто не может попасть к терапевту, ведь это «лучше, чем ничего». Недавно Конгресс исключил диетические добавки из списка препаратов, регулируемых FDA, создав «Дикий Запад» сомнительных «естественных снадобий»¹³⁸. Эффективность этих субстанций по большей части не доказана. Неудивительно, что дерегулирование искажает подобным образом цифровую диагностику и цифровую терапию.

Давняя история терапевтических программ позволяет лучше понять сегодняшний перенасыщенный рынок ИИ-консультаций. Специалист по компьютерным наукам из MIT Джозеф Вейценбаум разработал одну из наиболее известных программ, ELIZA (названную по имени Элизы Дулитл из «Пигмалиона», поскольку программа копировала речевые паттерны пользователей). Этот чат-бот, один из первых, подражал психотерапевту школы Роджерса. В статье 1966 г. Вейценбаум привел следующий пример беседы между пользователем и программой:

Пользовательница: Все мужчины одинаковы.

ELIZA: В ЧЕМ?

П.: Вечно они донимают нас то тем, то другим.

Е.: МОЖЕТЕ ЛИ ВЫ ПРИВЕСТИ КОНКРЕТНЫЙ ПРИМЕР?

П.: Ну, например, мой друг заставил меня прийти сюда.

Е.: ВАШ ДРУГ ЗАСТАВИЛ ВАС ПРИЙТИ СЮДА?

П.: Он говорит, что я почти все время чем-то подавлена.

Е.: МНЕ ПРИСКОРБНО СЛЫШАТЬ, ЧТО ВЫ ЧЕМ-ТО ПОДАВЛЕНЫ.

Поначалу Вейценбаум очень гордился своим творением. Он показывал его и преподавателям, и техническому персоналу MIT. Пользователи часто «секретничали» с программой, притом настолько часто, что Вейценбаум вскоре прекратил работу над этим проектом, опасаясь, что из-за него люди начнут отказываться от других, более содержательных форм терапевтической работы¹³⁹. Учитывая навязчивое стремление современных технократов от здравоохранения сократить во что бы то ни стало расходы, эта обеспокоенность оказалась пророческой. В эпоху «покупок, ориентированных на реальную ценность» приложение за 2,99 долл. может показаться безусловно привлекательной заменой психиатру.

Защитники приложений, возможно, заявят, что не стоит вспоминать об ELIZA, ведь за последние полвека получила развитие намного более совершенная технология. Однако в большинстве топовых приложений психического здоровья, с которыми имеет дело потребитель, по-прежнему используется простой текстовой интерфейс. Весьма популярное приложение Woebot разработано для автоматизации определенных приемов когнитивно-поведенческой терапии. Woebot начинает разговоры с пользователем достаточно ненавязчиво, отслеживая их с помощью простых дихотомических ответов. Например, в начале разговора Woebot пишет: «Мои данные, основанные на исследовании в Стэндфордском университете, показывают, что людям требуется около 14 дней на то, чтобы научиться разговаривать со мной и начать себя лучше чувствовать». Пользователь не может задать критические вопросы, в частности: «Какое исследование в Стэнфорде? Сколько в нем было участников? С чем работала контрольная группа?». Два допустимых ответа, которые я увидел, когда сам тестировал это приложение, сводились к следующим: «Хорошо» или «Гм…». Подобные бинарные ответы постоянно используются в приложении, дисциплинируя пользователя.

Для человека, привыкшего к тестам со многими вариантами ответов, простым телефонным играм вроде Candy Crush и бинарным реакциям «нравится/не нравится» в сетях Facebook, Instagram и Twitter, кнопки ответов в Woebot могут быть приятным продолжением безболезненного цифрового дрейфа. Они снимают с человека задачу по объяснению себя самого, по формулировке разумного ответа, как и решение о том, как относиться к собеседнику – со скепсисом или доверием. Тем, кто уже страдает депрессией, это может принести облегчение.

Но существует метод лечения – его обычно называют лечением разговором, – в котором формулировка высказываний как раз и считается главным смыслом консультирования, а не чем-то, чего требуется избегать¹⁴⁰. Распространение терапевтических приложений грозит вытеснить лечение разговором и заменить его бихевиористическими подходами, которые просто пытаются оборвать, заглушить или оспорить негативные мысли, а не исследовать их контекст и конечные причины. Когда приложения психического здоровья управляются узкоспециализированным ИИ, они пользуются утилитаристским подходом к пациентам, представляющим их проблемы в качестве помехи производительности, и в то же время его закрепляют¹⁴¹.

Конечно, эти опасения возникли еще десятилетия назад, когда появились психотропные препараты¹⁴². Критики доказывали, что пациентам лучше изучать более глубокие причины своих проблем, чем пытаться отделаться от них за счет лекарств¹⁴³. Но в этом случае, по крайней мере, эксперт, прежде чем начать лечение, высказывает свое мнение. Слишком многие терапевтические приложения пренебрегают даже такой предосторожностью, выходя прямо на рынок, где они доступны пациентам.

Другая линия критики связана с уязвимостью пользователей, которые могут пострадать от недобросовестной манипуляции, которой занимаются неизвестные силы¹⁴⁴. Рассмотрим, к примеру, терапевтическое приложение, «лечащее» работника, который недоволен временем, проводимым им на работе. Работник чувствует, что ему недоплачивают или что его недостаточно ценят, и свое недовольство он формулирует в приложении. На такую проблему можно дать несколько возможных ответов. Например, приложение может заставить проявлять настойчивость, подталкивая работника к тому, чтобы он потребовал прибавки. С другой стороны, оно же может предписать созерцательную покорность своей судьбе, поощряя его ценить все то, что у него уже есть. Или оно может занять позицию подчеркнутой нейтральности, пытаясь углубиться в причины беспокойства работника. Попробуйте догадаться, какой ответ такое приложение должно было бы выдать работнику по мысли работодателя. Специалисты служат определенным буфером, позволяющим устранить подобные конфликты интересов. Они могут выступать более нейтральными интерпретаторами заболеваний, с которыми к ним обращаются, чем приложения или ИИ, управляемые третьими сторонами, будь то работодатели, страховщики или государства¹⁴⁵.

Предсказательная аналитика работает лучше всего, когда есть ясные и точно определенные параметры успеха. Но в случае проблем с психическим здоровьем есть множество способов определять проблемы и искать решения. Различные коммерческие модели могут склонять к разным определениям ментального заболевания и выбора его лечения. Бесплатное приложение, работающее за счет рекламы, не обязательно оптимизирует «время пребывания» пользователя в приложении, но оно может манипулировать им иначе, что необходимо для его продвижения. Рассказы человека о своем собственном благополучии могут быть

бесспорной базовой истиной, на основе которой нужно мерить ценность приложений¹⁴⁶. Однако само понятие благополучия колонизировано корпорациями и государством, которые связали его с более объективными показателями, такими как производительность¹⁴⁷. В процессе подобной колонизации был потерян смысл обозначения эмоций как «форм суждения», если воспользоваться удачным термином Марты Нуссбаум¹⁴⁸. Они рискуют стать еще одним объектом максимизации с применением цифровой «сомы», поставляемой быстро растущей «индустрией счастья»¹⁴⁹.

И академические ученые, и активисты указывали на проблематические предубеждения врачей и других поставщиков медицинских услуг¹⁵⁰. Движение за алгоритмическую ответственность в медицине должно будет действовать и дальше – критиковать и исправлять предубеждения и иные проблемы, способные отяготить медицинскую помощь с компьютерным компонентом. Лучшая структурная защита – следить за тем, чтобы большая часть приложений разрабатывалась для усиления интеллекта ответственных специалистов, а не в качестве замещающего их ИИ¹⁵¹. Также в развитии гуманистических (а не бихевиористических) приложений психического здоровья должны играть свою роль и многие другие аспекты медицинского законодательства и программ развития (в частности, нормативы лицензирования и программы компенсации)¹⁵².

Освобождение людей, ухаживающих за больными, или автоматическая медицинская помощь?

Медицинская помощь может быть сложной, грязной, монотонной и даже опасной работой. Постепенно складывающаяся армия роботов и ИИ может облегчить это бремя. Роботы уже проникли в больницы и дома престарелых. Немногие сомневаются в том, что их можно использовать в качестве уборщиков, подсказчиков (чтобы вовремя принимать лекарства или, например, не есть соль), подъемников (лежачих пациентов) или в каких-то других вспомогательных ролях. Все они освобождают людей, ухаживающих за больными, – родственников или сиделок, врачей или друзей, которые получают возможность заниматься другой, более осмысленной помощью. Японский Robear может поднимать пациентов из кровати и укладывать их, чем избавляет медсестер и санитаров от травм спины. Автоматические таблетницы способны предупредить ошибки в приеме препаратов, которые являются серьезной проблемой в гериатрическом уходе.

В идеальном случае все эти инновации освобождают людей, ухаживающих за больными, так что они получают возможность заниматься работой, которая может быть только человеческой. Рассмотрим, к примеру, следующее описание хосписного работника и то, как она утешает умирающих.

Хэзер – не энергичная и не эффективная, в отличие от больничных медсестер. На самом деле ее неэффективность намеренна. Большую часть времени, посещая пациентов, она делает не слишком многое: записывает показатели жизненно важных функций, проверяет, достаточно ли медикаментов и других припасов, спрашивает, прошли ли прежние симптомы и появились ли новые… Однако даже когда ей нечего делать, задача в том, чтобы побыть рядом, поговорить, посидеть, погладить пациента рукой во время осмотра. Ее визит для пациента может стать самым насыщенным моментом за весь день… Поэтому Хэзер двигается медленно; она усаживается, задерживается, медлит¹⁵³.

В медицинских организациях, где вечно не хватает времени, уход такого типа встречается довольно редко. Даже когда те, кто симпатизируют медсестрам, учитывают в кадровом составе минимум подобного ухода, они редко закладывают время для подобной целенаправленной «неэффективности». И это ошибка, поскольку неявные моменты работы такой медсестры в хосписе одни из самых важных.

Некоторые ИИ и роботы сегодня проектируются для выполнения задач сопровождения и эмоциональной связи. Журналистка Нелли Боулс описала Билла, пожилого мужчину, который был рад той помощи, которую ему оказал Sox. Sox – это просто анимированный кот на экране планшета, который спрашивал его о том, как он провел день, отвечал на его вопросы и время от времени советовал ему лучше питаться¹⁵⁴. Билл знал, что Sox управляется удаленными операторами, которые печатают то, что он должен «сказать», наблюдая за его движениями. Однако он обнаружил, что даже эти поверхностные вопросы о его жизни и здоровье помогали сгладить одиночество, от которого он страдал после смерти жены. Другой клиент Sox заявил в записанном им видео: «Хорошо, когда у тебя есть тот, кто спрашивает, как прошел твой день и не беспокоит ли тебя что-то»¹⁵⁵.

Ирландская компания – производитель роботов Mylo готова сделать собственным лицом кошачью мордочку¹⁵⁶. Mylo – это мобильный объект, очертаниями немного напоминающий робота С-3РО из «Звездных войн». Социальный предприниматель, разработавший Mylo, рекламировал робота как утешителя и напоминателя, способного напомнить пациентам, страдающим деменцией, о ежедневных таблетках или дать сигнал семье, когда клиент, к примеру, нуждается в помощи или когда он слишком долго остается неподвижным. Потребители могут арендовать Mylo всего лишь за девять евро в день, что дешевле часа работы профессиональной сиделки. Такая разница в цене может привести к тому, что роботы перешагнут границы своей роли помощников людей, ухаживающих за больными, и начнут их заменять.

Куклам, мультипликационным и телевизионным персонажам довольно легко приписывать личные качества. Достаточно изолированному человеку (можно привести пример героя Тома Хэнкса в фильме «Изгой») хватит и волейбольного мяча. Теоретики медиа Байрон Ривз и Клиффорд Насс отметили, что многие люди относятся к медиагероям так, словно бы они реально присутствовали в их жизни. Такие «реакции не требуют стратегического мышления, скорее, они бессознательны. Реакции не являются следствием выбора человека, они возникают постоянно и с большой скоростью»¹⁵⁷. Роботы могут вызвать похожие аффекты, склоняя к их антропоморфизации или зооморфизации¹⁵⁸. Когда они пробуждают подобные чувства доверия или дружественности у представителей уязвимых групп населения, возникают весьма щекотливые этические вопросы¹⁵⁹.

Рассмотрим, к примеру, потенциальные области применения похожих на животных роботов, выступающих в роли заменителей домашних животных. Терапия с применением животных была популярна в лечебных учреждениях для хронически больных, в частности, в «зеленых домах престарелых»¹⁶⁰. К сожалению, персоналу трудно содержать животных, к тому же многие заведения боятся ответственности, которую вынуждены нести в том случае, когда животные кусаются или царапаются. Роботы предлагают более безопасную альтернативу. Японские исследователи разработали Раго – робота в виде плюшевой игрушки. Он выглядит как тюлененок и играет роль компаньона для пациентов, страдающих от деменции. Раго может выступать своего рода домашним любимцем, изображая внешние признаки внимания, нужды и расслабленности. Он хлопает глазами, пищит и мяукает, шевелит усами и хвостом. Не являясь человекоподобным компаньоном, он при этом устраняет риски контакта с животным.

Исследовательница из MIT Шерри Теркл призывала отнестись к тому, что мы все больше опираемся на робототехнику, с крайней осторожностью. Ее близкое знакомство с уязвимыми группами населения показало, насколько сильным может быть воздействие симулякров: «Пожилые люди в домах престарелых играют с роботом Раго и пытаются понять, как охарактеризовать это создание, которое выдает себя за тюлененка. После вопросов: „Умеет ли он плавать?“ или „Ест ли он?“ – они переходят к вопросам: „Он живой?“ и „Может ли он любить?“»¹⁶¹. Теркл обеспокоена обществом, в котором занятые взрослые оставляют своих стареющих родителей с набором сложных игрушек, вместо того чтобы посещать их. Теркл, основатель и директор «Инициативы технологий и субъекта» в MIT, видит в избыточной увлеченности гаджетом замену человека «машинным» компонентом – «дешевое свидание» роботизированного взаимодействия, замещающего более непредсказуемый, но в конечном счете более сложный и радостный контакт любви, дружбы и товарищества. Хотя видеофильмы и исследования фиксируют положительное воздействие робота Раго на настроение хронически одиноких людей, Теркл предполагает, что подобная мотивация может с таким же успехом служить предлогом для небрежения. Некоторые могут рассудить: зачем навещать бабушку, если у нее есть компаньон – робот в виде животного?

Защитники робота Раго указывают на практическую потребность в инновации такого типа, которую можно понять, если учесть одиночество многих пожилых людей. Даже терапевты, использующие в своей работе домашних животных, могут посещать больного лишь на несколько часов за раз. Разве Раго не лучше, чем ничего, если нет никакой альтернативы, то есть ни человека, ни животного, которые могли бы проявить сочувствие и обеспокоенность? В той мере, в какой человек завершает цикл, двигаясь от младенчества к дряхлости, разве Раго не является попросту высокотехнологическим вариантом «Плюшевого кролика», классической детской сказки, в котором плюшевая игрушка для одинокого мальчика становится настоящей? Раго, говорят его защитники, заменяет настоящего компаньона не для всех, а лишь для небольшой группы, чьи потребности в уходе частные и государственные средства удовлетворить не могут.

Апологеты социальных роботов в уходе за пожилыми обычно приводят статистику, указывающую на нехватку качественного ухода в домах престарелых, а также на высокую стоимость подобных услуг и экономическую обусловленность их инноваций¹⁶². Во многих развитых экономиках пирамида возраста превращается в прямоугольник, в котором пожилых столько же, сколько и молодых. Неизбежный выход на пенсию миллионов беби-бумеров в США уже несколько десятилетий является настоящей головной болью для планировщиков долгосрочной медицинской помощи. Все это заставляет видеть в технологии, заменяющей людей, правильное решение. Подобная технология, если поместить ее в контекст «строительства стены» ксенофобии и экофашистского национализма, для богатых стран может стать предлогом ограничения иммиграции. Например, стареющее население может решить, что не нужно допускать в страну молодых рабочих из-за рубежа, если будет уверено, что роботы смогут выполнять работу, которую сейчас делают иммигранты. Это движение к самодостаточности может оказаться несостоятельным: поскольку роботы (или их собственники) платят меньше налогов, чем рабочая сила, у них меньше возможности платить пенсии по старости и оплачивать медицинскую помощь, чем у рабочих, которых они заменяют. Политики и стратеги должны четко понимать долгосрочные фискальные последствия, прежде чем требовать ускорения автоматизации медицинской помощи и ухода.

Для верной оценки масштаба и потенциала социальных роботов крайне важна общая картина политической экономии ухода. Нехватка финансирования ухода за пожилыми не является естественным следствием экономической науки. И то же самое относится к трудоголизму, из-за которого частые посещения членами семьи начинают казаться недостижимой роскошью. Они суть производное определенной публичной политики, которое более удачная политика может отменить (или, по крайней мере, сгладить). Если бы в богатых странах действовала более открытая политика иммиграции, рабочие из многих других стран могли бы заняться работой по уходу и медицинской помощи. Как показала Ай-Джен Пу, гуманное устройство труда иммигрантов (и создание траекторий получения гражданства) – путь к глобальной солидарности и взаимопомощи¹⁶³. Соответственно, фирмы, которые жаловались на нехватку квалифицированных работников, были завалены заявками, 82 когда подняли уровень компенсации¹⁶⁴.

Конечно, в разных государствах может по-разному оцениваться необходимость роботизированного ухода за престарелыми. Универсального рецепта в этом случае не существует. Японские лидеры проявили особую заинтересованность в применении технологии в медицинских заведениях¹⁶⁵. Некоторые комментаторы утверждали, что синтоизм и буддизм склоняют японцев к положительной оценке роботов и связанной с ними технологии. Например, бывший директор MIT Media Lab Джой Ито обнаружил глубинную связь между различными формами анимизма и положительным отношением к роботам¹⁶⁶.

Однако японская культура – это не монолит, в ее плюрализме можно заметить голоса, призывающие относиться к распространению ИИ с осторожностью¹⁶⁷. Так, в ходе одной оживленной дискуссии аниматор Хаяо Миядзаки отверг анимированное с применением ИИ изображение гротескной гуманоидной фигуры:

Мне это крайне неприятно. Если вы на самом деле хотите сделать что-то отвратительное, тогда вперед. Я никогда не стану применять эту технологию в собственной работе… У меня четкое ощущение, что это оскорбление самой жизни… Мне кажется, что близится конец времен. Мы, люди, теряем веру в самих себя¹⁶⁸.

Подобные гневные высказывания, как у Миядзаки, усложняют любой простой нарратив о единогласном одобрении роботов в Японии. На каждое воодушевленное внедрение тех же роботов-компаньонов можно найти примеры упорной защиты человека, личного контакта, традиционных моделей взаимодействия. К любым «культурным» аргументам следует подходить с осторожностью, поскольку представления о культурном единстве обычно вытесняют или упускают из вида существующие тревоги и возражения¹⁶⁹. Точно так же, как Амартия Сен раскритиковал заявление руководителей Сингапура об особых «азиатских ценностях», которые противостоят правам человека, мы сегодня должны сопротивляться упрощенным представлениям об однородности той или иной культуры¹⁷⁰.

Хотя можно указать на фильмы и мангу как свидетельства преданности японской культуре автоматизации, в них тоже заметны ноты трагедии и сожаления. Пророческий (хотя и довольно прямолинейный) японский фильм 1991 г. «Старик Зет» (Rojin Z) стал выражением страхов, связанных с заменой человеческого ухода машинами. В фильме о больном и немощном старике «заботится» сверх-машинизированная кровать, которая предвосхищает любую его потребность – посмотреть телевизор, подстричь ногти, помыться, даже поесть и испражниться. Гротескна не только представленная в фильме картина тотального механического ухода. Само представление о такой машине, отвлеченной от всякого человеческого участия, от руководства человека и его достоинства, вызывает глубокое беспокойство. Ставки настолько велики, представление о том, что делает жизнь достойной, настолько невыразимо и изменчиво, принятие решений в столь значительной степени распределено между людьми, ухаживающими за больными, и теми, кто является объектом такого ухода, что рутинизация кажется в лучшем случае плохой идеей, а в худшем – настоящим оскорблением.

Конечно, каждый из таких примеров может иллюстрировать «культурные разногласия» в Японии, а не типичные установки. Данит Гал, помощница руководителя проекта и преподаватель в Исследовательском центре киберцивилизации университета Кэйо, построила типологию отношений к ИИ и роботам, распределив их в спектре между «инструментом» (которым следует пользоваться) и «партнером» (определение, которое выводит на комплекс эмпатии, солидарности и даже дружбы и любви)¹⁷¹. Гал приводит несколько подтверждений того, что Япония ближе к «партнерскому» краю спектра. Однако Гал, не делая вывода о доказанности монолитического строения «азиатских ценностей», определяющих положительное отношение к технологии, утверждает, что Южная Корея смогла выработать «четкую иерархию, в которой человек выше машины, причем ИИ и роботы должны поддерживать и укреплять такое господство человека». Она приходит к заключению, что Китай находится где-то посередине между двумя этими парадигмами, поскольку в нем продолжается политический и культурный спор о фундаментальных посылках взаимодействия человека и робота. В развитии этих отличных друг от друга подходов экономисты не должны пытаться склонить чашу весов в пользу заместительной автоматизации. Они могут точно так же рекомендовать уход, выполняемый человеком.

Политическая экономия роботизированного ухода

Более значительные тенденции в занятости рабочей силы и спросе на нее также играют свою роль. Роботизированный уход имеет намного больше смысла в обществе, где взрослые дети постоянно вынуждены все больше работать; перегруженное «сэндвичное поколение» вынуждено чем-то жертвовать. Если бы, наоборот, прибыли от производительности распределялись лучше, спрос на роботов в области ухода за пожилыми, скорее всего, упал бы. Распространение инноваций обусловлено не столько существованием самого устройства как такового, сколько потребностью, которой оно служит в определенной социально-технической системе. Как утверждала Марта Файнман, мы можем перестроить социальные системы так, чтобы реорганизовать мотивы и стимулы, вместо того чтобы пытаться подгонять людей под все более дисфункциональные системы¹⁷².

Наконец, и это наиболее важная часть моего аргумента в этой главе, выбор между социальными роботами и медицинским персоналом представляет собой ложную дихотомию. Даже ярые сторонники социальных роботов обычно описывают их как помощников, а не заменителей сиделок и медсестер. Научные данные говорят в их пользу. Например, применение робота Раго вместе с интенсивной работой сиделок и других лиц, ухаживающих за больными, дает лучшие результаты, чем исключительно дистанционные методы. За последнее десятилетие ученые провели ряд исследований подобных применений роботов и пришли к некоторым положительным результатам. Исследователи-психиатры на Тайване выяснили, что «терапия с применением роботов может использоваться в стандартных программах, поскольку она обладает способностью повышать социальное благополучие престарелых в учреждениях интернатного типа»¹⁷³. Норвежские планирующие инстанции выяснили, что «Раго, видимо, выступает медиатором усиливающихся социальных взаимодействий, привлекая к ним» престарелых пациентов с деменцией, которым его предоставляли¹⁷⁴. Люди, осуществляющие уход, могут структурировать взаимодействие с социальными роботами, поощряя самовыражение, заботу о близких и беседы. Эта дополнительность помогает и пациенту, и человеку, заботящемуся о нем.

Профессиональные учебные заведения и медицинские системы должны развивать навыки профессиональных медиаторов между уязвимыми людьми и техническими системами. Специалист по этике Эйми ван Винсберге утверждала, что в применении робота отражается определенное представление о той или иной практике – в данном случае практике ухода. Во многих ситуациях «человеческое прикосновение, зрительный контакт, присутствие человека» – вот что играет ключевую роль в уходе. Если робот способен поддерживать подобные контакты, он может стать положительной частью проекта, ориентированного на ценности¹⁷⁵.

В развитых системах медицинского ухода это уже в полной мере учитывается. В Нидерландах был снят документальный фильм «Алиса заботится» об эксперименте с применением робота-компаньона, который дополняет посещения домашней сиделки. Контакты в итоге были достаточно позитивными. Одна старая женщина показывала роботу фотоальбомы, другая смотрела с ним футбол. Робот может подбадривать, кивать и иногда выражать одобрение или беспокойство. Сиделки дали пожилым людям понять, что робот не будет заменять человеческое общение, что он только подбадривает его. Это и стало условием доверия¹⁷⁶.

Создание доверия является ключевым фактором, учитывая широко распространенные опасения, связанные с применением автономных машин. Согласно опросу «Евробарометра», бо% стран в ЕС запретят роботизированный «уход за детьми, пожилыми людьми и людьми с инвалидностями»¹⁷⁷. И руководствуются они не просто луддизмом. Развитие автономных роботизированных систем, осуществляющих «уход», может усугубить глубокий социальный разрыв между теми, кому доступен человеческий контакт, и теми, кого отправляют к программам и машинам. Сомнения вызывает то, получают ли они, собственно, в таком случае какой-либо уход. Уход, если противопоставлять его системе внешних форм поведения, которыми он просто изображается, может возникать лишь в контексте взаимоотношений, когда лицо, этот уход осуществляющее, может, по крайней мере теоретически, его прекратить. Именно постоянное подтверждение готовности тратить время и силы на другого человека – вот что делает уход настолько ценным и ограниченным лишь сферой людей как существ, обладающих свободой воли. ИИ и роботы могут помочь с улучшением условий ухода, но саму эту работу они выполнить не в состоянии.

Сохранение человеческого контакта в медицине

О будущем роботов и ИИ в медицине мы можем очень многое узнать благодаря удачам и неудачам другой критически важной технологии, а именно фармацевтики. Ни один разумный доктор не захотел бы вернуться к медицине до появления современных лекарств. Антибиотиками сегодня можно вылечить пневмонию, от которой еще сто лет назад умирали. Однако в случае многих заболеваний спорным остается вопрос о том, какие именно лекарства выписывать, в какой дозировке и на какой срок. С роботами и ИИ похожая ситуация. Некоторые врачи готовы рекомендовать их направо и налево; другие проявляют больше осторожности; и все мы надеемся на то, что более качественный сбор данных позволит объективным наблюдателям отделить надежды от простой шумихи.

Как только мы выходим за пределы простых вопросов безопасности и эффективности автоматики, намечаются более сложные проблемы. Если бы решения о скорости и природе применения ИИ сводились к рыночной логике, дешевые роботы и приложения могли бы быстро стать новыми регуляторами доступа к специальной медицинской помощи или попросту узурпировать роль врачей-людей в работе со многими пациентами. От личного доктора можно было бы отказаться как от роскоши, так же как и от личного портного. С другой стороны, если бы государственные агенты взяли на себя слишком большую роль в управлении автоматизацией, политические соображения могли бы закрепить уже сложившиеся формы неэффективности. Рынок и государство лучше всего уравновешивать тем, что социолог Элиот Фрейдсон назвал «третьей логикой», а именно логикой профессионализма. В профессиях работники со специальными знаниями, предоставляющие наиболее значимые услуги, «имеют возможности организовывать и контролировать свою собственную работу»¹⁷⁸.

Медицина – одна из самых старых профессий, и обоснование ее автономности со временем менялось. Когда медицинское лечение было делом случая, врач считался похожим на прорицателя, которого уважали за некоторое знакомство с неизвестными силами. Благодаря науке медицина стала надежней, тогда как медицинскими комиссиями были разработаны стандарты защиты пациентов от знахарей и шарлатанов. Также были рассмотрены критические вопросы управления рисками медицинских исследований, которые имели гораздо меньшее значение, к примеру, в маркетологических исследованиях. Чтобы решить все эти вопросы, медицине как отдельной профессии приходится использовать свою привилегию (то есть лицензировать или запрещать предоставление ухода и медицинской помощи) ради защиты общества и особенно его наиболее уязвимых слоев.

К несчастью, хитрый маркетинг некоторых приложений психического здоровья способен увести индустрию на совсем другую, не слишком устойчивую траекторию. Потенциальные клиенты могут пользоваться такими приложениями как дешевой и удобной альтернативой посещения терапевта. Это расходится с установкой многих регулирующих ведомств (начиная с бюро лицензирования и заканчивая агентствами по защите прав потребителей), с точки зрения которых приложения – это просто игры, развлечения, информационные сервисы, помощники в здоровом образе жизни, то есть все то, что не затрагивает традиционные обязанности и ответственность терапевтов¹⁷⁹. Хотя в случае определенных фирм подобный арбитраж силами регулирующих ведомств может работать в качестве краткосрочной юридической стратегии, он подрывает доверие, необходимое для процветания индустрии в целом. Для пациентов также создается риск того, что они последуют некачественным советам. Например, когда исследователи в Австралии изучили 82 мобильных предложения, предлагавшихся на рынке людям, страдающим биполярным расстройством, они обнаружили, что эти приложения «не соответствовали практическим стандартам и принятым принципам самоуправления»¹⁸⁰.

Врачи Адам Сайфу и Виньян Прасад начинают недавно вышедшую книгу шокирующим открытием: «Несмотря на поразительное развитие клинической и хирургической науки, а также геномики, врачи по-прежнему, порой десятилетиями, применяют медицинские практики, которые, как позже было показано, не приносят пользы пациентам»¹⁸¹. Прасад сформулировал эту проблему в категориях статистики: «46 % того, что мы [врачи] делаем, неправильно». Конечно, некоторые диагнозы поставить просто, и мы в медицинской системе чаще всего имеем дело именно с ними. Большее количество данных поможет нам находить больше «простых решений» при поиске препаратов и даже автоматизировать его. Но нам еще очень далеко до прочерченной методами ИИ траектории, ведущей к гарантированному снижению смертности и приросту продолжительности жизни.

Собственно, самое важное воздействие ИИ и робототехники на медицину может быть косвенным, то есть определяться развитием за пределами сектора здравоохранения как такового. В последние годы исследователи государственного здравоохранения показали исключительное значение социальных факторов здоровья – питания, режима сна, нагрузки на работе, дохода и богатства. Хотя ИИ может создать больше выгод для всех и потенциально повысить благосостояние за счет своего воздействия во всех этих областях, он с той же легкостью может ускорить нежелательный контроль, социальное разделение и конкуренцию с нулевой суммой. Все эти эффекты могут оказать такое же или даже большее воздействие на продолжительность жизни и благополучие, чем развитие роботов-хирургов или диеты, оптимизированные с применением ИИ.

С точки зрения большинства здоровых людей, врачебное дело представляется простой задачей по распознанию паттернов (диагностики), которое ведет к определенным медицинским процедурам или предписаниям. Идеальный телеврач правильно оценивает все представленные ему данные, настоятельно рекомендует определенный курс, а потом переходит к следующему больному. Если бы все было так просто, роботы со временем и в самом деле могли бы заменить врачей. Но в реальном мире медицинской практики эта картина давно устарела. Во многих обстоятельствах сохраняются неопределенность и сомнения относительно того, какие действия лучше всего предпринять. Современная медицина требует участия – или, по крайней мере, понимания – пациента, который должен соблюдать предложенный план лечения. Такие факторы значительно усложняют и обогащают отношения врача и пациента, в которых существенным оказывается собственно человеческая составляющая. С похожими проблемами, как мы увидим в следующей главе, сталкиваются учителя и учащиеся.