Kitobni o'qish: «Архитектура мышления»

АРХИТЕКТУРА МЫШЛЕНИЯ

Как делать верные выводы там, где данных мало, времени нет, а цена ошибки высока

Инна Николаевна Егорова

Книга вторая из серии «Создание сверхчеловека»

Как устроена эта книга

«Архитектура мышления» — вторая книга серии «Создание сверхчеловека». Серия показывает, из каких навыков складывается надёжность человека там, где ошибка стоит жизней, денег и доверия: двадцать четыре книги шаг за шагом собирают человека, на которого можно опереться. Первая книга собрала несущий каркас надёжности. Эта берёт его первый элемент, «Основания», и превращает в самостоятельную дисциплину: как из неполных, противоречивых и иногда подброшенных сведений делать вывод, который выдержит проверку.

Книга отвечает на один вопрос: как думать так, чтобы ошибка в выводе становилась видна раньше, чем на ней примут решение?

Главный конфликт. Опытный специалист доверяет чутью — и чаще всего не зря. Но самые дорогие аналитические провалы случаются не от нехватки данных. Они случаются из-за того, как ум эти данные собирает: ранняя версия, удобный рассказ, незамеченное допущение, факт, который ничего не различает, и противник, который знает об этих слабостях и пользуется ими.

Главная мысль. Хорошее мышление — не талант и не объём знаний, а дисциплина: набор воспроизводимых операций, которые делают сход вывода с рельсов заметным. Её можно тренировать, измерять и проверять — как стрельбу или прыжок с парашютом.

Предупреждение самой книги. Структурированные методы не гарантируют точности. Для части из них доказательств эффективности мало, а некоторые создают ложную строгость: красивая таблица прикрывает ту же самую первую догадку. Этому посвящена часть V. Метод не делает вывод верным. Он делает вывод проверяемым для другого человека — и в этом его настоящая сила.

Чего книга не обещает. Она не учит читать мысли, распознавать ложь по лицу или предсказывать будущее. Она учит точнее оценивать, что известно, насколько и почему, — и честно говорить об этом тому, кто принимает решение. Она не заменяет ведомственных стандартов, инструкций и полномочий.

«КОМПАС вывода»

Через всю книгу проходит одна авторская учебная модель — шесть проверок, через которые проходит любой важный вывод. Сами техники взяты из аналитической и психологической литературы. Авторские — их последовательность, связка с итоговым докладом и правила остановки.

В книге 1 «Основания» были одной строкой Карты надёжности. Здесь эта строка разворачивается в полный рабочий инструмент — Протокол проверки убеждений, который читатель собирает глава за главой и получает целиком в конце книги.

Карта книги

Протокол собирается по ходу чтения: каждая глава добавляет в него одну строку, а глава 24 сводит их в рабочий документ.

Два читателя

Книга написана для двух читателей одновременно.

•

Читатель «для себя»

— руководитель, инженер, журналист — любой человек, который решает по неполным данным. Ему достаточно историй, прологов и базового уровня практикума. Он получит привычку держать несколько версий, спрашивать «как часто такое бывает», отличать убедительное от доказательного и не попадаться на ложные новости и мошеннические сценарии.

•

Профессионал

— аналитик и руководитель специальной службы, правоохранительного органа, службы безопасности критической инфраструктуры; следователь, эксперт по происшествиям, преподаватель профильного вуза. Для него — профессиональный и продвинутый уровни практикума, числовые оценки, работа в условиях противодействия, рубрики аттестации и пособие для инструктора.

Границы профессиональной траектории. Книга учит аналитическому мышлению — тому, как делать выводы из уже полученных сведений.

• Все методы взяты из открытой научной и профессиональной литературы. В книге нет закрытых сведений, ведомственных инструкций, реальных оперативных дел и сведений об объектах.

• Книга не учит наблюдению за людьми, допросу, вербовке, проникновению в системы и созданию дезинформации. Обман разбирается только со стороны защиты: как аналитик замечает, что его вывод мог быть навязан.

• Аналитическая оценка — не доказательство вины. Решения о людях принимают уполномоченные лица в установленном законом порядке.

Истории, которые проходят через книгу

•

Ксения Ларина

, 38 лет, ведущий аналитик центра оценки угроз службы безопасности крупного объекта критической инфраструктуры. Она быстро видит закономерность и умеет её защитить; начальство ценит её уверенность. Книга проведёт её через ситуацию, где самое убедительное свидетельство слишком точно ляжет в её версию, а кто и зачем его положил, так и не установят.

•

Дмитрий Гаранин

, 45 лет, инженер-следователь причин аварий на промышленных объектах. Ему постоянно приносят готовых виновных — начальники цехов, директора, собственная многолетняя привычка начинать с людей. Его линия — о том, как искать механизм, когда все вокруг уже знают ответ.

•

Лиза Корнеева

, 29 лет, выпускающий редактор новостей в региональном издании. Её мир — слухи, видео «с места событий», семейные решения и мошеннические звонки. Через её историю те же техники работают без служебного доступа и секретных материалов.

•

Алексей Вережников

, аналитик из книги 1, теперь наставник. Он появится, когда Ксении понадобится собеседник, который не согласен.

•

Полина Жукова

, 27 лет, молодой следователь, коллега Дмитрия. Она приходит в его службу в январе (глава 15), а в главе 23 становится его ученицей: на её месяце тренировки видно, как мышление растёт от прогноза, счёта и разбора.

Вступление. Ошибка, которая выглядит как уверенность

У юристов есть вопрос, который отучает от лишней уверенности быстрее любого тренинга: «На каком основании?» Вывод, который нельзя разложить на основания, суд не сочтёт обоснованным, как бы убедительно он ни звучал. У строителей есть похожий вопрос: «Кто это проверил и по какому документу?» Конструкцию принимают не потому, что она выглядит прочной, а потому, что её прочность можно показать другому человеку.

Откуда эта книга

Чем бы вы ни занимались, вы зависите от чужих выводов — и сами делаете выводы, по которым будут действовать другие. Справка аналитика, заключение эксперта, причина аварии в акте, новость в ленте, решение в семье. Почти всегда такие выводы делают под давлением: данных мало, времени нет, а кто-то уже знает ответ. Совет «думайте внимательнее» звучит постоянно — и почти ничего не меняет. Ошибочный вывод редко бывает глупостью. Чаще это плохо устроенная проверка: первая версия, которую никто не оспорил, удобный рассказ, допущение, о котором не спросили.

Эта книга связывает две вещи, которые обычно живут отдельно: то, что известно о суждениях и прогнозах из исследований и официальных расследований, и то, как выводы на самом деле делают люди с высокой ценой ошибки — в центре оценки угроз, в расследовании аварии, в редакции новостей, в семье.

На чём она построена

За этой книгой стоит большая работа. Сначала — лучшие мировые книги о мышлении, анализе и прогнозе. «Psychology of Intelligence Analysis» Ричардса Хойера — классический труд Центра изучения разведки ЦРУ о том, почему ошибается опытный аналитик. «Structured Analytic Techniques for Intelligence Analysis» Рэндольфа Ферсона и Ричардса Хойера — 66 приёмов работы с неполными сведениями. «Думай медленно — предсказывай точно» («Superforecasting») Филипа Тетлока и Дэна Гарднера — турнир прогнозов, в котором группа Тетлока два года подряд давала самые точные прогнозы — благодаря обучению, работе в командах и отбору лучших, и «Expert Political Judgment» Тетлока — многолетняя проверка экспертов по исходам их прогнозов. «Шум» Даниэля Канемана, Оливье Сибони и Касса Санстейна. «Думай „почему?“» Джуды Перла и Даны Маккензи — о том, как отличить причину от совпадения. «How to Measure Anything» Дугласа Хаббарда, «Thinking in Bets» Энни Дьюк, «The Scout Mindset» Джулии Галеф. И «Pearl Harbor: Warning and Decision» Роберты Уолстеттер — классический разбор того, как настоящие сигналы тонут в шуме.

Но книги были только началом. За ними — первоисточники: около девяноста научных работ, официальных расследований и документов — от классического опыта Тверски и Канемана 1974 года до исследований точности разведывательных прогнозов последних лет. Отчёты комиссии по гибели шаттла «Колумбия», национальной комиссии по аварии на платформе Deepwater Horizon, президентской комиссии по разведывательным оценкам оружия массового поражения, генерального инспектора Министерства юстиции США по делу Брэндона Мэйфилда, решение Апелляционного суда Англии и Уэльса по делу Салли Кларк — прочитаны не в пересказах, а в оригинале. Каждая цифра и каждая ссылка сверены; всё, что сверить не удалось, в книгу не вошло.

Из этого материала выросло то, чего нет ни в одной из перечисленных книг: единая модель «КОМПАС вывода» и Протокол проверки убеждений для тех, чей вывод становится чужим решением, — для аналитика, следователя, эксперта, редактора, руководителя. Книги о разведывательном анализе написаны для специалистов, популярные книги о мышлении — для офиса и дома. Эта книга соединяет одно с другим. Все источники собраны в одном списке в конце книги; номер в квадратных скобках в тексте — номер в этом списке.

Почему эта книга нужна именно тем, кто не имеет права ошибиться

Есть профессии, в которых вывод одного человека становится решением другого. Аналитик пишет справку — руководитель вводит усиленный режим. Эксперт даёт заключение — следователь задерживает человека. Инженер-следователь называет причину аварии — завод меняет регламент или увольняет смену. В таких профессиях ошибка мышления не остаётся внутри головы. Она переходит в чужое действие, и обратно её уже не вернуть.

При этом мышлению почти нигде не учат как ремеслу. Учат предмету: праву, технике, тактике, языку. Предполагается, что делать выводы умный человек умеет сам. Исследования, о которых пойдёт речь, показывают, что это не так. Опытные специалисты, включая экспертов с многолетним стажем, совершают предсказуемые ошибки — и чаще всего не замечают их, потому что изнутри ошибка выглядит как уверенность.

Хорошая новость в том, что раз ошибки предсказуемы, защиту от них можно встроить в процедуру проверки — так же, как в строительстве встраивают запас прочности в расчёт, а не надеются на добросовестность бетона.

Как читать

Сцена раньше объяснения. Каждая глава начинается с момента выбора: вас попросят решить до того, как вы прочтёте объяснение. Пожалуйста, решайте честно и записывайте ответ. К концу главы он может показаться неполным — это не проигрыш, а смысл упражнения.

Закон главы. Сразу под названием стоит закон главы — одна фраза, которую стоит унести с собой. Рядом — строка «Проверка КОМПАС»: какую букву модели тренирует глава и какую строку она добавляет в Протокол. Все двадцать четыре закона собраны в конце книги в «Кодекс точного вывода».

Три типа глав. Полные главы (например, 1, 5, 9) соединяют исследования, авторский инструмент, две истории, практикум и аттестацию. Главы-дела (например, 3, 7, 18) ведут одно расследование от начала до конца, а наука входит в него короткими паузами. Короткие главы-инструменты (например, 4, 6, 8) дают один приём, одну основную историю и сжатый практикум. Схема везде узнаваема: карточка инструмента, раздел «Когда инструмент вредит», карточка на рабочий стол, строка Протокола и «Главное за минуту».

Точки «Ваша оценка». Начиная с главы 3, истории останавливаются на вопросах вида «Ваша оценка В-5.2»: произойдёт ли что-то в истории или подтвердится ли то, что считают герои, — да или нет. Запишите число от 0 до 100 % до того, как читать дальше. Исход раскрывается позже — в той же главе или в одной из следующих, и заранее его не угадать: вы знаете ровно столько, сколько герой в эту минуту. Не пытайтесь угадывать исход по жанру («в такой книге очевидная версия наверняка неверна»): так вы измерите знание жанра, а не свою калибровку. В главе 14 вы посчитаете по своим числам балл Брайера за главы 3–13 и увидите собственную калибровку, а ключ ко всем точкам с исходами собран в конце книги. В главах 1 и 2 таких точек нет: там вы записываете первую строку доклада и первую версию, и проверяет их сам текст главы.

Для профессионала. В части глав есть разделы с пометкой «Для профессионала»: продвинутые процедуры — порядок раскрытия сведений, вес факта, точки пересмотра, работа группы. Продвинутый практикум описывает готовые учебные сценарии. Полные материалы к ним — ключи, таблицы, способы подсчёта показателей и проверка арифметики — собраны в пособие для инструктора в конце книги. В нём есть ещё общие разделы: как подготовить занятие, как считать балл Брайера и как измерить результат обучения.

Если вы читаете для себя, разделы для профессионала, аттестацию и пособие для инструктора можно пропускать: историй, прологов и базового практикума достаточно. Если вы готовите специалистов, именно эти разделы вам и нужны.

И последнее. Эта книга не сделает вас человеком, который не ошибается. Она поможет стать человеком, чьи ошибки видны вовремя — себе и тем, кто проверяет вашу работу. В профессиях, где цена ошибки высока, именно это отличает того, на кого можно опереться.

Часть I. Как ум строит картину

Мы привыкли думать, что ошибки мышления начинаются с рассуждения: увидели верно, а вывод сделали неверный. Первая часть показывает, что ошибка начинается раньше — в тот момент, когда мы ещё только смотрим. Ожидание участвует в том, что мы видим. Первая версия управляет тем, что мы ищем. Связный рассказ кажется вероятнее разрозненных фактов. А трудный вопрос незаметно подменяется лёгким, на который ответить приятнее.

Вопрос на входе в часть: «Я вижу факты — как я могу ошибаться?» Вопрос на выходе: «Что в моей картине наблюдение, а что — уже моё ожидание?»

Каждая глава части добавит строку в Протокол проверки убеждений: на каком исходном материале стоит вывод, какая версия пришла первой и какие альтернативы проверены, как рассказ связал факты и на какой именно вопрос отвечает доклад.

Глава 1. Ожидание видит раньше глаз

Как отделить то, что вы видите, от того, что вы ожидали увидеть

Закон главы. Сначала отделите то, что видите, от того, что ждали.

Проверка «КОМПАС»: подготовка к К. Строка Протокола: исходный материал и кто описал его первым.

Пролог. Кадр, который вы уже видели

Вечером вы прочитали короткую ориентировку: «Возможен интерес неустановленных лиц к периметру объекта. Усилить внимание». Ночью, в 03:14, оператор присылает вам кадр с камеры наружного ограждения и одну строку: «03:12, у ограждения человек, в руке предмет, похоже на устройство».

На кадре ночь, зерно, свет фонаря сбоку. Человек стоит у сетки, наклонившись вперёд. В правой руке у него что-то тёмное и вытянутое, конец предмета почти касается земли.

Решите, прежде чем читать дальше. Что вы напишете в первой строке доклада начальнику смены? Запишите эту строку дословно. Правильный ответ угадывать не нужно — важно увидеть, из чего она сделана.

Теперь проверьте свою строку. Есть ли в ней слова «устройство», «осматривает», «разведка», «подозрительный»? Если есть, спросите себя: где на кадре вы это видите? На кадре нет устройства. Есть тёмный вытянутый предмет. Нет осмотра. Есть наклон. Слово «устройство» пришло к вам от оператора, а слово «разведка» — из вечерней ориентировки. Оба оказались в вашем «наблюдении» раньше, чем вы открыли кадр.

Открытие пролога. Ожидание приходит раньше данных. То, что вы прочитали до кадра, уже участвует в том, что вы на нём видите, — и изнутри это ощущается не как догадка, а как зрение.

В разделе 6 эту же ночь проживёт аналитик Ксения Ларина. Сравните её первую строку со своей.

1. Результат главы и границы применимости

После главы читатель сможет:

Разделять в собственном описании наблюдение, толкование и ожидание — письменно, до того как сложится вывод.

Находить, откуда пришло ожидание: из ориентировки, чужой подписи, прошлого опыта или собственной версии, — и предлагать хотя бы одно другое прочтение того же материала.

Организовывать «чистый второй взгляд» и порядок раскрытия сведений.

Оценивать раздельно надёжность источника и достоверность самого сообщения.

Писать первую строку доклада так, чтобы читатель видел, где кончается факт и начинается оценка, а вероятность названа отдельно от уверенности.

Границы. Глава не учит распознавать намерения людей по внешнему виду или поведению: книга считает такие суждения ненадёжными и к ним не стремится (данные о том, насколько плохо люди распознают ложь, приведены в главе 2). Инструмент главы предназначен для анализа материала: кадров, документов, сообщений, следов, показаний приборов. Он не заменяет установленных процедур реагирования. При непосредственной угрозе сначала выполняются предусмотренные защитные действия, а разбор восприятия — потом.

Из книги 1 пригодится различие между наблюдением и интерпретацией. Здесь выяснится, что граница между ними проходит не там, где мы привыкли.

2. Что показывает наука

2.1. Карты, которых не бывает

В 1949 году Джером Брунер и Лео Постман показывали двадцати восьми студентам игральные карты на доли секунды [4]. Среди обычных карт попадались «невозможные» — например, красная шестёрка пик. Обычную карту испытуемые узнавали в среднем за 28 миллисекунд, невозможную — за 114, примерно вчетверо дольше. Чаще всего люди уверенно называли привычную карту или находили компромисс: «шестёрка треф, освещённая красным светом». Один испытуемый признался: «Я уже не уверен, как выглядят пики! Боже мой!» (с. 218).

Чего вывести нельзя. В 2011 году опыт повторили: в отдельных наборах обычные и «невозможные» карты узнавались одинаково хорошо, замедление появлялось только в смешанном наборе, и «сопротивления несовместимому» авторы повторения не подтвердили [38]. Спор о механизме не закрыт. Но то, что неожиданное узнаётся медленнее и часто подменяется ожидаемым, — важная отправная точка.

2.2. Видим то, чего ждём

Ричардс Хойер построил на этом наблюдении пособие для аналитиков «Психология разведывательного анализа», изданное Центром изучения разведки ЦРУ [35]:

• «Мы склонны воспринимать то, что ожидаем воспринять» (с. 8).

• Установки «формируются быстро, но с трудом поддаются изменению» (с. 10).

• «Новая информация встраивается в уже сложившиеся образы» (с. 11).

• Первое знакомство с размытым или неоднозначным материалом мешает точному восприятию даже тогда, когда позже появляется больше хорошей информации (с. 13).

Отсюда парадоксальный вывод: аналитик, который наблюдает ситуацию с ранней, неясной стадии, оказывается в невыгодном положении по сравнению с руководителем, впервые увидевшим её позже, когда данных уже больше (с. 15).

Ограничение. Хойер — синтез когнитивной психологии для практиков, а не новое исследование.

2.3. Невидимая горилла

Дэниел Саймонс и Кристофер Шабри показывали испытуемым видео, где две команды передают друг другу мяч, и просили считать передачи одной из команд [76]. Посреди ролика через площадку проходила женщина с зонтом или человек в костюме гориллы — пять секунд в кадре. В целом неожиданное событие не заметили 46 % зрителей: гориллу — 56 %, женщину с зонтом — 35 %. Чем труднее была задача счёта, тем чаще пропускали.

Чего вывести нельзя. Наблюдатели не были «невнимательны»: они очень внимательно делали то, что им поручили. Задача, которую вы держите в голове, решает, что вы увидите. И оговорка: невидимая горилла — это пропуск неожиданного. Пролог этой главы — о противоположной ошибке: ложной тревоге, избыточном прочтении ожидаемого. Ожидание делает и то и другое, поэтому инструмент, который снижает одну ошибку, может увеличивать другую (раздел 7).

2.4. Эксперты не защищены — и иногда уязвимее

Итиэль Дрор и его коллеги тайно вернули пятерым опытным дактилоскопистам — в среднем по семнадцать лет стажа — пару отпечатков, которую каждый из них сам признал совпадающей в реальном деле несколькими годами раньше [18]. Сказали, что это пара из громкого дела о ложной идентификации, и попросили не обращать внимания на этот контекст. Четверо из пятерых изменили собственное прежнее решение: трое написали «не совпадает», один — «недостаточно данных».

Во втором исследовании шестерым сертифицированным экспертам незаметно предложили по восемь их собственных прошлых решений, половину — с наводящим контекстом вроде «подозреваемый сознался» [17]. Из 48 решений изменилось 6; непоследовательность показали четверо из шести экспертов. Почти все изменения пришлись на трудные, неоднозначные сравнения, а два из шести случились без всякого наводящего контекста. Эксперт расходится не только с другими, но и с самим собой — к этому «шуму» суждений книга вернётся в главе 15.

Ограничения. Выборки очень малы, контекст в первом опыте был сильным [18]. Эти работы не говорят, как часто ошибаются эксперты вообще. Они показывают другое: опыт и добросовестность не отключают влияние того, что эксперт знает о деле, — особенно когда материал неоднозначен.

3. Авторский инструмент: «Протокол первого взгляда»

Определение. «Протокол первого взгляда» — авторский учебный инструмент для работы с исходным материалом. Он не убирает ожидание: это невозможно и не нужно. Он делает ожидание видимым — записывает его рядом с наблюдением, пока они ещё не слились в один вывод, — и задаёт порядок, в котором аналитик получает сведения.

На чём основан. Разделение наблюдения и толкования (книга 1, глава 1). Защитные меры, которые Сол Кассин, Итиэль Дрор и Джефф Кукучка вывели из исследований и разборов ошибок экспертизы [45]: работать «линейно, а не по кругу» — сначала задокументировать признаки в исследуемом следе и только потом сравнивать его с образцом; ограждать эксперта от сведений, не нужных для его задачи; проверять вслепую; спрашивать: «Что эксперт знал и когда он это узнал?» Последовательное раскрытие информации [19, 72] и раздельная оценка источника и сведений [46]. Авторское — колонка «Ждал», перенос правил из криминалистики на любой материал (интерпретация автора) и связка с первой строкой доклада.

Рис. 1.1. Ожидание приходит раньше материала и проникает в описание и толкование. Три заслона протокола стоят на каждом переходе: порядок раскрытия — до описания, колонка «Ждал» — до толкования, чистый второй взгляд — до доклада.

Четыре колонки.

В быстром режиме, как у Ксении в истории 6.1, хватает трёх колонок — «Вижу», «Думаю», «Ждал»; «Происхождение» заполняют, когда материал прошёл через несколько рук.

У признаков стоит уверенность, потому что колонка «Вижу» тоже состоит из выводов, только нижнего уровня: «силуэт человека» на зернистом ночном кадре — уже вывод. Аналитические стандарты прямо требуют отделять исходные сведения от допущений и суждений аналитика [67].

Колонка «Происхождение» защищает от самой коварной ловушки — кругового подтверждения. Если ориентировка выросла из прошлого эпизода с того же участка, а вы «подтверждаете» её новым кадром, вы, возможно, подтверждаете источник самим собой.

Карточка инструмента

Правило чистого второго взгляда. Проверяющему дают то, что нужно для задачи: время, место, источник, условия съёмки. Не дают ваш вывод, чужую оценку, ориентировку, ожидаемый ответ. Если без ориентировки задачу не понять, проверяющий сначала описывает материал без неё, потом получает её и пишет, изменилось ли описание. Проверка слепая, только если выполнены пять условий:

Проверяющий не знает вывода первого аналитика.

Он не знает, кто первый аналитик.

Проверяющего назначает третье лицо, а не автор вывода.

Ему не сообщают, что дело считается важным или что от него «ждут подтверждения».

Расхождение между ними разбирает третье лицо.

Честная оговорка: колонка «Ждал» опирается на самонаблюдение. А самонаблюдение в этом вопросе ненадёжно. Эмили Пронин и коллеги показали, что люди уверенно видят предвзятость у других и гораздо хуже — у себя [71]. Поэтому запись — лишь половина защиты; главное — порядок: кто, что и когда получает.

3.1. Для профессионала: управление контекстом

Читателю «для себя» можно перейти к разделу 4.

То, что для отдельного аналитика — личная дисциплина, для подразделения — порядок работы.

Последовательное раскрытие. Эксперт сначала изучает исследуемый материал изолированно и записывает первичный вывод вместе с уверенностью; сравнительные и контекстные сведения он получает только потом [19]. Расширенная версия метода заранее оценивает каждое сведение по нужности для задачи, объективности и силе наводки и раскрывает их от нужного и объективного к наводящему; для этого есть рабочий лист [72]. После каждого раскрытия записывается, изменился ли вывод и почему. Изменения после раскрытия обычны и сами по себе не отличают ошибочные выводы от верных [85]. Поэтому правило звучит так: «каждое изменение обосновать признаком материала, а не раскрытым сведением». Таблица раскрытия для кейса «Кадр 03:12» и метод «ряда образцов» с его ценой [74] — в пособии для инструктора (сценарий 1.1).

Менеджер дела и раздельные поля. Ограждать аналитика от ненужных сведений [45, с. 48] должен тот, через кого идёт материал. Самый дешёвый способ — разделить поля в сообщении оператора: «Наблюдение» (обязательно) и «Оценка оператора». Второе поле уходит менеджеру дела и раскрывается аналитику после первичного описания.

Ожидание от машины. Поиск по огромной базе находит самые похожие отпечатки — а значит, и те, что вероятнее всего собьют эксперта с толку [83, с. 137]. На 23 экспертах и 55 200 сравнениях положение кандидата в выдаче системы влияло на ошибки, а ложные идентификации тяготели к верхним строкам списка [20]. Для аналитика, работающего с поиском, ранжированием и подсказками искусственного интеллекта, «кандидат № 1 от системы» — такой же источник ожидания, как строка оператора. Его место — в колонке «Ждал».

Источник и сведения — разные оси. Надёжность источника (A–F) и достоверность сообщения (1–6) оценивают раздельно: на практике первое легко подменяет второе [46]; данные — в пособии для инструктора (сценарий 1.2). Строка оператора — сообщение надёжного источника о том, что он истолковал, и надёжность оператора не делает толкование наблюдением.

4. Психологический барьер: «Я же вижу»

Сомневаться в чужих словах профессионала учат. Сомневаться в собственных глазах — почти никогда. Наблюдение кажется первичным: сначала я увидел, потом подумал. Поэтому, когда коллега говорит «а может, это не устройство», хочется ответить: «Я же вижу». В этой фразе и прячется ошибка: «вижу» уже включает толкование, но ощущается как чистый факт.

Второй барьер — статусный. Опытному аналитику неловко записывать «ждал разведку»: это похоже на признание в предвзятости. Оператору проще написать «похоже на устройство», чем «тёмный вытянутый предмет»: первое звучит профессионально, второе — беспомощно.

Поэтому протокол нельзя держать на личной добросовестности. Его нужно встроить в форму: в бланк дежурного сообщения, в шаблон справки, в порядок передачи материала на проверку. Если для честного описания каждый раз требуется смелость, процесс устроен неправильно.

5. Разбор реального случая: отпечаток № 17

Случай изложен по отчёту Управления генерального инспектора Министерства юстиции США 2006 года [83], страницы — по печатной нумерации. Разбор посвящён механизму ошибки, а не оценке людей и ведомств.

Что произошло. 11 марта 2004 года в Мадриде взорвали пригородные поезда; по данным отчёта, погибли около 200 человек (с. 29). На пакете с детонаторами испанская полиция обнаружила латентный отпечаток пальца, получивший номер 17 (с. 21). Снимки через Интерпол получило ФБР. Автоматизированная дактилоскопическая система выдала двадцать кандидатов; американский адвокат Брэндон Мэйфилд был в этом списке четвёртым (с. 31). 19 марта лаборатория ФБР идентифицировала отпечаток как отпечаток Мэйфилда (с. 21).

Идентификацию подтвердил второй эксперт — бывший сотрудник лаборатории с 35-летним стажем, работавший по контракту (с. 32–33), а позднее и назначенный судом независимый эксперт (с. 22). Руководитель подразделения, согласившийся с выводом, собственного полного исследования к тому моменту не провёл, хотя, по его словам, один участок следа вызывал у него сомнения «с самого начала» (с. 33).

13 апреля испанская полиция сообщила, что её собственное сравнение дало отрицательный результат (с. 51–52). 6 мая Мэйфилда задержали как важного свидетеля (с. 67). 19 мая испанская полиция сообщила, что отпечаток принадлежит другому человеку — гражданину Алжира (с. 21, 81). ФБР отозвало идентификацию, Мэйфилд был освобождён (с. 21); позднее правительство принесло извинения и выплатило ему два миллиона долларов [45, с. 42–43].

Как ожидание вошло в «наблюдение». Из причин ошибки, которые называет отчёт, к теме главы прямо относятся две. Первая — необычное сходство. Отпечатки Мэйфилда и настоящего владельца следа действительно были похожи по характерным деталям (с. 130, 136). Система поиска сработала так, как была задумана: она и должна находить похожие отпечатки (с. 137). Первичное сходство было реальным фактом — тем ошибка и опасна.

Вторая — предвзятость от образцов Мэйфилда, которую отчёт прямо называет «круговым рассуждением» (с. 138). Увидев образец, эксперт начал «находить» в неясном следе признаки, которых там не было, и переосмысливать неудобные: он изменил толкование пяти из семи признаков, отмеченных в следе первоначально (с. 144). Деталь, которую стоит запомнить каждому аналитику: в четырёх из этих пяти случаев первоначальное толкование было верным — оно совпадало с отпечатком настоящего владельца (с. 144). До встречи с образцом эксперт видел точнее, чем после. Отчёт квалифицирует такое обратное рассуждение как вероятную потерю объективности (с. 139).

Проверка, которая не была проверкой. Проверяющие в лаборатории знали, что идентификация уже сделана другим экспертом (с. 175–176). Руководитель подразделения признал, что знание выводов коллег повлияло на его собственный просмотр отпечатка (с. 176). Международная группа экспертов, изучавшая дело, рекомендовала проводить проверку вслепую — так, чтобы проверяющему были неизвестны прежние выводы (с. 128).

Что это значит для аналитика. Механизм тот же, что в вашей первой строке доклада в прологе, только цена несравнимо выше: сначала кандидат, потом образец, потом признаки следа подстраиваются под образец. Будь признаки записаны до встречи с образцом, а первый вывод скрыт от проверяющего, у ошибки было бы меньше шансов пройти три проверки; это и рекомендуют Кассин, Дрор и Кукучка [45]. Позже Дрор и коллеги использовали этот случай как наводящий контекст в своём эксперименте [18].

Ограничение. Дактилоскопия — особая область, а отчёт описывает одно дело; перенос на анализ кадров, документов и сообщений — интерпретация автора.

6. Две истории: кадр и видео

Описания технических средств и порядка охраны в историях намеренно опущены: для анализа мышления они не нужны.

6.1. «Кадр 03:12»

Паспорт кейса

02:40. Ожидание

Ксения начала смену с ориентировки, пришедшей накануне вечером. Текст был короткий и неконкретный: ни описания людей, ни времени, ни способа. Ксения отметила её про себя тем особым вниманием, которое опытный аналитик включает автоматически: если что-то будет, то вот оно.

03:14. Кадр

Сообщение оператора пришло вместе с кадром. Ксения открыла снимок и сразу увидела то, о чём говорил оператор: человек у сетки, наклон, предмет в руке. Предмет был вытянутый, с утолщением на конце. «Антенна? Сканер?» Она почувствовала знакомое ускорение мысли — то, за которое её ценили. Через минуту в черновике было написано: «В 03:12 у внешнего ограждения зафиксирован неустановленный, осуществлявший осмотр ограждения с использованием технического устройства. Возможна разведка».

03:20. Пауза

Ксения перечитала фразу и задержалась на слове «осуществлявший». Его нельзя было показать пальцем. Она открыла новую страницу и разделила её на три колонки.

«Вижу»: силуэт человека у сетки; 03:12; около сорока секунд в кадре; наклон вперёд; в правой руке тёмный вытянутый предмет, нижний конец у земли; лицо не различимо.

«Думаю»: осматривает ограждение; предмет — устройство.

«Ждал»: ориентировка о возможном интересе к периметру; слово «устройство» — из строки оператора.

Колонка «Ждал» объясняла почти всё, что в черновике было сверх «Вижу».

03:35. Чистые глаза

Ксения отправила кадр Петру Ильину, аналитику соседней группы, без строки оператора и без ориентировки. Только время, место и условия съёмки. «Опиши, что видишь, и предложи два-три прочтения».

Через десять минут пришёл ответ: «Человек наклоняется к земле. В руке длинный предмет — палка, трость, щуп, удочка? Похоже, водит им у земли. Прочтения: 1) что-то ищет на земле; 2) осматривает основание сетки; 3) выгуливает собаку, которой не видно в кадре». Ни одно из прочтений Пётр не назвал вероятным: «по такому кадру — не возьмусь».

Пётр увидел движение «у земли», а не «у сетки». Для Ксении человек был у ограждения, потому что ограждение было главным в её ожидании.

03:50. Доклад

Первая строка доклада стала такой: «В 03:12 у внешнего ограждения участка зафиксирован человек, около 40 секунд. По кадру не определяются характер действий и предмет в руке (тёмный, вытянутый, у земли)».

Вторая: «Возможные прочтения: осмотр основания ограждения; поиск чего-то на земле; посторонняя бытовая активность. Связь с вечерней ориентировкой маловероятна (около 25 %; по журналу эпизодов участка за год примерно три из четырёх ночных эпизодов — бытовые, остальные не установлены). Уверенность в этой оценке низкая: ориентировка не содержит проверяемых признаков, оценка опирается только на частоту прошлых эпизодов, а кадр не позволяет её уточнить».

Третья: «Предлагаю проверить эпизод. Оценку пересмотрю, если появятся сведения о повторных эпизодах или о предмете».

Рябцев прочитал и спросил то, что спросил бы любой начальник смены: «Так это опасно или нет? Откуда двадцать пять процентов?» Ксения не стала прятаться за описанием: «Из журнала участка. За прошлый год там шестнадцать ночных эпизодов: двенадцать оказались бытовыми, четыре так и не установлены, подтверждённого интереса к объекту — ни одного. Так что двадцать пять — скорее верхняя граница. Проверить эпизод стоит в любом случае — решение за вами». Она держалась правила, общего для аналитических стандартов: вероятность события и уверенность в основаниях — разные вещи, и их не смешивают в одной фразе [67]. Рябцев назначил проверку.

07:40. Развязка без развязки

Утренняя проверка нашла у сетки и вдоль обочины следы одного человека. Житель посёлка, который ходит с металлоискателем, подтвердил, что иногда ходит вдоль этой дороги, но в ту ночь, по его словам, из дома не выходил. Эпизод остался неустановленным. Ксения дописала в запись по эпизоду ещё одно прочтение — «поиск металла с металлоискателем». Оценку не меняла: это прочтение входит в бытовую активность, а сличить жителя с силуэтом невозможно.

Так заканчивается большинство таких эпизодов. Но доклад Ксении был правильным независимо от того, кто стоял у сетки: он точно сообщил, что известно, что нет, насколько вероятна связь с ориентировкой и что изменит оценку.

Уйди наверх первый черновик — в отчётности появилась бы «разведка с использованием технического устройства», которую никто уже не опроверг бы. На неё опиралась бы следующая ориентировка, и непроверенное толкование стало бы «подтверждённым фактом».

Развилка. Представьте, что ориентировка была конкретной: «мужчина среднего роста с длинным предметом, интересуется основанием ограждения в ночное время». Меняет ли это оценку кадра? Да, и законно: ожидание с проверяемыми признаками повышает вероятность одной из версий. Ошибка не в том, чтобы учитывать ориентировку, а в том, чтобы не записать, что именно вы из неё взяли, и выдать это за то, что вы увидели.

Вопрос читателю: Ксения отправила кадр Петру без строки оператора. А если бы Пётр сидел рядом и слышал её разговор с оператором — был бы его взгляд «чистым»?

6.2. «Видео с подписью»

Паспорт кейса

18:05. Подпись

Утром редакция обсуждала жалобы жителей на выбросы химического завода на окраине. Вечером Лизе переслали видео: густой чёрный дым над крышами, вдали — силуэт заводской трубы. Подпись: «Взрыв на заводе, есть пострадавшие». Лиза посмотрела ролик дважды и увидела то, что ожидала: завод, о котором говорили утром. Через семь минут два конкурента вышли с заголовком «Взрыв на химзаводе», и главный редактор написал в чат: «Мы где?»

18:15. Три колонки

«Вижу»: чёрный дым широким столбом; на переднем плане крыши гаражей; вдали труба, она не дымит; звука, огня и людей нет. «Думаю»: горит на территории завода. «Ждал»: утренняя планёрка о заводе; подпись к видео; заметки конкурентов.

Всё, что связывало дым с заводом, оказалось в колонках «Думаю» и «Ждал».

18:25. Чистый второй взгляд

Лиза отправила Артёму ролик без подписи: «Что это и где? Без контекста». Через десять минут он ответил: «Горит что-то за гаражами, по цвету дыма — похоже на шины или мусор. Труба далеко, километра два, к пожару, по-моему, отношения не имеет. Гаражи узнаю — кооператив у объездной». По панорамам улиц из открытых карт совпали крыши, линия электропередачи и поворот дороги.

«А когда снято?» — спросила Лиза: старые ролики с новыми подписями — самая частая подмена. Самая ранняя публикация нашлась в чате жителей кооператива — 17:54, «горит у нас, шестой ряд». На крышах лежал снег, выпавший, по данным метеостанции, после 13:00. Значит, ролик снят, скорее всего, сегодня между 13:00 и 17:54: более ранняя публикация могла просто не найтись.

19:10. Публикация

В вечерней ленте вышла заметка: «Пожар в гаражном кооперативе у объездной дороги. Видео, опубликованное жителями около 18:00, распространяется с подписью о взрыве на химическом заводе; по видео это не подтверждается. Сведения о пострадавших проверяются». В 20:40 региональная служба спасения сообщила о возгорании шин в кооперативе без пострадавших. Конкуренты исправили заголовки к 21:30. Проверка стоит времени, и это время приходится защищать.

Развилка. Допустим, место установить не удалось. Тогда — не «взрыв на заводе» и не молчание, а, например: «В соцсетях распространяется видео сильного задымления с подписью о взрыве на заводе. Место и время съёмки пока не установлены; запрос в службу спасения направлен». Это не скучно. Это точно.

Подпись к видео — то же, что строка оператора у Ксении: чужое ожидание, доставленное вместе с материалом. Мы читаем её первой.

Дебрифинг для двух историй

• Уровень 1. Факты. Выпишите из каждой истории всё, что попало в колонку «Вижу». Сколько там глаголов намерения? Должно быть ноль.

• Уровень 2. Источник ожидания. Для каждого толкования назовите, откуда оно пришло: из материала, из чужого текста, из прошлого или из вашей версии.

• Уровень 3. Второй взгляд. Что получили Пётр и Артём, а что от них скрыли? Что изменилось бы, если бы скрыли меньше?

• Уровень 4. Цена двух ошибок. Чего стоила бы «разведка, которой не было» — и «ничего не было», если человек действительно осматривал ограждение?

• Уровень 5. Системная коррекция. Как изменить бланк сообщения оператора и регламент публикации видео, чтобы разделение «вижу — думаю» не зависело от личной дисциплины Ксении и Лизы?

7. Развилки и контрпримеры: когда протокол вредит

Случай 1. Ожидание, которое спасает. Опытный специалист замечает слабый признак именно потому, что ждёт его. Если «очистить» его взгляд от всех ожиданий, он станет медленнее и слепее, а не точнее. Исправление: записывать ожидание, не подавляя его.

Случай 2. Второй взгляд без нужного контекста. Проверяющему скрыли всё, включая технические условия съёмки, масштаб и время. Он ошибся, потому что гадал. Исправление: скрывать выводы и чужие оценки, а не условия задачи. Если контекст нужен, сначала — описание без него, потом — с ним, и разница записывается.

Случай 3. Протокол вместо действия. При непосредственной угрозе аналитик начал заполнять протокол вместо того, чтобы немедленно сообщить об угрозе. Исправление: протокол — инструмент оценки, и задерживать им сообщение нельзя. Защитное действие и срочное сообщение идут первыми; разбор восприятия — следом.

Случай 4. Спрятаться за описанием. Аналитик пишет только «вижу» и отказывается от любой оценки: «я ничего не утверждаю». Руководитель остаётся с сырым материалом. Исправление: протокол разделяет факт и оценку, но не отменяет оценку.

Случай 5. Осторожность как привычка. После нескольких тренировок аналитик начинает автоматически выбирать «безобидное» прочтение: в учебных историях оно так часто оказывалось верным. Но протокол делает вывод обоснованным; мягче он его делать не должен. Если признаки указывают на угрозу, оценка должна быть высокой, а доклад — срочным. Инструмент, который снижает ложные тревоги ценой пропусков, сдвигает порог, а не улучшает различение. Поэтому в учебных материалах обязательно должны быть настоящие сигналы, а успех тренировки измеряется парой показателей — долей попаданий и долей ложных тревог.

8. Практикум

Базовый уровень

А. Фотография из новостей. Возьмите фотографию из сегодняшней новостной ленты, закройте подпись и опишите снимок в колонке «Вижу». Потом откройте подпись и запишите, что она добавила. Сколько слов подписи вы бы сами «увидели» на снимке?

Б. Семейный разговор. Вспомните, как вы недавно сказали о ком-то близком: «Он обиделся», «Она устала», «Он врёт». Разложите сказанное на колонки. Что вы на самом деле видели? На что из этого вы не решились бы опереться, если бы от вывода зависела судьба человека?

Профессиональный уровень

В. Переписать сообщение. Перепишите строку оператора «У ограждения человек, в руке предмет, похоже на устройство» так, чтобы начальник смены мог отличить наблюдение от толкования, а сообщение не стало длиннее двух строк. Критерий: есть время, признаки с уверенностью и отдельное поле «оценка оператора». Время — 10 минут.

Г. Порядок раскрытия. У вас есть кадр, схема участка, сведения о прошлых эпизодах, строка оператора и ориентировка. Для каждого сведения оцените нужность для задачи, объективность и силу наводки и решите, в каком порядке раскрыть его проверяющему. Сравните с таблицей в пособии для инструктора (сценарий 1.1, «Перед занятием»). Время — 15 минут.

Продвинутый уровень

Д. «Восемь узлов» (90 минут, группа): влияние наводящей записки инспектора при трёх порядках раскрытия (сценарий 1.1).

Е. «Десять роликов» (60 минут, линия Лизы): раздельная оценка канала и сообщения (сценарий 1.2).

Ж. «Бланк без лишней графы» (45 минут, проектная работа): разделить в бланке дежурного сообщения наблюдение и оценку, не добавляя полей.

Материалы, ключи и показатели всех трёх заданий — в пособии для инструктора. Точность оценок в них измеряется баллом Брайера: вероятность как доля (70 % — это 0,7) минус исход (1 или 0), в квадрате, среднее по случаям; ноль — идеально, 0,25 — всегда «50 на 50». Счёт для нескольких версий и данные об обучении [7] — в пособии для инструктора, журнал прогнозов — в главе 14.

На тренировке подсказки допустимы. На аттестации их нет: оценивается перенос на незнакомый материал, а не память о названиях колонок.

9. Аттестация и обратная связь

Этот раздел можно пропустить, если вы читаете для себя.

Сумма 0–6 — учебная обратная связь, а не допуск к работе; валидированных порогов нет. На продвинутом уровне добавляются балл Брайера, доли попаданий и ложных тревог, число слов наводящего контекста в описании.

Критические ошибки фиксируются отдельно: толкование выдано за наблюдение в докладе руководителю; проверяющему сообщён первый вывод или ожидаемый ответ; вывод о намерениях человека сделан по одному внешнему виду; запись сделана задним числом и выдана за первичную. Аттестация проводится на новом материале; два оценщика работают независимо, их согласие проверяется.

Слабый ответ на вопрос «Как написать первую строку доклада о кадре 03:12?»: «Зафиксирован неустановленный, осуществлявший осмотр ограждения с использованием технического устройства». Почему слабый: толкование подано как наблюдение; источник слова «устройство» скрыт; нет оценки и условия пересмотра.

Сильный ответ: доклад Ксении в 03:50 (раздел 6.1). Почему сильный: факт отделён от оценки; вероятность и уверенность названы раздельно; назван источник оценки; есть альтернативы и условие пересмотра.

10. Выход в жизнь

Карточка на рабочий стол

В Протокол проверки убеждений. Это первая строка вашего Протокола — «Исходный материал и кто описал его первым». Для вашего текущего важного вывода запишите, на каком исходном материале он стоит, кто и как описал этот материал первым и было ли у описавшего ожидание.

Главное за минуту

• Ожидание приходит раньше материала и ощущается не как догадка, а как зрение.

• Колонка «Вижу» — тоже выводы, только нижнего уровня; поэтому у каждого признака стоит уверенность.

• Записать ожидание полезно, но мало: себя мы видим хуже, чем других. Главная защита — порядок: материал раньше мнений, мнения — в известной очерёдности.

• Проверка, при которой проверяющий знает первый вывод, — не проверка: так в деле Мэйфилда ошибочную идентификацию подтвердили несколько экспертов.

• Доклад обязан содержать оценку: факт отдельно, вероятность отдельно, уверенность отдельно, и условие пересмотра.

Заключение главы. Мы привыкли проверять выводы. Эта глава предлагает начинать раньше — с проверки того, что мы видим. Не потому, что глазам нельзя верить, а потому, что глаза никогда не работают одни: вместе с ними смотрит всё, что мы прочитали, услышали и решили заранее. Профессионализм не в том, чтобы смотреть без ожиданий. Он в том, чтобы знать, какие ожидания смотрели вместе с вами. В следующей главе ожидание получит имя и дату: им станет первая версия.

Глава 2. Первая версия — самая дорогая

Почему ранняя догадка управляет расследованием и как отложить закрытие, не потеряв скорости

Закон главы. Первую версию записывают, а не принимают.

Проверка «КОМПАС»: подготовка к К. Строка Протокола: первая версия и альтернативы.

Пролог. Звонок в 06:25

В 06:10 на промышленном объекте остановилась насосная станция, которая подаёт воду в производственный цех. Три насоса отключились один за другим, цех встал. В 06:25 вам, следователю, звонит начальник цеха: «Опять ночная смена что-то накрутила. Я давно говорил, что там бардак».

К полудню директор ждёт предварительную причину.

Решите, прежде чем читать дальше. Ответьте письменно на два вопроса. Первый: что вы напишете в первой строке предварительного доклада, если вам придётся писать её прямо сейчас? Второй: с чего вы начнёте, когда приедете на объект, — с кем поговорите первым и какие данные запросите первыми?

Теперь посмотрите на ответы вместе. Если в первой строке есть «действия смены» — пусть даже «предварительно», — вероятнее всего, и начнёте вы со смены. И почти наверняка что-нибудь найдёте: за любую ночь любая смена делает что-то не по инструкции. Находка подтвердит версию, версия укажет, где искать дальше. Через несколько часов у вас будет стройная картина из настоящих фактов. Только выбрала эти факты не авария, а звонок в 06:25.

Открытие пролога. Первая версия не только объясняет факты — она выбирает, какие факты будут собраны. Поэтому её цена растёт с каждым часом: чем дольше вы работаете под неё, тем больше у вас «доказательств» и тем дороже от неё отказаться.

В разделе 6 этот день проживёт инженер-следователь Дмитрий Гаранин. Сравните его маршрут со своим.

1. Результат главы и границы применимости

После главы читатель сможет:

Замечать момент, когда рабочая версия начала управлять сбором данных, и отличать её от вывода.

Вести «Журнал версий»: записывать альтернативы, довод против первой версии и то, что их различит, до сбора данных под первую.

Давать версиям вероятности и пересчитывать их по весу каждого нового факта.

Заранее назначать точки пересмотра, условие закрытия и того, кто будет пересматривать.

Писать предварительный доклад, который даёт ясность и не замораживает расследование.

Границы. Глава не учит отраслевой методике расследования происшествий и не заменяет отраслевых порядков. Когда версия касается конкретного человека, действует правило всей книги: рабочая версия — не обвинение, аналитическая оценка — не доказательство вины, а решения о людях принимают уполномоченные лица в установленном законом порядке.

Из главы 1 пригодится «Протокол первого взгляда»: ожидание, о котором шла речь там, — это и есть первая версия в зародыше.

2. Что показывает наука

2.1. Якорь: число, которое ничего не значит, но всё решает

В классическом опыте Амоса Тверски и Даниэля Канемана испытуемым на глазах крутили колесо фортуны с числами от 0 до 100, а затем просили оценить, например, долю африканских стран в ООН [81, с. 1128]. Число было заведомо случайным — и всё равно влияло на ответ: группа, которой выпало 10, называла в среднем (медиана) 25 %, группа, которой выпало 65, — 45 %. Тверски и Канеман описали это так: люди часто начинают с исходного значения и корректируют его, но корректируют недостаточно, поэтому разные исходные точки дают разные оценки, смещённые к исходным значениям.

Ограничение. Опыт проведён на студентах и с общими вопросами. Вопрос, защищает ли от якоря профессиональный опыт, этот опыт не решает.

2.2. Судьи, которые бросали кости

На этот вопрос ответили Бирте Энглих, Томас Муссвайлер и Фриц Штрак [21]. Они давали опытным немецким судьям и прокурорам материалы уголовных дел и подсказывали якорь — требование обвинения о сроке наказания. Во втором исследовании 37 судьям и двум прокурорам (в среднем 13 лет стажа) прямо сообщали, что требование выбрано случайно. При требовании в 3 месяца они в среднем назначали 4 месяца, при требовании в 9 месяцев — 6 месяцев (с. 191–192). В третьем исследовании 52 молодых юриста сами бросали кости, подстроенные так, что выпадало 3 или 9, и это число считалось требованием обвинения. Срок составил в среднем 5,3 и 7,8 месяца (с. 193–194). Эффект не зависел от опыта и стажа участников (с. 192, 196).

Ограничения. Выборки невелики, дела учебные, приговоры гипотетические. Дальше — интерпретация автора: если заведомо случайное требование сдвигает решение опытного судьи, версия уважаемого коллеги, у которой есть основания, вряд ли действует слабее.

2.3. Захватить, заморозить и искать подтверждения

Арье Кругланский и Донна Уэбстер описали «потребность в когнитивной закрытости» — желание получить определённый ответ и избавиться от неясности [52]. По их теории, она действует в две стороны: сначала торопит прийти к ответу («захват»), потом удерживает его как можно дольше («заморозка»). Она бывает чертой, но бывает и временным состоянием — например, под давлением сроков. Хойер называет одну из самых частых аналитических стратегий satisficing — «выбор первого годного»: берут первую достаточно хорошую гипотезу, вместо того чтобы перечислить все и выбрать лучшую [35, с. 31]. Раймонд Никерсон в обзоре исследований эффекта подтверждения показывает, к чему это ведёт: люди склонны искать и толковать данные в пользу уже принятой гипотезы, обычно не замечая этого, — в лабораторных задачах, в медицине, суде и науке [66].

Ограничение. Это теоретический и повествовательный обзоры: они объясняют, почему первую версию охотно «захватывают» и неохотно отпускают, но силы эффекта в расследованиях не измеряют.

2.4. Что помогает: «подумай о противоположном»

Если первая версия так прочна, есть ли против неё приём, который работает? Чарльз Лорд, Марк Леппер и Элизабет Престон проверили это на студентах — сторонниках и противниках смертной казни, которые оценивали исследования о её сдерживающем эффекте [53]. Одних просили оценивать как обычно, других — быть беспристрастными, третьих — спросить себя, какую оценку они дали бы, если бы те же данные говорили в противоположную сторону. Призыв к беспристрастности поляризацию не уменьшил. А приём «подумай о противоположном» почти полностью убрал поляризацию взглядов (эксперимент 1, с. 1233–1236). Авторы заключают, что самой действенной формой исправления суждений может быть изменение стратегии, а не мотивации (с. 1241).

Обратите внимание: испытуемые не придумывали новых версий, а переоценивали то же самое свидетельство — это другая операция, чем «рассмотреть альтернативу». В практике расследования ей соответствует вопрос к каждому факту, который «подтверждает» версию: «Если бы этот факт указывал в обратную сторону, счёл бы я его таким же весомым?»

Ограничения. Студенческие выборки и лабораторные задачи; во втором эксперименте эффект оказался слабее. Сами авторы предупреждают о возможной обратной крайности — переоценке опровергающих данных (с. 1239). Вывод для практики скромный: призыв «будь объективен» почти бесполезен, работают конкретные операции.

3. Авторский инструмент: «Журнал версий» и отложенное закрытие

Определение. «Журнал версий» — авторский учебный инструмент, который не даёт первой версии незаметно превратиться в вывод. Он не запрещает версию, а держит её в статусе рабочей, пока она не выиграла честное сравнение с другими по заранее записанным условиям.

На чём основан. Анализ конкурирующих гипотез Ричардса Хойера: версии сравнивают по тому, что их различает [35, гл. 8]. Близкий профессиональный принцип следственной практики — проверять все реально возможные версии, а не одну. Руководство Европейской сети судебно-экспертных учреждений (ENFSI) требует оценивать результаты экспертизы как минимум относительно пары гипотез и до исследования записывать, что ожидается при каждой, — это предварительная оценка дела [22]. Авторское в журнале — правило «вторая версия и довод против — до сбора данных», снимок состояния до версий, точки пересмотра, признаки заморозки и связка с предварительным докладом.

Чем журнал не является. Обучение анализу конкурирующих гипотез само по себе точности не повысило [59] (подробнее — гл. 6), поэтому в журнале — числа и заранее назначенные точки пересмотра.

Главное правило: вторая версия и довод против — до сбора данных. Прежде чем собирать данные под версию № 1, запишите хотя бы одну альтернативу (лучше две), факт, который их различит, и самый сильный довод против версии № 1. Сбор данных начинается с различающего факта, а не с того, что подтверждает любимую версию.

Рис. 2.1. Первая версия входит в журнал как рабочая, с вероятностью. Дальше она проходит тот же маршрут, что и остальные, а в заранее назначенной точке пересмотра должна заново выиграть сравнение — или снимается.

Журнал версий

Вероятности всех строк, включая «иное», в сумме дают 100 %. Строка «иное» обязательна: она напоминает, что список версий может быть неполным.

Шесть шагов отложенного закрытия.

Строка Протокола. Первая версия и альтернативы: какая версия появилась первой и когда; альтернативы; факт, который их различил.

Принцип из строительства. Работы, которые закроют следующие работы, освидетельствуют до того, как их закроют: потом проверить их уже нельзя. Положение о строительном контроле прямо говорит: «До завершения процедуры освидетельствования скрытых работ выполнение последующих работ запрещается» [90, п. 10]. Снимок состояния — тот же принцип в расследовании: то, что исчезнет при перезапуске, фиксируют до перезапуска.

Признаки заморозки версии.

• Каждый новый факт «тоже объясняется» первой версией, и ни один не объясняется ею лучше, чем другими.

• Противоречащий факт объявлен ошибкой измерения, неточностью свидетеля или «частным моментом».

• Неясное свидетельство читается как «не опровергающее»; вы перестали искать и начали оформлять.

• Вы не можете назвать факт, который заставил бы вас отказаться от версии.

• Разговор о другой версии вызывает раздражение, а не интерес.

Предварительный доклад без заморозки. Руководителю нужна ясность, но она бывает двух видов: ясность ответа и ясность состояния. Если ответа ещё нет, дают точное состояние: что установлено, какие версии рассматриваются и насколько каждая вероятна, что их различит и когда.

Отложенное закрытие — не медлительность. Следователь, который назвал причину в 06:30, а потом три дня её защищал, работал медленнее того, кто в 06:30 назвал три версии и к полудню снял две из них.

3.1. Для профессионала: сколько стоит факт

«Различающий факт» — удобное слово, но факты различают версии не «да или нет», а сильнее или слабее. Хойер называл это диагностичностью [35, гл. 8]. Её можно выразить числом.

Вес факта — это отношение правдоподобия: во сколько раз вероятнее увидеть этот факт, если верна версия А, чем если верна версия Б. Вес 1 означает, что факт ничего не различает, как бы убедительно он ни выглядел. Вес 10 — что при версии А такой факт встречается вдесятеро чаще.

Пересчёт уверенности удобнее делать в шансах: шансы А против Б после факта равны шансам до факта, умноженным на вес факта. Это теорема Байеса в форме, которую можно посчитать в уме. Пример в числах — в рамке в конце раздела 6.2; прочитайте сначала саму историю.

Числа условные: их назначает человек. В этом и польза — допущение «отводит глаза, значит, виноват» становится видимым и спорным. Учить лучше через естественные частоты: «из ста похожих случаев…». Мэндел показал, что короткое обучение деревьям частот помогло стажёрам-аналитикам: доля тех, чьи вероятности во всех восьми задачах были согласованы (в сумме 100 %), выросла с 54 до 83 % [56]. В исследовании 50 аналитиков [59] поправка согласованности, устраняющая противоречия в вероятностях каждого, снизила среднюю ошибку на 35 %, а вместе с усреднением независимых оценок — на 61 %; отдельного числа для усреднения неисправленных оценок в статье нет.

Как выразить вес словами и пересчитывать несколько версий сразу, разбирают главы 9 и 11. Оговорка уже здесь: вес говорит о силе факта, а не о вероятности версии — сильный факт может оставить очень маловероятную версию маловероятной.

3.2. Для профессионала: точки пересмотра

Пересмотр «до появления противоречащих данных» почти никогда не происходит: такие данные приходят неясными, и их легко перетолковать (раздел 5). Поэтому точки пересмотра назначают заранее.

Где их ставить? Ивар Фасинг и Карл Аск опросили 35 опытных следователей по делам об убийствах из Норвегии и Великобритании [23]. Переломными точками оказались решения назвать человека подозреваемым, задержать или предъявить обвинение и выбор главных линий расследования: после них работа смещается от поиска к подтверждению.

Кто пересматривает? Не тот, кто принял решение. Барри Стоу показал на 240 студентах: после неудачи больше всего ресурсов продолжали вкладывать в решение те, кто лично отвечал за его выбор [78]. Отчёт по делу Мэйфилда советует новое исследование экспертом, не связавшим себя выводом [83, с. 172], а аналитические стандарты требуют объяснять, изменился ли вывод и почему [67].

Переосмысление. Точка пересмотра — это договор с самим собой, заключённый до того, как появится желание его нарушить.

4. Психологический барьер: почему трудно отказаться от версии

Первый барьер — облегчение и публичность. Неопределённость неприятна, а версия её снимает. Произнесённая вслух на совещании, она становится позицией, и отказ ощущается как поражение, хотя в расследовании это просто шаг.

Второй барьер — инерция документов: «предварительная причина» из утренней справки к вечеру переписывается в план мероприятий, в доклад наверх, в приказ. Через сутки отказаться от неё — значит отозвать документы и объяснять, почему.

Третий барьер — групповой. Если на совещании первым звучит мнение старшего, остальные невольно начинают от него, как от якоря, а сомневающиеся молчат. Простое средство — «сначала своё число»: каждый участник до обсуждения записывает свои вероятности версий, мнение руководителя звучит последним, а итоговая оценка начинается с усреднения независимых чисел. Данные об усреднении — в разделе 3.1. Против молчания Гэри Клейн предложил «премортем»: перед окончательным решением участники представляют, что вывод оказался неверным, и каждый письменно, в одиночку, объясняет почему [49]. Убедительных измерений его эффекта мало; это профессиональный приём, а не доказанное средство.

Поэтому отложенное закрытие встраивают в форму документа, а не оставляют на силу воли: графа «рассматриваемые версии» в предварительном докладе, графа «условие закрытия» в плане, запрет переносить «предварительную причину» в приказ без отметки о закрытии версии.

5. Реальный случай: отпечаток № 17, продолжение

В главе 1 мы разобрали, как ожидание вошло в «наблюдение» экспертов в деле Мэйфилда. Отчёт Управления генерального инспектора Министерства юстиции США [83] описывает и второй этап ошибки, который относится к теме этой главы: что произошло, когда появилось противоречащее свидетельство.

Свидетельство, которое не изменило вывод. 13 апреля 2004 года испанская полиция сообщила, что её собственное сравнение отпечатка № 17 с отпечатками Мэйфилда дало результат «отрицательный» (с. 51). Задним числом кажется, что это было ясное опровержение. В тот момент оно таким не выглядело — и в этом самый ценный для аналитика урок дела.

Во-первых, оно пришло на чужом профессиональном языке. ФБР различало «исключение» (след оставил не этот человек) и «неопределённый результат», а испанская полиция называла «отрицательным» любое сравнение без идентификации (с. 53, сноска 31); представитель ФБР в Мадриде, встретившись с испанцами 13 апреля, в записке от 14 апреля назвал их вывод «неопределённым» (с. 51). Во-вторых, оно было предварительным: сами испанцы называли его «НЕ ОКОНЧАТЕЛЬНЫМ» (с. 52–53). В-третьих, оно дошло через посредника: после встречи 21 апреля представитель ФБР написал, что испанцы «казались удовлетворёнными» идентификацией, хотя до согласия они не дошли (с. 55–56).

Лаборатория осталась при своей идентификации: 15 апреля в переписке ФБР записано, что она «абсолютно уверена» в совпадении (с. 52). Мэйфилда задержали 6 мая (с. 67) — уже после испанского заключения. Только после 19 мая, когда испанская полиция назвала другого владельца отпечатка, ФБР отозвало идентификацию; 20 мая Мэйфилд был освобождён, 24 мая дело прекращено (с. 21, 81).

Что отчёт говорит о причинах. Генеральный инспектор не нашёл свидетельств того, что лаборатория после испанского заключения должным образом изучила (adequately explored) возможность собственной ошибки, и связал это с чрезмерной уверенностью в мастерстве своих экспертов. Лучшей реакцией было бы поручить новое исследование эксперту, который ранее не связал себя этим выводом (с. 172). Роль религиозной принадлежности Мэйфилда отчёт разбирает отдельно и не считает её ни единственной, ни основной причиной непересмотра (с. 178–179).

Механизм. К апрелю ошибочная версия была подтверждена несколькими экспертами, доложена и стала основанием для действий. Противоречащее свидетельство пришло неполным, предварительным, на чужом языке и через посредника — как приходят почти всегда — и его прочитали в пользу принятой версии. Это и есть «заморозка»: версия держится не потому, что объясняет данные лучше, а потому, что от неё уже слишком многое зависит.

Отсюда правило «Журнала версий»: точку пересмотра описывают заранее и так, чтобы её нельзя было «перетолковать». Не «если появятся противоречащие данные», а «если независимая лаборатория не подтвердит идентификацию — повторное исследование новым экспертом, не знающим первого вывода». Это «чистый второй взгляд» из главы 1, применённый к пересмотру.

Ограничения те же, что в гл. 1, § 5.

6. Две истории: насосная станция и пятнадцать тысяч

6.1. «Насосная станция № 2»

Паспорт кейса

06:25. Готовая версия

Савельев говорил уверенно, и основания у него были: месяц назад ночная смена уже ошиблась при переключении. Опасно было именно это: версия приходила от толкового и честного инженера, которому было за что доверять.

07:40. Привычный маршрут

По дороге Дмитрий набросал план: первым — опрос ночной смены, вторым — журнал их действий. Так он работал много лет. Он поймал себя на том, что план построен вокруг одной версии. Если смена ни при чём, три часа уйдут впустую. Хуже того: вопрос «что вы делали ночью?» сразу сообщит смене, что их подозревают, и их рассказ станет менее точным.

Он переписал план.

08:00. Снимок состояния

На станции Дмитрий первым делом попросил ничего не перезапускать, пока не выгружены журналы контроллера, записи давления и уровня, журналы смены и ремонтных работ и не сфотографировано положение арматуры. Оператор уже собирался сбросить аварию: цех ждал воду. После сброса, как выяснилось, часть записей контроллера была бы перезаписана.

08:20. Журнал версий

Сорок процентов для первой версии были больше, чем без звонка Савельева, и Дмитрий это записал: так якорь виден.

Условие закрытия Дмитрий записал сразу: «Причина — версия, которая объясняет последовательность и коды отключения, подтверждена записью, не зависящей от слов персонала, и набирает не меньше 90 %». Точку пересмотра — тоже: «Перед любым выводом о действиях персонала — повторный просмотр всех журналов вторым следователем, который не слышал звонка в 06:25».

09:30. Различающий факт — и чего он не различает

Сначала пришлось разобраться со временем: часы контроллера отставали от диспетчерских на семь минут (06:03 против 06:10). Дмитрий привязал все записи к аварийному сигналу, видному в обоих журналах, и только потом стал сравнивать последовательности.

Журнал контроллера ответил на часть вопросов быстрее любого опроса. В последний час перед отключением команд с пульта не было. Насосы отключились с интервалом в несколько секунд, все три — по защите от «сухого хода»; перед этим давление на входе падало около сорока минут, уровень в резервуаре — около двух часов. Напряжение было в норме. Версия 2 снималась.

Версия 1 в виде «ошибочное переключение с пульта» — тоже. Но Дмитрий остановил себя на слове «смена ничего не делала»: журнал контроллера не видит ручных действий на месте — задвижек, переключений по месту. Отсутствие команд с пульта различает «пульт» и «не пульт», но не «смена» и «не смена». Ручные действия предстояло проверить по положению арматуры, журналу смены и опросу — теперь уже не с вопроса «что вы натворили», а с вопроса «что вы видели и делали между 03:30 и 06:10».

Дмитрий обновил журнал: «переключение с пульта» — снята; электрика — снята; ручные действия на месте — 15 %; условия на входе — 80 %; иное — 5 %.

10:15. Версия, которая не хочет уходить

Савельев выслушал и сказал: «Значит, проспали падение уровня. Это тоже смена». В этом была доля правды, и версия держалась. Дмитрий проверил: уровень резервуара на пульт смены не выводится — только на местный прибор в двухстах метрах от пульта. Оператор видел уровень только во время обходов: последний по графику был в 03:30, когда уровень ещё был в норме, а следующий — в 06:30, уже после отключения.

11:00. Задвижка

Почему падал уровень? В журнале ремонтных работ нашлась запись: ночью подрядчик менял участок трубопровода на линии подачи в резервуар; около 04:00 он закрыл задвижку, к 05:30 работу закончил. Отметки об открытии задвижки не было. В журнале смены — ни слова о ремонте: смену о нём не предупредили. Фотография, сделанная в 08:00, показала задвижку в закрытом положении.

12:00. Предварительный доклад

Дмитрий написал директору: «Непосредственная причина: отключение насосов защитой от сухого хода из-за снижения уровня в резервуаре. Причина снижения уровня — весьма вероятно (оцениваю в 85–90 %) задвижка на линии подачи, оставшаяся закрытой после ночных ремонтных работ подрядчика; подтверждение — по наряду подрядчика к 15:00. Данных о действиях ночной смены, вызвавших отключение, нет; ручные действия на месте проверяются по положению арматуры и журналу смены. Способствующие условия: уровень резервуара не выводится на пульт смены; смена не была уведомлена о ремонте. Подлежит проверке: порядок допуска и завершения ремонтных работ».

18:00. Развязка без победителя

К вечеру подтвердилось: задвижку закрыл подрядчик, наряд закрыли без проверки положения арматуры. Журнал обходов ночная смена заполнила с ошибками, но причиной это не было: между началом падения уровня и отключением обхода по графику не было, а сигнализации на пульте не существовало. Этот вывод, как и было записано в 08:20, перепроверил второй следователь. Савельев остался при своём мнении о смене; Дмитрий не спорил — заключение опиралось не на мнение о людях, а на последовательность записей.

Альтернативный финал. Начни Дмитрий с опроса смены, он, вероятно, услышал бы: «Может, я не досмотрел». Фраза легла бы в заключение как признание, причиной назвали бы «нарушение порядка обходов», задвижка и порядок закрытия нарядов остались бы вне расследования. И станция остановилась бы снова.

Развилка: если бы Савельев был прав. Допустим, в журнале контроллера перед отключением стоит команда с пульта, за ней — каскадное отключение двух других насосов. Версия 1 побеждает, а Дмитрий потерял на журнал версий около часа. Зато вывод опирается не на репутацию смены и не на звонок в 06:25, а на запись, которую нельзя оспорить: верная первая версия, прошедшая честное сравнение, становится прочнее.

6.2. «Пятнадцать тысяч»

Паспорт кейса

Суббота, 11:00. Версия, у которой есть лицо

Галина Сергеевна позвонила Лизе, взволнованная: «Конверт пустой. Никита на прошлой неделе просил денег на ноутбук, я отказала. Больше некому». Картинка сложилась сама: просил — отказали — пропало. Приехав к обеду, Лиза поймала себя на том, что смотрит на брата иначе. Никита отвёл глаза, когда она вошла. Быстро ушёл к себе. На столе лежали новые наушники.

Суббота, 13:30. Что различает версии

Лиза сделала то, что делала на работе с чужими видео: разделила увиденное и подуманное. Отвёл глаза. Ушёл к себе. Новые наушники. Потом спросила себя, как приучил главный редактор: «Если Никита не брал денег, этого всего не было бы?» Было бы. Он отводит глаза всякий раз, когда в доме напряжение, уходит к себе почти всегда, а наушники могли быть куплены на стипендию. Все три «улики» почти одинаково подходили к обеим версиям и почти ничего не различали.

По работе Лиза знала и другое: ложь по поведению распознают в среднем с точностью 54 %, немногим лучше монеты [3].

Суббота, 14:00. Журнал версий на кухонном столе

«Когда ты последний раз видела деньги в конверте?» — спросила Лиза. Галина Сергеевна задумалась. Она помнила, как в понедельник сняла деньги в банкомате, чтобы положить в конверт. А видела ли их там потом — не помнила.

Суббота, 15:20. Различающий факт

В банковском приложении нашлось снятие 15 000 в понедельник, других снятий не было. Лиза предложила посмотреть, что мать оплачивала на неделе. В среду Галина Сергеевна продлевала страховку на машину и платила наличными: в офисе страховой не работал терминал. Квитанция лежала в сумке: 13 900 рублей. Оставшиеся 1 100, вспомнила мать, ушли на бензин и продукты; чеков нет. Картина изменилась: деньги, снятые для конверта, почти целиком ушли на страховку прямо из кошелька и, скорее всего, до конверта не дошли. «Скорее всего» здесь — честное слово: остаток подтверждался только памятью, а память сегодня уже один раз подвела.

Суббота, 16:00. Разговор, которого не было

Разговор с Никитой, который мать собиралась начать словами «мы знаем, что это ты», не состоялся. За ужином Галина Сергеевна рассказала историю со страховкой и смеялась над собой. Никита так и не узнал, что был подозреваемым. Самая дорогая часть первой версии, подумала Лиза, — слова, которые успели бы сказать человеку до проверки.

Развилка. Допустим, квитанции не нашлось бы. Стала бы версия 1 доказанной? Нет: остальные версии остались бы непроверенными, а «улики» по-прежнему ничего бы не различали. Честный ответ — «мы не знаем, что произошло с деньгами», и на нём можно построить следующий шаг: договориться, где и как в семье хранятся общие деньги.

Та же история в числах. Посмотрим на «улики» глазами матери Лизы. Версия А — «взял Никита», версия Б — «мама сама потратила деньги, в том числе до того, как положила их в конверт» (версии 2 и 4 журнала вместе). Вес каждого факта — во сколько раз вероятнее увидеть его при А, чем при Б (раздел 3.1).

Три «улики» против Никиты вместе подняли шансы с 3 : 1 до 5,4 : 1 — меньше чем вдвое. Одна квитанция уменьшила их в двенадцать раз. Слабые улики копятся, но медленно; один факт с большим весом перевешивает их все.

Дебрифинг для двух историй

• Уровень 1. Факты. Какие данные в каждой истории собраны до появления версий, а какие — под версию?

• Уровень 2. Различающий факт. Какой факт развёл версии и почему его не стали бы искать, работая только под первую?

• Уровень 3. Доля правды. Обе первые версии опирались на реальный опыт. Как отличить законную рабочую версию от заморозки?

• Уровень 4. Цена и система. Чего стоила бы ложная причина «смена» и ложное обвинение брата? Что изменить в форме доклада и в порядке закрытия нарядов, чтобы история 6.1 не зависела от привычек следователя?

7. Развилки и контрпримеры: когда отложенное закрытие вредит

Случай 1. Бесконечное расследование. Следователь держит все версии открытыми неделями: «нельзя исключать». Предприятие не может принять меры, потому что причины нет. Исправление: точка закрытия записывается заранее и имеет срок. Если к сроку условие не выполнено, докладывается состояние: какие версии остались и что нужно для их различения.

Случай 2. Версии для отчёта. В журнале три версии, но проверяется только первая; остальные вписаны, потому что так требует форма. Исправление: у каждой версии должен быть различающий факт и отметка о его проверке. Версия без проверки — не версия, а украшение.

Случай 3. Первая версия была верной. Иногда начальник цеха прав. Отложенное закрытие не враждебно первой версии: оно требует, чтобы она победила в честном сравнении, а не по праву первенства, и верная версия от этого только выигрывает (раздел 6.1, развилка).

Случай 4. Когда нужно действовать сейчас. Защитные меры нельзя откладывать до установления причины. Если версия указывает на опасность, меры принимаются сразу — по самой опасной правдоподобной версии, а не по самой вероятной. Отложенное закрытие касается вывода о причине, а не действий по защите: можно принять меры по худшей версии и продолжать выяснять, какая верна.

8. Практикум

Базовый уровень

А. Домашний журнал версий. Вспомните недавнюю бытовую загадку: пропавшая вещь, сломанный прибор, странное поведение близкого человека. Запишите версию, которая пришла первой, ещё две и лучший довод против первой. Для каждой пары назовите факт, который их различит. Был ли этот факт проверен тогда?

Б. Первое число. В следующих переговорах о цене (покупка, аренда, ремонт) запишите первую названную цифру и итоговую. Спросите себя: если бы первая цифра была вдвое ниже, к какому итогу вы бы пришли?

Профессиональный уровень

В. Предварительный доклад. По материалам истории 6.1 на 09:00 напишите доклад директору на пять строк: ясность состояния, версии с вероятностями, без причины. Время — 15 минут.

Г. Снимок состояния. Для типового происшествия вашей сферы перечислите, что нужно сохранить до опросов и версий: как быстро это исчезает, кто вправе сохранить, где хранить.

Продвинутый уровень

Д. «Слабые кубы» (120 минут, группы): траектории вероятностей по пяти порциям данных против эталона — в пособии для инструктора (сценарий 2.1).

Е. «Лишние кубометры» (180 минут): точки пересмотра под давлением руководителя — в пособии для инструктора (сценарий 2.2).

Ж. «Слепой дублёр» (60 минут, пары): маршрут с подсказанной версией и без неё — в пособии для инструктора (короткие продвинутые задания).

9. Аттестация и обратная связь

Этот раздел можно пропустить, если вы читаете для себя.

Шкала 0–6 — как в главе 1. Критические ошибки: версия о человеке подана как установленный факт; противоречащие данные исключены без проверки; исчезающие данные утрачены; пересмотр поручен автору прежнего вывода.

Слабый ответ на вопрос «Что написать директору в 12:00?»: «Причина остановки — нарушение порядка обходов ночной сменой; виновные устанавливаются». Почему слабый: причина названа по версии, а не по записям; сведения о людях поданы как вывод; способствующие условия отсутствуют. Сильный ответ — доклад Дмитрия в 12:00 (раздел 6.1).

10. Выход в жизнь

Карточка на рабочий стол

В Протокол проверки убеждений. Это вторая строка вашего Протокола — «Первая версия и альтернативы». Для вашего текущего важного вывода запишите: какая версия появилась первой и когда; какие альтернативы были рассмотрены; какой факт их различил. Если такого факта нет, ваш вывод пока — рабочая версия, а не вывод.

Главное за минуту

• Первая версия выбирает, какие факты будут собраны; её цена растёт с каждым часом.

• До сбора данных — вторая версия, различающий факт и лучший довод против первой.

• Вес факта — во сколько раз он вероятнее при одной версии, чем при другой. Слабые улики копятся медленно; один сильный факт перевешивает их все.

• Пересмотр «когда появятся противоречащие данные» почти никогда не происходит. Точки пересмотра назначают заранее, а пересматривает человек, не связанный прежним выводом.

• Снимок состояния — до версий и опросов: как скрытые работы освидетельствуют до того, как их закроют.

Заключение главы. Первая версия неизбежна, и в ней часто есть доля правды. Опасна не она сама, а её право первенства. Дисциплина мышления требует не отказа от первой догадки, а её победы в честном соревновании с другими — по условиям, записанным до его начала.

Глава 3. Рассказ сильнее данных

Почему связная история кажется доказанной и как найти в ней звенья, которых никто не видел

Закон главы. Чем стройнее история, тем больше в ней додумано.

Проверка «КОМПАС»: подготовка к К. Строка Протокола: связь фактов в рассказе — что видено, что додумано.

Пролог. Утро после снегопада

11 декабря, 06:40. Вам, следователю причин аварий, звонит директор логистического комплекса. Ночью обрушилась часть кровли одного из складов. Людей внутри не было, пострадавших нет, под обломками стеллажи и погрузчик. Снег шёл двое суток подряд. «Начальник склада говорит, что все и так всё знают: снег не чистили, кровля не выдержала, — передаёт директор. — Мне к вечеру нужна справка».

Остановитесь и запишите одной фразой, что, по-вашему, произошло. Рядом поставьте число: насколько вероятно, что эта фраза окажется главной причиной в итоговом заключении.

Теперь посмотрите на свою фразу. Скорее всего, она похожа на фразу начальника склада — и звучит убедительно. В ней два факта: снег шёл двое суток, кровлю не чистили. Оба, допустим, правда. Но между ними и обрушением стоят слова «значит» и «поэтому». Их никто не видел. Никто ещё не взвешивал снег на кровле и не сравнивал его с тем, на что кровля рассчитана. Никто не спросил, почему рухнул один участок, а не вся крыша. Рассказ связал два верных факта звеньями, которые додумал слушатель.

Открытие пролога. Связный рассказ убеждает не фактами, а связками между ними. Связки кажутся увиденными, потому что без них рассказ разваливается, а целое запоминается легче частей.

В разделе 2 это утро проживёт инженер-следователь Дмитрий Гаранин. Сравните его записку со своей фразой.

1. Результат главы и границы применимости

После главы читатель сможет:

Разбирать готовый рассказ на факты и связки и отмечать у каждого звена, видено оно, сказано кем-то или додумано.

Оценивать вероятность всего рассказа как произведение его звеньев и не путать правдоподобие истории с её вероятностью.

Находить факты, которые рассказ не объясняет или молча пропускает.

Отделять то, что знали люди в момент решения, от того, что видно задним числом.

Границы. Глава не учит расчёту конструкций и не заменяет установленного порядка расследования аварий. Числа о снеговой нагрузке в истории — учебная модель, а не нормативные требования. Выводы о персонале и ответственности делают руководство и уполномоченные лица в установленном порядке.

Из главы 2 пригодится понятие веса факта: факт, который одинаково хорошо подходит к разным объяснениям, ничего между ними не различает. Здесь та же мысль применяется к связкам рассказа.

2. Дело: «Кровля склада № 4»

Технические подробности в деле упрощены и не являются руководством по обследованию конструкций.

Паспорт кейса

03:30. Находка

Обрушение ночью заметил охранник комплекса: он увидел провал в кровле и вызвал дежурного. Что он слышал до этого, Дмитрий подробно разберёт позже (гл. 9). Кровля провалилась в одном шаге ферм — между осями 6 и 7, у парапета. Рядом на кровле стоят две вентиляционные установки арендатора — по одной в шагах 5–6 и 6–7. Остальная кровля стоит. Снег шёл с утра 9 декабря до позднего вечера 10-го. Склад закрыли, зону обрушения оградили.

08:30. Рассказ, который знают все

Когда Дмитрий приехал, рассказ уже существовал: ещё ночью начальник склада Геннадий Лукин пересказал его директору по телефону. Теперь он изложил его у ворот за полминуты: «Снег в декабре не чистили ни разу. Бригаду перевели на другой объект ещё в конце ноября. Двое суток валило — вот кровля и не выдержала». Грузчики кивали. Инженер службы эксплуатации Вадим Котов молчал, но не спорил: журнал очистки кровли был у него, и последняя запись в нём стояла 27 ноября. По графику кровлю чистили после каждого сильного снегопада. В декабре очистку не проводили.

Директор комплекса Борис Кравец слушал с каменным лицом. Утром он передал этот рассказ Дмитрию, но не потому, что был с ним согласен: служба эксплуатации подчинялась ему, и рассказ бил по нему самому. Другого рассказа у него пока не было.

Дмитрий заметил, как быстро рассказ стал общим. Несколько часов назад его произнёс один человек. Теперь его повторяли все, и каждый следующий добавлял подробность: «там за установками вообще сугроб был», «я ещё в среду говорил». Подробности делали историю живой. Ни одна из них не была замером.

Ваша оценка В-3.1. Котов и Дмитрий измерят глубину и плотность снега на уцелевшей части кровли. Покажет ли замер, что средняя снеговая нагрузка на уцелевшей части выше проектной снеговой нагрузки на кровлю по паспорту объекта — 1,8 кПа? Запишите вероятность от 0 до 100 %.

09:15. Карта звеньев

В машине Дмитрий открыл блокнот и записал рассказ Лукина целиком — одной фразой, как его повторяли у ворот. Потом разрезал фразу на части. Каждый факт пошёл в отдельную строку. Каждое «значит», «поэтому», «вот и» — тоже в отдельную строку: это звенья, которые соединяют факты.

Строки 1, 2 и 6 были фактами. Строки 3, 4 и 5 — клеем. Рассказ держался на клее, хотя звучал как перечень фактов.

Ещё одну вещь карта показала сразу: шестая строка в рассказе никак не участвовала. Лукин говорил «кровля не выдержала», а не выдержал один шаг ферм из многих. Если снега было много везде, почему остальная кровля стоит? Рассказ на этот вопрос не отвечал. Он его просто не задавал.

Дмитрий оценил каждое звено так, как оценил бы его честный скептик, допускающий, что предыдущие звенья верны. Что нечищеная кровля после двух суток снегопада несёт много снега — почти наверняка, 0,95. Что этого снега хватило, чтобы превысить проектную нагрузку, — 0,6: снегопад был сильным, но кровли рассчитывают с запасом. Что превышение и стало причиной, а не совпало с другой причиной, — 0,7. Четвёртое число — уже не звено рассказа, а вероятность наблюдённого факта, если рассказ верен: что при общей перегрузке рухнул бы именно этот шаг у парапета, а соседние устояли, — 0,5.

Три звена рассказа — одно «почти наверняка» и два «скорее да» — вместе дают 0,95 × 0,6 × 0,7 ≈ 0,40: уже скорее «нет». Вместе с фактом, который рассказ должен объяснить, — 0,95 × 0,6 × 0,7 × 0,5 ≈ 0,20. Это вероятность того, что рассказ верен и при этом объясняет обрушение одного шага: примерно один случай из пяти. Числа были грубыми, и Дмитрий это понимал. Но порядок величины от грубости не менялся: несколько «скорее да» подряд почти никогда не дают «почти наверняка».

Пауза: что показывает наука. Нэнси Пеннингтон и Рейд Хасти много лет изучали, как присяжные приходят к вердикту [69]. Их «модель истории» утверждает: человек строит из улик рассказ о том, что произошло, и выбирает вердикт, который лучше всего подходит к этому рассказу. Взвешивать улики по одной он не стремится. В работе 1992 года они проверили модель в трёх экспериментах. В первом меняли только одно — насколько легко из материалов дела построить связную историю. Это меняло вердикты и то, какой вес участники придавали доводам о достоверности свидетелей. При этом участники помнили улики одинаково хорошо во всех условиях. Значит, решение зависело не от того, что люди запомнили, а от того, как это сложилось в историю.

Чего вывести нельзя. Это лабораторные опыты с участниками в роли присяжных, а не наблюдение за реальными судами; чисел в главе нет (см. статус [69]). Работа не говорит, что рассказ всегда ведёт к ошибке, — только что связность истории сама по себе влияет на решение.

10:30. Замер

На кровлю у обрушенного шага и в зону мешка рядом с ним не выходил никто: до заключения о безопасности это было запрещено. Открытую часть кровли у осей 1–4, вдали от обрушения, Котов сначала осмотрел снизу, из склада: прогибов ферм и панелей там не было. Только после этого он и Дмитрий вышли туда по наряду-допуску на работы на высоте, со страховкой, и мерили глубину снега щупом по сетке точек, плотность — взвешиванием проб известного объёма. Нагрузка — это вес снега на квадратный метр: глубина, умноженная на плотность и на ускорение свободного падения.

На открытой части кровли снег лежал слоем около 40 сантиметров при плотности около 250 килограммов на кубометр. Это около 1,0 кПа — чуть больше половины проектной, 1,8 кПа. Средняя нагрузка на уцелевшей части оказалась ниже проектной. Сравнение было грубым: нормативное это значение или расчётное, с коэффициентом надёжности по нагрузке, Дмитрий ещё уточнит по проекту каркаса. Но разрыв между 1,0 и 1,8 достаточно велик, чтобы вывод о средней нагрузке от этого не зависел.

У парапета, с подветренной стороны вентиляционных установок, картина была другой: ветер намёл снеговой мешок вдоль обоих шагов с установками, 5–6 и 6–7. Туда не выходили: глубину Котов мерил щупом из корзины автовышки, поставленной снаружи у парапета, не нагружая кровлю. В уцелевшем шаге 5–6 мешок был глубиной до 1,3 метра; в шаге 6–7 после обрушения мерить было уже нечего. Пробу из мешка не брали, поэтому плотность Дмитрий принял ту же, около 250 килограммов на кубометр, и записал это как допущение учебной модели: в мешке снег обычно плотнее, так что нагрузка там, скорее всего, ещё выше. По замерам глубины — местно до 3,2 кПа, втрое больше средней по кровле. С проектными 1,8 кПа эту цифру напрямую сравнивать нельзя: что проект учитывает у парапета и за установками, станет ясно только из самого проекта, а его Дмитрий ещё не видел. Что такая нагрузка значит для фермы, предстояло считать. И ещё одну строку Дмитрий записал отдельно: мешок лежал вдоль обоих шагов, а рухнул один. Почему шаг 5–6 под тем же мешком устоял, замер не объяснял.

Исход В-3.1: нет — средняя нагрузка на уцелевшей части около 1,0 кПа при проектной 1,8 кПа.

Если вы поставили высокую вероятность, проверьте, на чём она держалась: на замере или на звене 4 рассказа Лукина.

15:30. Рассказ, который съедает новый факт

Дмитрий показал цифры Лукину и Кравецу. Лукин не смутился ни на секунду: «Ну так у парапета намело! Почистили бы — не намело бы. Всё равно снег».

Дмитрий записал эту фразу дословно. Она была интересна не тем, что неверна: в ней была доля правды. Если бы кровлю чистили, мешок, вероятно, был бы меньше. Интересно было другое. Рассказ только что встретил факт, который опровергал одно из его звеньев, — и не сломался. Он перестроился: «много снега везде» превратилось в «много снега в одном месте», а вывод остался прежним. Рассказ, который объясняет и «да», и «нет», перестаёт что-либо объяснять.

Почему мешок собрался именно за установками, рассказ не спрашивал.

Кравец, помолчав, сказал неожиданное: «А может, там проект кривой? Ферма-то не выдержала, а не снег». Дмитрий записал и это. Ещё один рассказ — с другим героем и другим виноватым. К нему он вернётся позже (гл. 7).

Справку к вечеру Дмитрий так и не написал. Он доложил Кравецу устно то, что было известно, и попросил срок до завтрашнего вечера: письменный вывод, сделанный до проекта и документов арендатора, пришлось бы потом отзывать. Кравец согласился — записка к 17:00 12 декабря.

Пауза: что показывает наука. Почему подробная история кажется вероятнее простой? Амос Тверски и Даниэль Канеман проверили это и на студентах, и на профессионалах [82]. Весной 1982 года 245 студентов Университета Британской Колумбии оценивали вероятность событий следующего года. Одним предлагали «массовое наводнение где-нибудь в Северной Америке, в котором утонут более 1000 человек». Другим — «землетрясение в Калифорнии, которое вызовет наводнение, в котором утонут более 1000 человек». Второе событие — частный случай первого и не может быть вероятнее его. Но его оценили выше: средние геометрические — 3,1 % против 2,2 % (с. 307). В июле того же года 115 участников Второго международного конгресса по прогнозированию, в основном профессиональные аналитики, сделали то же самое. Сценарий «вторжение России в Польшу и полный разрыв дипломатических отношений между США и Советским Союзом в 1983 году» получил 0,47 %, а один «полный разрыв отношений» — 0,14 % (с. 307–308). Авторы делают вывод прямо: подробный сценарий может казаться вероятнее, чем часть его событий, хотя каждая добавленная подробность может только снижать вероятность (с. 308).

Чего вывести нельзя. Это оценки гипотетических событий, а не расследование реальной аварии. Опыт не говорит, что подробности вредны: сценарии, по мнению тех же авторов, полезны, чтобы будить воображение и проверять, возможен ли исход (с. 308). Он говорит другое: правдоподобие истории растёт с подробностями, а её вероятность — падает.

Ваша оценка В-3.2. Будет ли в итоговом заключении по делу невыполнение графика очистки кровли названо непосредственной причиной обрушения — а не одним из способствующих условий? Запишите вероятность от 0 до 100 %. Исход будет раскрыт в главе 21.

12 декабря, 08:30. Каждому свой рассказ

Наутро, ещё до совещания у Кравеца (гл. 9), приехал представитель страховой компании. Он выслушал Лукина, сфотографировал журнал очистки с последней записью 27 ноября и сказал, что картина ему ясна. Для страховщика рассказ «не чистили» был удобен: он переводил аварию в нарушение эксплуатации. Главный инженер арендатора Сергей Тихонов рассказывал другую историю: «Установки стоят год, всё было нормально. Значит, дело не в них». Кравец к утру укрепился в своей: «Посмотрите проект фермы».

Три рассказа, и у каждого было то, чего нет у замера: герой, виноватый и мораль. И у каждого — заинтересованный рассказчик. Дмитрий не считал, что кто-то из них лжёт. Люди искренне видели ту историю, которая объясняла событие с их места. Но это означало, что рассказы надо проверять как свидетельства, а не принимать как объяснения.

Фраза Тихонова тоже легла в карту звеньев. «Установки стоят год, всё было нормально» — это факт и связка. Факт: год без обрушения. Связка: «значит, установки ни при чём». Но прошлая зима могла быть мягче, а мешок за установками — меньше. Год без аварии — слабое свидетельство того, что конструкция в порядке. Дмитрий записал вопрос, который пока никто не задал: когда и как ставили установки и проверял ли кто-нибудь, выдержит ли их кровля. Запрос документов арендатору ушёл в тот же день.

Ваша оценка В-3.3. Окажется ли, что при установке вентиляционного оборудования на кровлю склада привлекали проектировщика каркаса и выполняли пересчёт несущих конструкций? Запишите вероятность от 0 до 100 %. Исход будет раскрыт в главе 7.

12 декабря, 17:00. Предварительная записка

Записка Кравецу заняла полстраницы.

«1. Установлено. Обрушение части кровли в одном шаге ферм между осями 6 и 7 у парапета, рядом с вентиляционными установками арендатора. Снегопад — с утра 9 до вечера 10 декабря. Очистка кровли в декабре не проводилась (журнал, последняя запись 27 ноября).

Замер на уцелевшей части кровли. Средняя снеговая нагрузка — около 1,0 кПа при проектной 1,8 кПа. У парапета и с подветренной стороны установок — снеговой мешок вдоль шагов 5–6 и 6–7; в уцелевшем шаге 5–6 по замерам глубины — местно до 3,2 кПа (плотность принята 250 кг/м³ и, вероятно, занижена); в шаге 6–7 после обрушения замер невозможен. 1,8 кПа — проектная нагрузка на кровлю по паспорту объекта; что учтено у парапета и за установками — станет ясно из проекта (запрошен).

Что не подтверждается. Версия «равномерная перегрузка всей кровли из-за неочистки» замером не подтверждается: средняя нагрузка ниже проектной, остальная кровля стоит.

Что не установлено. Почему обрушился шаг 6–7, а шаг 5–6 под тем же мешком устоял; какой была фактическая нагрузка на ферму у парапета с учётом снегового мешка и оборудования; соответствовали ли проекту ферма, её узлы и монтаж; как и по какому проекту устанавливали вентиляционное оборудование.

Рабочие версии, которые предстоит различить: общая перегрузка снегом (замером не подтверждается, но не снята); ошибка проектного решения; дефект изготовления или монтажа фермы; иное — что связано с местом у установок, не установлено. Невыполнение очистки — установленный факт; его роль (причина или способствующее условие) будет определена после проверки остальных версий.

Запрошено: проект каркаса; документы арендатора об установке оборудования; исполнительная документация монтажа ферм; контроль сварных узлов разрушенной и соседних ферм — после разборки завала».

Кравец прочитал и спросил: «Так не чистили или нет?» Дмитрий ответил: «Не чистили — это факт. А вот “поэтому рухнуло” — пока не факт. Пока я могу показать только, что снега, лежавшего на кровле равномерно, не хватило бы». Кравец недовольно сказал, что страховщику это не понравится. Дмитрий согласился: не понравится. Но эту записку можно будет защитить, когда придут документы, а справку «не чистили — не выдержала» — нет.

3. Реальный случай: тест, который «прошёл»

Случай изложен по отчёту Национальной комиссии США по разливу нефти с платформы Deepwater Horizon, опубликованному в январе 2011 года [63], и по документу той же комиссии с рекомендациями [63]; страницы указаны по печатной нумерации. Разбор посвящён одному механизму: как объяснение, которое звучало правдоподобно, позволило прочитать тревожные показания как нормальные. Виновных он не ищет и компании не оценивает.

Что происходило. 20 апреля 2010 года экипаж буровой платформы Deepwater Horizon в Мексиканском заливе готовил скважину Macondo к временной консервации. Перед этим проводят тест отрицательного давления. Давление внутри скважины снижают, чтобы воспроизвести её состояние после ухода платформы. Если давление при этом растёт или из скважины идёт поток, это признак утечки: обсадная колонна или цемент могут быть повреждены, и нужен ремонт (с. 4).

Тест начали около 17:00. Экипаж стравливал давление, закрывал скважину и смотрел, остаётся ли давление в бурильной трубе на нуле. Но давление «раз за разом снова нарастало» (с. 5). В будке бурильщика в это время было тесно: шла пересменка, на платформе находились гости (с. 5).

Что знали люди в тот момент. Отчёт описывает несколько голосов. Буровой мастер Уаймен Уилер, по воспоминаниям его коллеги, был «убеждён, что что-то не так», но его смена закончилась (с. 6). Представитель компании-оператора Дон Видрин, заступавший на вечернюю смену, в конце концов сказал, что нужен ещё один тест (с. 6). Буровой мастер Джейсон Андерсон, по показаниям свидетелей со стороны компании-оператора, сказал, что уже видел такое раньше, и объяснил аномальные показания «эффектом пузыря» (bladder effect) (с. 6). Отчёт в первой главе не раскрывает техническое содержание этого объяснения и указывает, что содержание разговоров в будке оспаривается и подробнее разобрано в другой главе (с. 6–7). Здесь мы на ту главу не опираемся.

При втором тесте давление в другой трубе — линии глушения — удалось снизить до нуля. В бурильной трубе оно по-прежнему оставалось повышенным (с. 6). Люди в будке сочли, что отсутствие потока из открытой линии глушения означает успешный тест, и перешли к следующему этапу работ (с. 6–7). В 21:20 старший буровой мастер Рэнди Эзелл позвонил Андерсону на буровую и спросил, как прошёл тест. Тот ответил, что хорошо: «наблюдали 30 минут, потока не было» (с. 7–8).

Около 21:45 человек, находившийся вдали от платформы, увидел в бинокль яркий свет и понял, что горит буровая (с. 10). На борту находились 126 человек (с. 3, 17); к 23:30 после последней переклички одиннадцать человек числились пропавшими (с. 17). Одиннадцать рабочих погибли (подпись к фотографии на первой странице гл. 1).

Что видно задним числом. В документе с рекомендациями комиссия приводит таблицу решений, которые повысили риск и, возможно, экономили время. Одна строка этой таблицы — «Не проводить дальнейшую диагностику целостности скважины, несмотря на тревожные и необъяснённые результаты теста отрицательного давления». Комиссия отмечает, что существовала менее рискованная альтернатива и что решение экономило время (с. 14, рис. 3).

Обратите внимание на слово «необъяснённые». В будке результаты вовсе не выглядели необъяснёнными. У них было объяснение — от человека, который сказал, что видел такое раньше. Это объяснение позволило оставить без ответа показания бурильной трубы и сделать мерилом успеха другое показание: ноль в линии глушения. Объяснение не отменило тревожный факт. Оно сделало его нормальным.

Пауза: что показывает наука. Читая такие отчёты, легко подумать: «Я бы заметил». Барух Фишхофф проверил, насколько можно доверять этому чувству [24]. В его опытах знание исхода повышало оценку вероятности именно этого исхода; участники переоценивали и то, что знали бы сами без знания исхода, и то, что знали другие. Влияния знания исхода на свои суждения они, как правило, не замечали.

Ограничение. Это опыты на описаниях событий, а не на разборах аварий.

Что это значит для следователя. У ворот склада и в будке бурильщика сработал один механизм; различалась цена: там — одиннадцать жизней. Есть факт, который не вписывается: давление в трубе, снеговой мешок за установками. Есть готовое объяснение, которое этот факт поглощает: «эффект пузыря», «почистили бы — не намело бы». Карта звеньев не гарантирует, что кто-нибудь спросит, объясняет ли готовое объяснение неудобный факт или только его поглощает. Она лишь заставляет записать объяснение отдельной строкой со статусом «додумано», пока оно не стало частью факта.

4. Развилка и альтернативный финал

Альтернативный финал. Представьте, что в 11:00 11 декабря Дмитрий подписал справку: «Причина обрушения — снеговая нагрузка вследствие невыполнения графика очистки кровли». Справка была бы короткой, ясной и удобной для страховщика. Служба эксплуатации (Котов) получила бы взыскание. Замер не понадобился бы: причина уже названа. Вопрос о том, почему рухнул один шаг у парапета, не возник бы вовсе. Установки арендатора остались бы на кровле в прежнем виде, без вопросов о том, как их ставили. А следующий снегопад с ветром снова намёл бы мешок на том же месте — у парапета, за установками.

В этой справке не было бы ни одного ложного факта. Снег шёл, кровлю не чистили, ферма рухнула. Ложным было бы только слово «вследствие».

Развилка: если бы рассказ Лукина был верен. Допустим, замер показал бы около 2,3 кПа по всей кровле — на 28 % выше проектной — и прогибы в нескольких шагах ферм: тогда звено 4 стало бы фактом, а карта звеньев стоила бы Дмитрию около трёх часов. Зато вывод опирался бы на замер, а не на хор у ворот: верный рассказ, прошедший разбор на звенья, становится заключением, которое трудно оспорить.

5. Приём главы: «Карта звеньев»

Определение. «Карта звеньев» — авторский учебный инструмент для работы с готовым объяснением. Он не опровергает рассказ и не запрещает его. Он раскладывает рассказ на факты и связки, отмечает, что из этого видел хоть кто-нибудь, и показывает, сколько стоит вся цепочка.

На чём основан. Модель истории Пеннингтон и Хасти: связность рассказа влияет на решение помимо самих улик [69]. Ошибка конъюнкции Тверски и Канемана: подробности делают сценарий правдоподобнее, но не вероятнее [82]. Предупреждение Фишхоффа о знании исхода [24]. Авторское — разметка звеньев по статусу «видено / сказано / додумано», перемножение звеньев и правило «первым проверять самое слабое додуманное звено».

6. Когда приём вредит

Случай 1. Паралич рассказа. Следователь научился видеть клей и перестал рассказывать вообще: «все связки додуманы, вывода нет». Руководитель остаётся с таблицей фактов и без объяснения. Но связный рассказ нужен, чтобы передать вывод другому человеку, а заключение без рассказа не читают. Исправление: карта не отменяет рассказ, а делает его проверяемым. В заключении — тот же рассказ, только со статусом у каждого звена.

Случай 2. Карта как оружие. «Ваш рассказ додуман» — удобная фраза, чтобы отмахнуться от свидетеля, начальника склада или коллеги. Но додуманное звено может оказаться верным, а рассказчик — честным. Исправление: карта — инструмент проверки звеньев, а не оценки людей. Додуманное звено проверяют, а не высмеивают.

Случай 3. Ложная точность. Произведение 0,95 × 0,6 × 0,7 × 0,5 выглядит научно, и через день кто-то пишет в отчёте: «вероятность версии — 19,95 %». Исправление: числа у звеньев — способ увидеть, что длинная цепочка из «скорее да» слаба, а не измерение. В документы идёт порядок величины и самое слабое звено.

Случай 4. Верная простая история. Иногда «не чистили — не выдержала» и есть правда. Карта, применённая с подозрением ко всему простому, толкает искать сложную причину там, где её нет. Исправление: проверяется самое слабое звено, а не придумываются новые. Если звено выдержало замер, рассказ выиграл честно (раздел 4).

Случай 5. Чужой рассказ на карте, свой — нет. К вечеру 12 декабря у Дмитрия уже складывается собственная история: снеговой мешок за установками. Она подтверждена замером лишь частично и тоже держится на связках. Следователь, который раскладывает на звенья только чужие рассказы, получает новый, свой, — и не замечает его. Исправление: своя версия входит в карту на тех же правах. К цене такой ошибки книга вернётся в главе 20.

Карта звеньев не делает историю ложной. Она показывает, где история перестаёт быть наблюдением и становится нашей работой.

7. Дебрифинг

•

Уровень 1. Факты.

Выпишите из дела всё, что Дмитрий видел сам или получил в документе. Сравните со всем, что звучало у ворот склада в 08:30. Какая доля сказанного была фактами?

•

Уровень 2. Связки.

Найдите в рассказах Лукина, арендатора и Кравеца слова «значит», «поэтому», «вот и». Для каждой связки назовите, кто её видел. В рассказе Deepwater Horizon найдите связку, которая превратила «потока нет из линии глушения» в «тест прошёл».

•

Уровень 3. Что рассказ пропускает.

Какой факт не объясняет каждый из трёх рассказов о складе? Почему именно его рассказчики не замечали?

•

Уровень 4. Цена двух ошибок.

Чего стоила бы справка «не чистили — не выдержала», если она неверна? Чего стоило бы отказаться от неё, если она верна?

•

Уровень 5. Системная коррекция.

Как изменить форму предварительной справки о происшествии, чтобы связки были видны отдельно от фактов по самому устройству документа, без расчёта на добрую волю следователя?

8. Практикум и рубрика

Базовый уровень

А. Семейная история. Вспомните рассказ, который в вашей семье или на работе «знают все»: почему поссорились соседи, почему ушёл сотрудник, почему сломалась машина. Запишите его одной фразой и разрежьте на факты и связки. Кто видел каждую связку? Какой факт этот рассказ не объясняет?

Профессиональный уровень

Б. Три рассказа о складе. Постройте карту звеньев для рассказов страховщика («нарушение эксплуатации»), арендатора («установки стоят год — значит, ни при чём») и Кравеца («проект кривой»). Для каждого: самое слабое додуманное звено, вероятность цепочки и факт, который проверить первым. Время — 20 минут. Критерий: у каждого рассказа найдено звено, которое можно проверить документом или замером.

Продвинутый уровень

В. Сценарий «Затопленный архив» (75 минут, группы по 3–4 человека). Две группы получают одинаковые факты о затоплении подвального архива. Одна — в порядке готового рассказа управляющего зданием, другая — в порядке поступления документов. Участники пишут причину и вероятность, строят карту звеньев и оценивают вероятности подробного и короткого сценариев. Полные материалы, ключ и показатели — в пособии для инструктора (сценарий 3.1).

Рубрика

Этот раздел можно пропустить, если вы читаете для себя.

Шкала 0–6 — как в главе 1. Критическая ошибка — додуманная связка подана в заключении как установленный факт.

9. Выход в жизнь

Карточка на рабочий стол

В Протокол проверки убеждений. Это третья строка вашего Протокола — «Связь фактов в рассказе: что видено, что додумано». Для вашего текущего важного вывода запишите его как рассказ одной фразой. Отметьте у каждого звена: видено (кем и каким документом), сказано (кем) или додумано. Запишите самое слабое звено и факт, который рассказ не объясняет.

Главное за минуту

• Связный рассказ убеждает связками, а не фактами; связки кажутся увиденными, хотя их обычно никто не видел. Закон главы — предупреждение, а не приговор: стройная история бывает верной, проверяется связка, а не стройность.

• Подробности делают историю правдоподобнее, но не вероятнее: каждая добавленная подробность может только снижать вероятность.

• Одно «почти наверняка» и два «скорее да» вместе дают скорее «нет»: вероятность цепочки — произведение звеньев, а не их сумма.

• Рассказ поглощает неудобные факты и меняет форму, сохраняя вывод. Сравните, как он звучал до факта и после.

• Знание исхода делает прошлое «очевидным». Отделяйте то, что знали люди тогда, от того, что видно сейчас.

Заключение главы. Рассказ склеивает факты звеньями, которые никто не видел, и делает это тем незаметнее, чем лучше он звучит. Дмитрию не пришлось опровергать ни одного факта из истории «не чистили — не выдержала». Ему понадобилось только увидеть, где кончаются факты и начинается клей, — и проверить клей первым. В следующей главе вопрос встанет с другой стороны: даже точный ответ бесполезен, если он отвечает не на тот вопрос.

Глава 4. Ответ не на тот вопрос

Как узнать, какое решение примут по вашему ответу, и задать вопрос, который этому решению служит

Закон главы. Сначала узнайте, какое решение примут по вашему ответу.

Проверка «КОМПАС»: подготовка к К. Строка Протокола: точный вопрос, решение и бремя доказательства.

Пролог. «Кто это был?»

31 октября, 09:10. Вы — аналитик центра оценки угроз. За три недели на одном участке внешнего ограждения — третий ночной эпизод «человек у ограждения». Последний был вчера, в 04:40. Звонит руководитель центра: «Три раза за три недели на одном месте. Кто это был? К обеду жду справку».

Не читайте дальше, пока не запишете первые три действия, которые вы сделаете после звонка. И отдельно — первую фразу справки, которую вы положите руководителю на стол в 13:00.

Теперь посмотрите на свои действия. Скорее всего, вы начнёте с записей: сравнить силуэты на трёх кадрах, рост, время, направление движения. Это добросовестная работа, и к обеду она почти наверняка не даст ответа. По ночным кадрам низкого качества людей не узнают. А установление личности — вообще не задача аналитической справки: этим занимаются уполномоченные лица в установленном порядке.

Но есть вопрос важнее. Что руководитель сделает с ответом «кто»? Если вы этого не знаете, вы рискуете три часа отвечать на вопрос, ответ на который не изменит ни одного решения.

Открытие пролога. Вопрос заказчика — это не задание, а подсказка к заданию. Задание прячется в решении, которое он примет по вашему ответу.

1. Что показывает наука

1.1. Ум отвечает на лёгкий вопрос вместо трудного

Даниэль Канеман в нобелевской лекции, опубликованной в 2003 году, свёл многие ошибки интуитивного суждения к одному механизму — подмене признака [42]. Суждение опирается на эвристику, когда человек оценивает заданный «целевой» признак предмета, подставляя вместо него другой — «эвристический», который легче приходит в голову (с. 1460). Проще говоря, люди иногда отвечают на трудный вопрос, отвечая на более лёгкий (с. 1469).

Самый наглядный пример Канеман берёт из опроса студентов, проведённого Фрицем Штраком и коллегами (с. 1461). Студентам задавали два вопроса: «Насколько вы счастливы своей жизнью в целом?» и «Сколько у вас было свиданий в прошлом месяце?» В таком порядке ответы почти не были связаны: корреляция, по данным, которые приводит Канеман, — 0,12. Когда вопросы меняли местами, корреляция поднималась до 0,66. Вопрос о свиданиях делал лёгкий ответ доступным, и на вопрос о счастье люди отвечали через него. По словам Канемана, они не замечали, что отвечают на вопрос, который им не задавали (с. 1461).

Ограничение. Лекция — теоретический синтез многих исследований, а не новый эксперимент. Корреляции опроса — по тексту Канемана; исходная статья Штрака и коллег сверена только по аннотации. Перенос механизма с собственных суждений на служебные заказы — интерпретация автора книги: заказчик подменяет трудный вопрос «что делать?» лёгким вопросом «кто это?», а аналитик охотно отвечает на подставленный.

1.2. Перевёрнутый вопрос

Комиссия по расследованию гибели шаттла «Колумбия» показала, что подмена вопроса бывает не только в голове, но и в устройстве совещания [10]. Через 81,9 секунды после старта кусок теплоизоляционной пены ударил в передний край левого крыла (с. 59). Физической причиной гибели «Колумбии» и её экипажа комиссия назвала повреждение теплозащиты крыла (с. 49).

Пока шаттл был на орбите, вопрос об ударе пены обсуждали. Председатель группы управления миссией (Mission Management Team), как отмечает комиссия, на совещаниях не раз повторяла своё понимание: пена — это проблема обслуживания и подготовки к следующему полёту, а не угроза безопасности полёта (с. 200). Так вопрос был задан ещё до анализа. А группе инженеров, оценивавшей удар, пришлось доказывать, что удар угрожает безопасности полёта. Помочь в этом могли только снимки, которые инженеры запрашивали (с. 201). Комиссия формулирует итог жёстко: обычно надо доказать, что лететь безопасно, а здесь инженеров просили доказать, что лететь опасно (с. 201). Цифр для такого доказательства у инженеров не было (с. 202).

Ограничение. Это официальный разбор одной катастрофы, а не исследование частоты таких ошибок. Глава берёт из него одно: формулировка вопроса заранее решает, кому и что придётся доказывать.

1.3. Цена сведений определяется решением

Ещё в 1966 году Рональд Говард предложил теорию ценности информации [39]. Его исходная мысль: неопределённость надо оценивать не только по вероятности, но и по её последствиям для того, кто принимает решение. Теория, которая не учитывает последствий исходов, не может сказать, насколько неопределённость важна. Говард показал, что устранению или уменьшению любой неопределённости можно приписать числовую ценность.

Из этой теории следует вывод, который полезно держать перед глазами каждому аналитику. Сведения, которые не могут изменить решение, ничего не стоят для этого решения, как бы интересны они ни были. Это следствие теории, а не цитата из статьи.

Ограничение. Работа Говарда — нормативная теория для задач, где вероятности и последствия можно оценить числами. В аналитической работе они обычно грубы. Но и грубая оценка показывает главное: стоит ли добывать ответ на вопрос, если ответ не изменит решения.

2. Авторский инструмент: «Заказ от решения»

Определение. «Заказ от решения» — авторский учебный инструмент для приёма аналитического задания. Он не отменяет вопрос заказчика. Он восстанавливает решение, ради которого вопрос задан, и выводит из этого решения точный вопрос, на который действительно нужен ответ.

На чём основан. Подмена трудного вопроса лёгким [42]; урок комиссии по «Колумбии» о том, что формулировка вопроса распределяет бремя доказательства [10]; теория ценности информации [39]. Авторское — порядок шагов, правило «записать, что не нужно знать», связка с первой строкой справки и требование показать переформулированный вопрос заказчику до начала работы.

Переосмысление. Аналитик, который спрашивает «а что вы будете решать?», не уклоняется от задания. Он выясняет, в чём оно на самом деле состоит.

Пример заполнения: «Кто это был?»

Паспорт кейса

09:20. Ответ на заданный вопрос

Ксения начала так, как начал бы почти любой хороший аналитик. Она открыла три записи рядом. Э1, 9 октября, 03:12: человек у сетки с длинным предметом в руке, эпизод так и остался неустановленным (гл. 1). Э2, 23 октября, 02:05: силуэт у ограждения около двадцати пяти секунд, потом ушёл к дороге. Э3, 30 октября, 04:40: видеоаналитика выдала сигнал «человек у ограждения»; на записи — размытое тёмное пятно у основания сетки, около шести секунд, на пределе дальности камеры; оператор записал: «человек присел?».

Через сорок минут у Ксении была солидная таблица: время, длительность, рост «примерно», направление. О том, кто это был, она не говорила ничего. По таким кадрам людей не узнают. И даже если бы узнавали, установление личности не её работа.

Ваша оценка В-4.1. Был ли в эпизоде Э3 (30 октября, 04:40) у ограждения человек? Запишите вероятность от 0 до 100 %. Исход будет раскрыт в главе 12.

10:05. Вопрос о вопросе

Ксения позвонила Сомову: «Что вы будете решать по моей справке?» Сомов помолчал. «Рябцев просит усилить северный участок на две недели. Это значит снять людей с других участков. Мне до вечера надо решить, согласовывать ли».

Это был совсем другой вопрос. Ксения заполнила карточку за десять минут.

Труднее всех далась шестая строка: «данных о целенаправленном интересе нет» прозвучало бы как «опасности нет», хотя при трёх нечётких кадрах отсутствие данных ничего не доказывает.

Ваша оценка В-4.2. Произойдёт ли на северном участке новый ночной эпизод «человек у ограждения» с 1 по 14 ноября включительно? Запишите вероятность от 0 до 100 %. Исход будет раскрыт в главе 5.

11:30. Ответ на точный вопрос

Повтор Ксения оценила двумя способами и не стала прятать, что они расходятся. По журналу участка за прошлый год — шестнадцать ночных эпизодов, примерно один в три недели. При такой частоте шанс хотя бы одного эпизода за 14 суток — около 46 %. По последним трём неделям — три эпизода, примерно один в неделю, и тогда шанс — около 86 %. Вторая оценка завышена: отсчёт начат с первого эпизода серии, и это делает серию гуще, чем она есть. Первая, вероятно, занижена: что-то на участке явно изменилось. Ксения записала «около 70 %, скорее да».

С характером серии было честнее не давать точного числа. По журналу прошлого года примерно три из четырёх ночных эпизодов оказались бытовыми, а подтверждённых случаев целенаправленного интереса не было ни одного. Но три эпизода за три недели на одном участке — не прошлогодний фон. Ксения записала, что данных, позволяющих уверенно считать шанс ниже одного из десяти, у неё нет. Подробную оценку версий она пообещала после сравнения всех записей — так, чтобы её можно было проверить.

13:00. Справка

Первая строка справки стала такой: «Для решения об усилении северного участка до 14 ноября: новый эпизод в этот период вероятен (около 70 %); оснований считать шанс целенаправленного интереса ниже одного из десяти по имеющимся данным нет».

Вторая: «Порог 1 из 10 предложен начальником смены, подтверждён руководителем центра. Установить, кто был у ограждения в эпизодах 9, 23 и 30 октября, по имеющимся записям нельзя; для решения об усилении это не требуется».

Третья: «Оценку пересмотрю, если записи покажут общий источник срабатываний или если до 14 ноября произойдёт новый эпизод. Решение — за руководством».

Сомов прочитал: «Я спрашивал другое». Перечитал: «Но мне нужно было это». Вечером он согласовал частичный вариант: с 1 по 14 ноября — дополнительные ночные обходы северного участка, без снятия постов с других направлений. Для этой главы важно другое: решение опиралось на ответ на свой вопрос, а не на чужой.

В тот день Ксения завела журнал прогнозов; первая строка — 70 % на новый эпизод на северном участке с 1 по 14 ноября, с пустой графой исхода, которую она заполнит после 14-го.

Виньетка: «Никита мне врёт?»

В начале ноября Лизе позвонила мать. Галина Сергеевна была расстроена: «Никита опять про ноутбук. Говорит, старый не тянет программу для курсовой. А старый же работает! Он в игры хочет. Скажи, он мне врёт?»

Но вопрос «врёт ли» был не тем вопросом, по которому мать что-то решала. Решала она другое: давать ли Никите деньги, сколько и когда. У Никиты было 25 000 рублей, отложенных со стипендии и подработки. Он просил добавить 35 000 — на модель за 60 000.

Лиза заполнила карточку прямо в разговоре. Решение: помогать ли деньгами, сколько и к какому сроку — курсовую сдавать в декабре. Что должно быть правдой, чтобы помогать: программа действительно нужна для учёбы и не работает на старом ноутбуке. Что определит сумму: сколько стоит ноутбук, который отвечает требованиям курса, — а не тот, который Никите нравится. Что знать не нужно: хочет ли он ещё и играть. Даже если хочет, это не меняет решения о той части, которая нужна для учёбы.

Ваша оценка В-4.3. Окажется ли, что программа, которую требует курс Никиты, действительно не отвечает возможностям его старого ноутбука? Запишите вероятность от 0 до 100 %.

Точный вопрос проверялся без обвинений. Никита открыл страницу курса: для программы требовалось не меньше 16 гигабайт оперативной памяти, а в старом ноутбуке было 4 — вчетверо меньше. Ноутбуки, отвечающие требованиям, начинались от 48 000.

Исход В-4.3: да — курс требует не меньше 16 ГБ оперативной памяти, а в старом ноутбуке 4 ГБ.

Мать решила добавить 23 000 — разницу между 48 000 и накоплениями Никиты: 15 000 сразу и 8 000 с пенсии в следующем месяце. Если Никита хочет модель за 60 000, оставшиеся 12 000 — его выбор и его деньги. Вопрос «врёт ли он» так и не получил ответа. Он оказался не нужен.

3. Когда инструмент вредит

Случай 1. Решения ещё нет. Руководитель спрашивает «что происходит на северном участке?», потому что ещё не знает, что ему придётся решать. Если аналитик требует назвать решение, он отказывается от самой ценной части своей работы — замечать то, о чём никто не спросил. Исправление: когда решения нет, вопрос формулируют от действий: «что изменилось бы в ваших планах, если бы ответ был таким-то?» Предупреждение о новой угрозе — законный ответ на вопрос, которого не задавали.

Случай 2. Подгонка под решение. Аналитик узнал, что Сомову неудобно снимать людей с других участков, и его оценка повтора незаметно сползла с 70 до 40 %. Знание решения — самый короткий путь к выводу, удобному заказчику. Исправление: решение определяет вопрос, но не ответ. Оценку записывают до того, как обсуждают, к какому варианту она ведёт, а порог заказчика называют в справке открыто.

Случай 3. Переформулировка как уклонение. «Вы спрашиваете не о том» превращается в способ не отвечать на трудное. Аналитик меняет вопрос на тот, на который ему удобно ответить, — та же подмена, что в разделе 1.1, только сознательная. Исправление: переформулированный вопрос показывают заказчику до начала работы, а то, что осталось без ответа, называют в справке вместе с причиной.

Случай 4. Порог, выбранный под ответ. Заказчик, который хочет определённого решения, называет порог, гарантирующий этот исход: «усилим, только если шанс выше девяноста процентов». Формально вопрос точный, по сути решение уже принято, а анализ нужен для прикрытия. Это та же ловушка, что в разделе 1.2: формулировка распределяет бремя доказательства до анализа. Исправление: записать порог, его автора и то, на ком лежит бремя доказательства; если порог назвал инициатор меры, показать его тому, кто решает, и указать в справке, кто порог подтвердил. Так Ксения и поступила 31 октября с порогом Рябцева.

Точный вопрос не делает аналитика слугой решения. Он делает его ответ полезным для решения, не меняя самого ответа.

4. Практикум и аттестация

Базовый уровень

А. Вопрос за вопросом. Вспомните недавний вопрос, который вам задал близкий человек или коллега: «Он на меня обиделся?», «Это надёжная фирма?», «Почему не работает?». Запишите решение, которое человек принимал на самом деле, и точный вопрос, который этому решению служил. Чем отличались бы ответы на два вопроса?

Профессиональный уровень

Б. Переписать заказ. Руководитель пишет: «Разберитесь, кто стоит за жалобами на подрядчика, и доложите к пятнице». Составьте три вопроса, которые вы зададите руководителю до начала работы, и по каждому — как ответ изменит ваш план. Затем заполните карточку «Заказ от решения» для двух разных решений, которые могли стоять за этим заказом. Время — 20 минут. Критерий: у двух решений получились разные точные вопросы.

Продвинутый уровень

В. Сценарий «Протечки в паркинге» (90 минут, три группы). Все группы получают один и тот же вопрос управляющего: «Кто виноват в протечках — подрядчик или проектировщик?» Каждой группе инструктор втайне назначает своё решение, которое стоит за вопросом. Группа может задать «управляющему» не больше пяти вопросов. Оценивается, как быстро группа выясняет решение, совпадает ли её точный вопрос с этим решением и правильно ли посчитан порог. Полные материалы и ключ — в пособии для инструктора (сценарий 4.1).

Рубрика

Этот раздел можно пропустить, если вы читаете для себя.

Шкала 0–6 — как в главе 1. Критические ошибки: оценка изменена после того, как стало известно, какого решения ждёт заказчик; отказ отвечать на исходный вопрос не назван в справке; вывод о причастности конкретного человека подан как результат аналитической справки.

Слабый ответ на вопрос «Что написать Сомову в 13:00?»: «Установить личность нарушителя не представилось возможным. Данных о целенаправленном интересе к объекту нет». Почему слабый: ответ на неверный вопрос; «данных нет» звучит как «опасности нет» и перекладывает бремя доказательства; решение об усилении остаётся без опоры.

Сильный ответ — справка Ксении в 13:00 (раздел 2). Почему сильный: ответ на вопрос решения; вероятность названа; порог, его автор и то, кто его подтвердил, указаны открыто; сказано, что осталось без ответа и почему; есть условие пересмотра.

5. Выход в жизнь

Карточка на рабочий стол

В Протокол проверки убеждений. Это четвёртая строка вашего Протокола — «Точный вопрос, решение и бремя доказательства». Для вашего текущего важного вывода запишите: на какой вопрос он отвечает, какое решение по нему примут, кто и когда. Если вопрос, на который отвечает ваш вывод, не совпадает с вопросом решения, вывод может быть верным — и бесполезным.

Главное за минуту

• Вопрос заказчика — подсказка к заданию; само задание прячется в решении, которое он примет по ответу.

• Ум охотно отвечает на лёгкий вопрос вместо трудного и обычно этого не замечает.

• Формулировка вопроса заранее распределяет бремя доказательства: «докажите, что опасно» и «докажите, что безопасно» — разные задания.

• Сведения, которые не могут изменить решения, ничего не стоят для этого решения, как бы интересны они ни были.

• Решение определяет вопрос, но не ответ: оценку записывают до того, как становится ясно, к какому варианту она ведёт.

Заключение главы. Ксения могла бы к обеду положить на стол добросовестную таблицу трёх силуэтов и честный вывод «установить не удалось». Это был бы точный ответ на заданный вопрос — и ничем не помог бы Сомову вечером. Даже верная картина бесполезна, если она отвечает не на тот вопрос. Дальше начинается работа с версиями — и первое её правило касается того, сколько их должно быть.

Часть II. Держать несколько версий

Первая часть показала, как ум строит картину раньше, чем мы успеваем её проверить. Вторая учит главному противоядию: держать в голове и на бумаге несколько объяснений одновременно — и не позволять первому из них стать единственным. Это труднее, чем кажется. Одна версия даёт ясность и скорость; три версии требуют работы, а иногда — смелости признать неудобную.

Вопрос на входе в часть: «Я уже понял, что произошло, — зачем мне другие версии?» Вопрос на выходе: «Какой факт различает мои версии и чего я не увидел, хотя должен был?»

Каждая глава части добавит строку в Протокол проверки убеждений: конкурирующие версии, включая неудобную; матрица версий и свидетельств; несущие допущения; ожидаемые, но отсутствующие следы.

Глава 5. Правило трёх версий

Как держать в работе несколько объяснений — и не потерять то, которое неудобно

Закон главы. Пока версия одна, вы не анализируете, а защищаете.

Проверка «КОМПАС»: К. Строка Протокола: конкурирующие версии, включая неудобную.

Пролог. Четыре точки на схеме

Утро. На схеме участка внешнего ограждения перед вами четыре отметки: ночные эпизоды «человек у ограждения» на одном отрезке за пять недель. Первый так и остался неустановленным, по остальным утренние проверки ничего определённого не дали. Четвёртый случился сегодня ночью. Руководитель просит к полудню абзац для еженедельной сводки: «Что происходит на этом участке?» По нему решат, на что тратить силы в ближайшие недели.

Решите, прежде чем читать дальше. За три минуты запишите все объяснения четырёх эпизодов, какие придут в голову, и поставьте рядом с каждым вероятность — в сумме 100 %.

Теперь два вопроса. Какое объяснение получило больше половины вероятности? И какое было бы вам неприятнее всего, окажись оно верным, — например, то, при котором ошиблись вы сами, ваша служба или ваша техника? Если его нет в списке, вы не одиноки: чаще всего не хватает именно его.

Открытие пролога. Версии, которых нет на бумаге, не получают ни вероятности, ни проверки, и первой выпадает версия о нас самих: о нашем приборе, выводе, процедуре. В разделе 6 это утро проживёт аналитик Ксения Ларина — сравните её список со своим.

1. Результат главы и границы применимости

После главы читатель сможет:

Держать в работе не меньше трёх версий в трёх обязательных слотах: «моя», «обычная», «неудобная».

Находить неудобную версию по четырём вопросам.

Формулировать версии так, чтобы они отвечали на один вопрос, исключали друг друга и были проверяемыми.

Давать строке «иное» честную, а не символическую вероятность.

Различать недоказанную и опровергнутую версию и не снимать первую раньше времени.

Границы. Глава учит держать версии, а не взвешивать свидетельства: матрицу версий разбирает глава 6, силу свидетельства — главы 9 и 11. Правило не заменяет установленного порядка расследования и защитных действий. Если одна из версий указывает на непосредственную опасность, меры принимаются сразу, не дожидаясь различения версий. Версия о конкретном человеке остаётся гипотезой: решения о людях принимают уполномоченные лица в установленном законом порядке.

Из главы 2 пригодится «Журнал версий». Здесь — более ранний шаг: откуда берутся остальные версии и почему среди них часто нет самой важной.

2. Что показывает наука

2.1. Чего нет на схеме, того нет в голове

В 1978 году Барух Фишхофф, Пол Словик и Сара Лихтенштейн из Орегона дали 148 добровольцам, откликнувшимся на объявление в студенческой газете, схему «Машина не заводится» [25]. Это было дерево отказов, каким пользуются инженеры, с семью ветвями: аккумулятор, стартер, топливная система, зажигание, другие неисправности двигателя, чьи-то злонамеренные действия и «все прочие причины» (с. 334). Испытуемые оценивали, какая доля отказов приходится на каждую ветвь. Им прямо сказали, что основные категории, вероятно, охватывают не всё.

Одни участники видели полное дерево, другие — «подрезанное»: из него убрали по три ветви. Если ветвь «стартер» исчезла со схемы, отказы стартера никуда не делись и должны были перейти в «прочее». В полном дереве «прочему» дали 0,078. В подрезанных ему полагалось около 0,47 и 0,61, а участники дали 0,14 и 0,23 (табл. 1, с. 335): по нашему расчёту, в «прочее» перешло лишь около 16 и 28 % убранного. Не меньше положенного «прочему» отдал один человек из 55 (с. 335). Итог авторов: пропущенные ветви по существу выпадают из ума — что скрыто от глаз, скрыто и от ума (с. 333, 337).

Можно возразить: это не специалисты. Авторы разослали анкеты механикам шести автомастерских Юджина; из 60 разосланных анкет вернулись 29 (с. 341–342). Механики с подрезанным деревом отдали «прочему» в среднем 0,215 при положенных 0,441 (табл. 5, с. 342). Ни самооценка, ни стаж не были систематически связаны со способностью заметить пропуск (с. 342).

Что это значит. Вероятность пропущенной версии достаётся записанным, а не «прочему». Чего это не значит. Опыты проведены с анкетами про автомобиль, а не с аналитиками; выборка механиков мала, ответили не все. Перенос этого и следующих результатов на аналитическую работу — интерпретация автора книги.

2.2. Довод против — единственный, который сработал

Ашер Кориат, Сара Лихтенштейн и Барух Фишхофф задавали добровольцам вопросы на эрудицию с двумя вариантами ответа [51]. Участник выбирал ответ и называл вероятность того, что прав. Как обычно в таких опытах, люди были переуверены: уверенность превышала долю верных ответов.

Во втором эксперименте 200 участников после выбора писали один довод: за свой ответ, против него или по одному каждого вида. Довод «за» не изменил ничего. Довод «за и против» дал небольшое незначимое улучшение. Значимо улучшил соответствие уверенности и точности только довод против (с. 112–114). В заключении авторы добавили: дополнительное усилие мало что даст, если не направить его именно на поиск противоречащих доводов (с. 117).

Что это значит для версий. Неудобная версия — надёжный источник доводов против своего вывода: она подсказывает, что должно было бы наблюдаться, если вы ошиблись. Ограничение: опыт касался вопросов на эрудицию, а не объяснения событий, и участниками были добровольцы из университетского города. Близкий результат с приёмом «подумай о противоположном» разобран в главе 2.

2.3. Недоказанная — не значит опровергнутая

Ричардс Хойер, создатель анализа конкурирующих гипотез, начинает метод с вопроса, какие версии вообще рассматривать, и лишь потом переходит к матрице [35, гл. 8, шаг 1].

• Версии лучше набирать в группе аналитиков с разными точками зрения, а не в одиночку.

• Недоказанную версию (свидетельств в её пользу нет) нужно отличать от опровергнутой (есть прямые свидетельства, что она неверна). Недоказанные держат живыми, пока их не опровергнут.

• Особенно это касается версии, что противник вводит нас в заблуждение: хорошо спланированный обман не оставляет следов под рукой, поэтому такую версию нельзя отбрасывать, пока она не опровергнута или хотя бы пока систематический поиск свидетельств ничего не дал.

Ограничение. Это рекомендации практика, а не результат эксперимента. Улучшает ли метод выводы на деле — неудобный вопрос главы 6.

3. Авторский инструмент: «Правило трёх версий»

Определение. «Правило трёх версий» — авторский учебный инструмент для начала любого анализа, результат которого получит другой человек. Прежде чем вывод уйдёт дальше, на бумаге должны стоять не меньше трёх версий в трёх обязательных слотах:

•

«Моя»

— версия, с которой я пришёл или которую сейчас считаю самой вероятной;

•

«Обычная»

— то, чем такие события чаще всего оказываются в похожих ситуациях; обычно самая скучная версия;

•

«Неудобная»

— версия, которую мне меньше всего хочется видеть верной.

К ним добавляется строка «иное» с ненулевой вероятностью. Если одна версия занимает два слота (например, моя и есть обычная), слот заполняет следующая: версий должно быть три разных.

На чём основан. Несколько версий и правило не снимать недоказанные — из анализа конкурирующих гипотез [35]; честная строка «иное» — ответ на результат Фишхоффа и коллег [25]; слот «неудобная» опирается на силу противоречащих доводов [51]; слот «обычная» — мостик к базовым частотам (гл. 10). Авторское — три фиксированных слота, четыре вопроса, правило строки «иное» и связка с первым докладом.

Как найти неудобную версию: четыре вопроса.

Что, если ошибся я сам, мой прибор или моя процедура?

Что, если всё опаснее — или, наоборот, безопаснее, — чем я думаю? Если моя версия тревожная, неудобная обычно успокаивает, и наоборот.

Что, если причин несколько и то, что я считаю одной историей, — склейка разных?

Кому выгодно, чтобы я пришёл именно к этому выводу? (Подробно — в главе 17.)

Неудобной становится та из найденных версий, что сильнее всего задевает вас или вашу службу. Если ни одна не задевает, вы её ещё не нашли.

Карточка инструмента

Правило строки «иное». Пока список не проверил второй человек, «иному» даётся не меньше 5–10 %; новая версия получает вероятность из «иного», а «иное» снова получает свою долю. Это авторское правило, а не результат исследования.

Пример заполнения. Так Ксения Ларина заполнила таблицу утром 13 ноября, после четвёртого эпизода на северном участке (история — в разделе 6.1). Вопрос: «Чем объясняется серия ночных эпизодов на северном участке с 9 октября?»

H3 неудобна: она задевает и прежние доклады Ксении, и решение центра об обновлении. H4 предложил несогласный с ней человек — ответ на третий вопрос. И в последней колонке нет шага, который только подтверждал бы H1: технический журнал в строке H3 различает «мою» и «неудобную», и Ксения запросила его в тот же день.

3.1. Для профессионала: как набирать версии в группе

Читателю «для себя» можно перейти к разделу 4.

Сначала в одиночку, потом вместе. В группе первая прозвучавшая версия становится якорем (гл. 2). Поэтому каждый сначала молча записывает свои версии с вероятностями, а общий список собирается после. Версия, пришедшая в голову только одному, — самая ценная строка.

Не раздавать готовый список. Бланк с напечатанными типовыми версиями уже подрезал дерево [25]. Безопаснее пустые слоты и вопрос: «Какой версии здесь нет?»

Одна степень подробности. Подробная версия кажется правдоподобнее однострочной (гл. 3). Перепишите все версии в одном формате: кто или что, как, когда, что должно остаться после.

Версии исключают друг друга. Иначе вероятности не складываются в 100 %. Версию «несколько причин сразу» формулируют так, чтобы она не поглощала остальные: что именно смешано и как это проверить. Иначе она становится губкой (гл. 6).

Неудобную версию поручают не автору вывода. Себя мы видим хуже, чем других (гл. 1); неудобную версию лучше защищает другой человек, а лучше всего тот, кто в неё действительно верит: назначенный защитник слабее (гл. 19). Больше семи версий группируют по механизму или по факту, который их различит [35, гл. 8].

4. Психологический барьер: неудобная версия — это версия о нас

Чужие версии опытный аналитик назовёт за секунду: «рыбаки», «ветка», «ошибка соседнего отдела». Труднее всего дописать версию, в которой ошибся он сам: его прибор, его прошлый доклад, его правило отбора сигналов. Она ощущается не как гипотеза, а как обвинение, и ум, охотно ищущий объяснения, именно здесь перестаёт их находить.

Есть и организационная сторона. Неудобная версия часто касается решения, которое принимал кто-то выше: закупки, обновления, прежней оценки. Её не произносят «пока не появятся основания» — а основания не появляются, потому что версии нет в плане. Тоньше другое: записать её «для порядка», одной строкой. Даже прямое задание искать доводы против выполнить трудно: у Кориата одиннадцать участников, которым поручили писать доводы против, писали в основном или только доводы за, и их пришлось исключить из анализа (с. 113) [51].

Поэтому слот «неудобная» стоит сделать обязательной графой справки и проверять вопросом: «Кого эта версия задевает?» Неудобная версия — не признание в ошибке, а способ узнать о ней раньше, чем расскажет кто-то другой.

5. Реальный случай: гипотеза, которая стала презумпцией

Случай изложен по докладу Комиссии по разведывательным возможностям Соединённых Штатов в отношении оружия массового поражения (комиссии Силбермана — Робба), представленному президенту США 31 марта 2005 года [11]; страницы — по печатной нумерации доклада. Разбор посвящён механизму аналитической ошибки, а не оценке людей, ведомств и политических решений.

Что произошло. Перед войной 2003 года разведывательное сообщество США оценивало, что Ирак сохраняет химическое и биологическое оружие и восстанавливает ядерную программу. Комиссия заключила, что сообщество «ошиблось полностью» (dead wrong) почти во всех довоенных оценках (сопроводительное письмо).

Что знали люди в тот момент. Надёжных данных изнутри страны не хватало, и аналитики опирались на прошлое Ирака: применение химического оружия, успешное сокрытие программ до и после войны в Персидском заливе, неспособность отчитаться за заявленные запасы (с. 49). Отсюда рабочая гипотеза: оружие спрятано, ядерная программа восстанавливается. Комиссия пишет, что гипотеза не была неразумной, но со временем «затвердела в презумпцию» (с. 49). Доклад не упрекает разведку и в том, что она не узнала о решениях Ирака прекратить ядерные работы и уничтожить запасы химического и биологического оружия (с. 47).

Как одна версия поглотила остальные. Доклад описывает три шага.

Первый — перенос бремени доказательства: аналитики по существу требовали свидетельств того, что у Ирака оружия нет (с. 49). Версия «оружие есть» стала исходной точкой, от которой отступают только при доказательстве обратного.

Второй — чтение противоречий как подтверждений. Помня прежний обман, аналитики видели в противоречащих сведениях не признак ошибочной посылки, а признак того, что Ирак продолжает скрывать программы; часть из них перестала учитывать свидетельства, которые посылку не поддерживали (с. 49).

Третий — объяснение, которое нельзя проверить. Иракские заявления о том, что алюминиевые трубы предназначены для ракет, называли «легендой прикрытия», призванной скрыть ядерное назначение (с. 50). Итог комиссии: аналитики возвели теорию, которую почти невозможно было опровергнуть (с. 50).

Что видно задним числом. Прошлый обман был реальным, и версия о сокрытии опиралась на настоящие факты. Механизм ошибки не в том, что версия «оружие есть» появилась первой, а в том, что у неё не осталось живого соперника. Когда любое противоречие объясняется сокрытием, вторую версию проверить нечем: каждый факт в её пользу заранее зачислен первой.

Что это значит для аналитика. Хойер предупреждает: версию об обмане нельзя отбрасывать, пока она не опровергнута или пока систематический поиск не дал ничего [35, гл. 8]. Дело, разобранное комиссией, показывает обратную сторону правила: версию о сокрытии тоже держат как версию — со списком того, что должно наблюдаться, если верна она и если верна соперница. Отсюда проверка: если факт, который должен был поддержать соперницу, вы засчитали своей версии, запишите, что он должен был бы показать, чтобы вы засчитали его сопернице. Нет ответа — нет и соперницы.

Ограничение. Доклад касается одного масштабного провала в особых обстоятельствах, и его выводы о причинах шире этой главы; тезис об утраченном сопернике и перенос механизма на работу одного аналитика — интерпретация автора. К докладу книга вернётся в главах 7, 17, 18 и 22.

6. Две истории: четыре эпизода и закрытие химзавода

Технические средства и порядок охраны в историях намеренно не описаны: для анализа мышления они не нужны.

6.1. «Четыре эпизода»

Паспорт кейса

07:20. Четвёртая точка

В 01:50 камера северного участка зафиксировала световое пятно, похожее на фонарь: оно двигалось вдоль дороги, около пятидесяти секунд держалось у сетки и ушло обратно. Следов утром не нашли: грунт подмёрз.

Исход В-4.2: да — новый ночной эпизод в срок с 1 по 14 ноября произошёл: Э4, 13 ноября, 01:50.

На схеме появилась четвёртая отметка. Все четыре — на отрезке около трёхсот метров, глубокой ночью, между 01:50 и 04:40. Э1 — человек с вытянутым предметом у земли, не установлен. Э2 — силуэт у ограждения около двадцати пяти секунд, ушёл к дороге. Э3 — шесть секунд, размытое пятно у основания сетки; оператор записал: «человек присел?». Э4 — фонарь.

Ксения почувствовала то, что всегда, когда картина складывалась: облегчение. Четыре точки за пять недель на одном отрезке — серия.

08:40. Записка в одну версию

Сомов попросил к полудню абзац для еженедельной сводки. Ксения написала его за десять минут: «На северном участке за пять недель зафиксированы четыре ночных эпизода присутствия у ограждения. Повторяемость места и времени указывает на возможный целенаправленный интерес к периметру. Предлагается продлить дополнительные ночные обходы участка после 14 ноября».

Абзац был точен в фактах и честен в слове «возможный». Но версия в нём была одна; остальные жили в голове как «фон».

10:05. Вопрос, который задают не всем

В десять пришёл Алексей Вережников. Сомов недавно пригласил его наставником аналитического отдела и попросил посмотреть серию «свежим глазом». Вережников прочитал абзац, посмотрел на схему и спросил не о фактах.

— Сколько у тебя версий?

— Одна рабочая. Остальное — фон: рыбаки, грибники, наш местный с металлоискателем.

— Тогда у тебя пока не анализ, — спокойно сказал он, — а защита. Ты уже знаешь, что ответить любому, кто скажет «рыбаки». А что ты ответишь себе, если окажется, что людей там не было?

Ксения ответила, что люди были: силуэты, фонарь. Вережников предложил до отправки записать три версии: свою, обычную и ту, которую ей меньше всего хочется увидеть верной. И добавил четвёртую, свою: «Я бы не склеивал эти эпизоды в одну историю. У них могут быть разные причины».

10:40. Три слота

«Моя» и «обычная» заполнились быстро: H1 — целенаправленный интерес, H2 — бытовые проходы (река, посёлок, сезон рыбаков и грибников). По журналу участка за прошлый год примерно три из четырёх ночных эпизодов «человек у ограждения» оказывались бытовыми, а подтверждённых случаев целенаправленного интереса не было ни одного.

Слот «неудобная» пустовал дольше. На первом вопросе — «что, если ошиблась я или мой прибор?» — Ксения позвонила Петру Ильину: «Что менялось на камерах северного участка с начала октября?» Через двадцать минут Пётр перезвонил: 20 октября на камерах северного участка обновили программу видеоаналитики и изменили порог обнаружения.

Первый эпизод — до обновления. Второй, третий и четвёртый — после.

Так появилась H3: серии нет; три последних эпизода — ложные срабатывания, первый — отдельная история. Ксения записала её и почувствовала, почему она неудобна: если H3 верна, серию, о которой она докладывала с октября, нарисовала техника центра. Таблица — в разделе 3.

Ваша оценка В-5.1. Покажет ли разбор записей, что хотя бы один из эпизодов Э2–Э4 вызван не человеком — животным или ложным срабатыванием программы? Запишите вероятность от 0 до 100 %. Исход будет раскрыт в главе 12.

11:30. Два набора чисел

Вероятности записали порознь. Ксения дала H1 — 40 %, H2 — 25 %, H3 — 15 %, H4 — 15 %, иному — 5 %. У Вережникова вышло: H1 — 10 %, H2 — 25 %, H3 — 20 %, H4 — 40 %, иное — 5 %.

На H2 они сошлись. Расходились в главном. Каждый отдавал больше всего своей версии; у Ксении «своя» к тому же была той, против которой говорил прошлогодний журнал.

— Твои сорок держатся на том, что точки лежат рядом, — сказал он. — Мои — на том, что они не похожи друг на друга. Ни то ни другое не проверено. Давай договоримся, что проверим первым.

Ксения не стала снижать оценку до его. Она записала в журнал версий оба столбца и строку: «Расхождение по H1 — в четыре раза. Различит: разбор каждого эпизода по кадрам; полный журнал срабатываний до и после 20 октября».

Ваша оценка В-5.2. Подтвердит ли итоговый доклад по серии, который Ксения представит в марте, версию H1 — целенаправленный интерес к объекту? Запишите вероятность от 0 до 100 %. Исход будет раскрыт в главе 21.

12:00. Записка

Абзац, ушедший Сомову, стал почти втрое длиннее: «На северном участке за пять недель зафиксированы четыре ночных эпизода (9, 23, 30 октября, 13 ноября). Не исключён целенаправленный интерес к северной части периметра объекта; рабочая версия H1, оценка около 40 %. Другие рабочие версии: бытовые проходы (около 25 %); ложные срабатывания программы видеоаналитики, обновлённой 20 октября, — Э2–Э4 произошли после обновления (около 15 %); смешанная серия с разными причинами (около 15 %); иное — 5 %. Различит: разбор каждого эпизода по кадрам и полный технический журнал срабатываний. Предлагается до различения версий продлить дополнительные ночные обходы участка после 14 ноября».

В еженедельную сводку Сомов взял первую фразу и слова о том, что не исключён целенаправленный интерес к северной части периметра объекта: на участок отводилась одна строка. Остальные версии остались в рабочей записке. Тогда это казалось вопросом формата.

16:30. Журнал, которого нет

Пётр принёс неожиданный ответ: в журнале оператора сохранились только срабатывания с отметкой «человек». Полный журнал до 20 октября хранился в старом формате, выгрузить его могла только техническая служба. Запрос ушёл. По журналу оператора H3 нельзя было ни подтвердить, ни снять: его отфильтровал человек, который ждал людей. Ксения дописала в строку H3: «Недоказанная — не опровергнутая. Держать до ответа технической службы».

В журнал прогнозов она внесла три строки — был ли человек в Э2, Э3 и Э4: 85, 70 и 90 %. Разрешит их разбор исходных кадров.

Развилка. Уйди абзац в 08:40 в одну версию, всё в нём было бы правдой, но технический журнал никто бы не запросил, а любой новый эпизод ложился бы в «серию». А если H1 всё-таки верна? Тогда правило стоило часа работы и двух строк в записке, а разбор кадров нужен и для H1.

Вопрос читателю: Вережников сам предложил H4 и дал ей 40 %. Что сделать, чтобы его версия не стала той же защитой, от которой он предостерегал Ксению?

6.2. «Химзавод закрывают»

Паспорт кейса

09:40. Три сообщения за час

Слух пришёл к Лизе тремя путями. Пост в городском паблике: «Химзавод закрывают с нового года, будут сокращения. Знакомая из отдела кадров рассказала». Фотография из чата работников, присланная читателем: часть листа с заголовком «О приостановке работы цеха № 3 с 1 декабря» и обрывком строки «…работники цеха будут…». И сообщение Артёма с заседания городской думы: «Депутат говорит, что слышал про закрытие от людей с завода».

10:00. «Это фейк»

Первая мысль Лизы: фейк. Месяц назад издание публиковало интервью директора завода о расширении производства — новой линии и наборе людей. Гусева написала в чат: «Пишем, что слух не подтверждается?» Лиза начала заголовок «Слух о закрытии химзавода — фейк» и остановилась: он был слишком удобным.

10:15. Три слота

Вопрос она записала так: «Что происходит на заводе и что из этого касается работников?»

• «Моя»: V2 — слух ложный, ничего существенного не происходит. Основание — недавнее интервью о расширении.

• «Обычная»: V3 — слух вырос из частного события: остановка цеха, ремонт, перевод людей — и по дороге превратился в «закрытие». Чаще всего такие слухи рождаются именно так.

• «Неудобная»: V1 — слух верен: завод закрывают или сокращают людей. Неудобна она просто: если V1 верна, месяц назад издание напечатало интервью, которое ввело читателей в заблуждение.

Вероятности Лиза записала до звонков: V2 — 55 %, V3 — 30 %, V1 — 10 %, иное — 5 %.

Потом она разобрала источники. Пост ссылался на «знакомую из отдела кадров» — пересказ через одно звено. Артём переспросил депутата: «люди с завода» оказались тем же постом, который депутату переслали утром. Два источника из трёх были одним. Фотография — единственный документ, обрезанный, без даты и подписи — не подходила ни к версии Лизы (приостановка цеха — не «ничего не происходит»), ни к V1 в подаче поста (речь об одном цехе). Лучше всего она ложилась в V3.

Ваша оценка В-5.3. Подтвердится ли к вечеру, что часть работников завода действительно потеряет работу? Запишите вероятность от 0 до 100 %.

12:30. Звонки

Артём дозвонился до пресс-службы завода. С 1 декабря цех № 3 останавливают на четыре месяца для реконструкции очистных сооружений. В цехе работают 140 человек. Сто десять переводят на другие участки завода, в том числе на новую линию. Тридцати работникам со срочными трудовыми договорами их не продлят. Завод не закрывается.

Председатель профсоюзной организации подтвердил «тридцать» и добавил: о приостановке объявили приказом, без собрания и объяснений. «Вот и пошло: закрывают».

Лиза пересчитала: 110 и 30 — все 140 работников цеха. Слух о закрытии был ложным, о потере работы — нет: формально это не сокращение, а непродление срочных договоров, но тридцать человек останутся без работы.

Исход В-5.3: да — тридцати работникам цеха № 3 не продлят срочные договоры.

15:00. Публикация

Заметка вышла под заголовком «Химзавод не закрывается: цех № 3 остановят на четыре месяца, тридцати работникам не продлят договоры». В тексте — что подтвердили пресс-служба и профсоюз и что пост и слова депутата восходят к одному источнику.

17:30. Цена удобного заголовка

«Хорошо, что не написали „фейк“», — сказала Гусева. Лиза думала о другом: заголовок, начатый в 10:00, опроверг бы ложь о закрытии завода — и заодно правду о тридцати людях.

Развилка. Допустим, пресс-служба не ответила бы до вечера. Тогда — не «фейк» и не «закрывают», а, например: «Распространяется слух о закрытии химзавода. У редакции есть фотография документа о приостановке цеха № 3 с 1 декабря; подлинность проверяется, запрос заводу направлен. Сведения о закрытии и сокращениях пока не подтверждены и не опровергнуты».

Дебрифинг для двух историй

• Уровень 1. Версии. Разложите версии каждой истории по трём слотам. Какая была «моей» в первый час и какая оказалась ближе к правде?

• Уровень 2. Неудобная. Кого она задевала у Ксении и у Лизы? Каким из четырёх вопросов её нашли?

• Уровень 3. Источники. Почему два источника Лизы оказались одним? Какой источник Ксении был отфильтрован ожиданием?

• Уровень 4. Цена ошибок. Что стоила бы сводка с одной версией, если серия смешанная? Что стоил бы заголовок «фейк» тридцати работникам цеха?

7. Когда инструмент вредит

Случай 1. Версии-чучела. Две из трёх версий заведомо нелепы: правило выполнено, а сравнивать нечего. Исправление: каждую версию должен быть готов защищать хотя бы один разумный коллега; спросите человека со стороны, какая версия самая слабая и почему.

Случай 2. Ложное равновесие. Три версии получили по трети: «все равны, пока не доказано обратное». Это отказ от оценки: журнал участка и сезон уже что-то говорят о вероятностях. Правило требует трёх версий, а не трёх равных; вероятности могут быть 70, 20 и 10 %.

Случай 3. Версии вместо действия. Одна из версий указывает на опасность, а аналитик продолжает различать версии и молчит. Исправление: защитные меры — по самой опасной правдоподобной версии (гл. 2), различение — параллельно. Ксения предлагает продлить усиление, не дожидаясь технической службы, — и это правильно.

Случай 4. Неудобная версия как приговор себе. «Раз неприятно, значит, правда» — та же ошибка с обратным знаком. Слот «неудобная» даёт версии место и проверку, но не победу.

Три версии — не цель. Цель в том, чтобы у вывода был соперник, способный его победить.

8. Практикум

Базовый уровень

А. Семейная загадка в трёх слотах. Вспомните, как кто-то из близких недавно поступил непонятно: не перезвонил, резко ответил. Запишите вашу версию, обычную («как такое чаще всего бывает») и неудобную — ту, в которой причина в вас. Для каждой — один факт, который её подтвердил бы. Какой из них вы тогда проверили?

Б. Новость с одним объяснением. Найдите новость, где событию дано одно объяснение («авария из-за…»). Запишите две конкурирующие версии и для каждой — что должно было бы быть в тексте, если бы верна была она. Есть ли это там?

Профессиональный уровень

В. Абзац для сводки. Перепишите абзац Ксении из 08:40 не длиннее пяти строк: три версии с вероятностями, «иное», различающий шаг, предложение о мерах. Затем сократите до одной строки, из которой видно, что вывод не единственный. Время — 15 минут.

Г. Неудобная версия вашей службы. Для вывода вашего подразделения, уже доложенного наверх, найдите по четырём вопросам неудобную версию: кого она задевает, что должно наблюдаться, если она верна, кто мог бы её проверить, не будучи автором вывода. Время — 20 минут.

Продвинутый уровень

Д. Сценарий «Подрезанное дерево» (90 минут, группа). Участники объясняют серию протечек в архиве делового центра. Группы получают три разных бланка: с тремя напечатанными версиями и строкой «иное» («подрезанный»; истинной причины в нём нет), с шестью версиями («полный») и с тремя пустыми слотами «моя / обычная / неудобная». Справку о частотах все получают только после первого распределения вероятностей. Измеряется, сколько вероятности получило «иное» в подрезанном бланке против полного, найдена ли неудобная версия и запрошен ли первым различающий факт. Сценарий с ключом и расчётами — в пособии для инструктора (сценарий 5.1).

Е. Сценарий «Один слух — три источника» (45 минут). Ход Лизы на новом слухе — в пособии для инструктора (сценарий 5.2).

9. Аттестация и обратная связь

Этот раздел можно пропустить, если вы читаете для себя.

Сумма 0–10 — учебная обратная связь; валидированных порогов нет.

Критические ошибки: вывод доложен наверх в одну версию, хотя альтернативы были известны; неудобная версия опущена, потому что касается решения руководства; версия о конкретном человеке подана как установленный факт; противоречащий факт зачислен своей версии без записи, что он должен был показать сопернице.

Слабый ответ на вопрос «Что написать в сводку о северном участке 13 ноября?»: «Серия из четырёх эпизодов указывает на целенаправленный интерес к периметру; бытовые причины маловероятны». Почему слабый: одна версия, альтернативы названы, только чтобы их отвергнуть; нет неудобной версии, вероятностей и различающего шага.

Сильный ответ: записка Ксении в 12:00 (раздел 6.1): неудобная версия названа и проверяется первой, вероятности в сумме 100 %, есть различающий шаг, меры не ждут различения. Сильный ответ не обязан давать H1 меньше 40 %: рубрика оценивает, есть ли у вывода соперник, а не совпадение с эталоном.

10. Выход в жизнь

Карточка на рабочий стол

В Протокол проверки убеждений. Это пятая строка вашего Протокола — «Конкурирующие версии, включая неудобную». Для текущего важного вывода запишите три версии в трёх слотах — мою, обычную и неудобную — с вероятностями и строкой «иное», а рядом — кого задевает неудобная версия и какой факт отличит её от вашей. Если неудобную версию найти не удалось, запишите и это: вывод пока не проверялся на самом важном сопернике.

Главное за минуту

• Пока версия одна, вы не анализируете, а защищаете: на любой довод против у вас уже готов ответ.

• Версии, которых нет на бумаге, теряют вероятность, а не переходят в «прочее»; это касается и опытных специалистов. Строке «иное» нужна честная доля.

• Три слота: моя, обычная, неудобная. Неудобная — та, что задевает вас или вашу службу; её находят четырьмя вопросами.

• Работает довод против, а не довод за. Неудобная версия — его надёжный источник.

• Недоказанная версия — не опровергнутая. Если любое противоречие вы объясняете в пользу своей версии, у неё больше нет соперника.

Заключение главы. Правило трёх версий не делает аналитика умнее. Оно лишь мешает ему остаться наедине со своей версией. Версии на бумаге спорят с нашей, и этот спор нельзя выиграть заранее; самая полезная из них обычно та, которую меньше всего хотелось записывать. В следующей главе версии встретятся со свидетельствами в одной таблице, и выяснится, что таблица тоже умеет защищать.

Глава 6. Анализ конкурирующих гипотез — и чем он не является

Как пользоваться матрицей версий, не позволяя ей думать за вас

Закон главы. Матрица показывает слабое место, но не даёт ответа.

Проверка «КОМПАС»: К, О. Строка Протокола: матрица версий и свидетельств.

Пролог. Таблица, которая успокоила

18 ноября, 17:40. На экране у Ксении Лариной таблица: четыре версии серии на северном участке по столбцам, девять свидетельств по строкам. В каждой клетке — плюс, если свидетельство согласуется с версией, минус, если противоречит, ноль, если к ней не относится. Внизу — сумма минусов.

У её версии H1 — «целенаправленный интерес к объекту» — один минус. У H3 — «ложные срабатывания после обновления программы» — три. Метод, придуманный, чтобы ловить предвзятость, её версию не опроверг, и Ксения узнала в себе то же облегчение, что утром 13 ноября.

Остановитесь и ответьте письменно. Первые две строки таблицы Ксении: «все четыре эпизода — ночью» и «все на одном отрезке ограждения». Именно на них, по её собственным словам, держится ощущение серии. Какую из четырёх версий они делают вероятнее остальных? И второй вопрос: у версии H4 — «смешанная серия, причины разные» — ноль минусов. Значит ли это, что она лучшая?

Открытие пролога. Матрица не взвешивает версии за вас. Её настоящая польза — показать, какие свидетельства ничего не различают и чего не хватает, чтобы различить.

Границы. Матрица — способ разложить вывод, а не процедура расследования; версия о конкретном человеке остаётся гипотезой, решения о людях и мерах принимают уполномоченные лица в установленном порядке. Из главы 5 пригодятся три слота версий.

1. Что показывает наука

1.1. Метод в словах автора. Ричардс Хойер описал анализ конкурирующих гипотез как восемь шагов [35, гл. 8]: перечислить версии; перечислить значимые свидетельства и доводы; построить матрицу «версии по столбцам, свидетельства по строкам»; уточнить её, удалив свидетельства, у которых нет диагностической ценности; сделать предварительные выводы, пытаясь опровергать версии, а не подтверждать; проверить, насколько вывод чувствителен к нескольким ключевым свидетельствам; доложить о вероятности всех версий, а не только самой вероятной; назвать признаки, по которым будет видно, что события пошли иначе.

Три мысли Хойера стоит знать почти дословно. Первая — о диагностичности. Высокая температура многое говорит врачу о том, что пациент болен, но мало говорит о том, чем именно; если свидетельство согласуется со всеми версиями, у него может не быть диагностической ценности. Вторая — об асимметрии: плюсы, означающие согласие свидетельства с версией, гораздо менее значимы, чем минусы; обычно вероятнее та версия, против которой меньше всего свидетельств, а не та, за которую больше всего. Третья — о границах самого метода: матрица не должна диктовать вывод, решение принимает аналитик, а не таблица. Хойер прямо пишет, что нет гарантии, что анализ конкурирующих гипотез или любая другая процедура дадут верный ответ. Метод, по его словам, гарантирует лишь надлежащий процесс анализа [35, гл. 8].

Ограничение. Это утверждение автора метода, а не результат измерения. Насколько метод улучшает выводы, проверяли позже, и результаты для него неудобны.

1.2. Помогает тем, кому меньше нужно. В 2004 году Брант Чейкс, Марк Браун, Пол Лехнер и Леонард Адельман провели в корпорации MITRE опыт с 24 сотрудниками исследовательской организации; у половины был опыт разведывательного анализа — от 1 до 18 лет [8]. Участники оценивали три версии причины взрыва в орудийной башне линкора «Айова» в 1989 году. Шестьдесят свидетельств они получали четырьмя порциями и после каждой распределяли уверенность между версиями. Половина работала с матрицей анализа конкурирующих гипотез, половина — без неё. Предвзятость подтверждения измеряли как связь между уверенностью до порции и тем, как участник оценивал свидетельства следующей порции.

Предвзятость нашлась, и проявлялась она в основном в весе: свидетельствам, подтверждающим своё мнение, давали больший вес, а смысл свидетельств искажали редко (с. 15). В целом по группам разница незначима: 0,282 с матрицей против 0,359 без неё (табл. 3, с. 10; с. 11). Матрица ослабила эту связь только у тех, у кого не было опыта анализа: 0,193 против 0,774 без матрицы. У участников с опытом заметного эффекта не было: 0,303 с матрицей против 0,176 без неё (с. 13). Якорения матрица тоже не уменьшила (с. 9). Вывод авторов: метод в его нынешнем виде не даёт надёжного способа снизить предвзятость подтверждения (с. 16).

Ограничения. Это технический отчёт, а не журнальная статья; выборка мала — в подгруппах было по 5–7 человек (с. 13), — а деление на опытных и неопытных получилось случайно, а не по плану (с. 13, прим. 4). Задача была проще реальной: 60 свидетельств вместо сотен, почти все надёжные, и ни одно не было задумано как согласное сразу с двумя версиями (с. 6, 16).

1.3. Процесс изменился, точность — нет. Пятнадцать лет спустя Мандип Дами, Йен Белтон и Дэвид Мэндел проверили метод на 50 британских аналитиках, проходивших плановое обучение в разведывательной организации [13]. Средний стаж участников — около 14 месяцев. Половину случайно выбрали и провели с ней полудневное занятие по методу; вторая половина прошла это обучение уже после опыта. Задача: определить, к какому из четырёх вымышленных племён относится человек, по двенадцати свидетельствам; базовые частоты племён были даны в условии. Истина задавалась вероятностной моделью.

Метод изменил то, что люди делали. Обученные чаще учитывали все двенадцать свидетельств (92 % против 68 %), чаще принимали во внимание диагностичность (80 % против 32 %) и гораздо чаще проверяли чувствительность вывода (60 % против 4 %). Но верную версию выбрали 36 % обученных и 33 % необученных — разница незначима. При этом обученные реже использовали данные им базовые частоты (12 % против 52 %), чаще ставили версии вровень (80 %, 20 из 25, против 19 %, 3 из 16 необученных, для которых это удалось определить). Собственное правило оценки свидетельств последовательно применял лишь один обученный из 25 (у необученных, для которых это удалось определить, — 4 из 9), а итоговый вывод обученных совпадал с их же матрицей лишь в 64 % случаев. Авторы называют свидетельства того, что метод снижает предвзятость подтверждения, неоднозначными и допускают, что он может увеличивать непоследовательность и ошибку [13]. Анкету, которую эти аналитики заполнили после задания, авторы описывают в работе Мэндела и коллег 2018 года на тех же 50 аналитиках; там же показано, что обучение методу не повысило точность (гл. 2). Поэтому это не независимое подтверждение, а второй взгляд на ту же выборку.

Ограничения. Выборка невелика, стаж участников мал, задача проще реальной работы; сами авторы призывают проверить метод на более разнообразных задачах.

1.4. Метод живёт и развивается. В третьем издании пособия Рэндольфа Фёрсона и Ричардса Хойера по структурированным аналитическим техникам — 66 техник; анализ конкурирующих гипотез — лишь одна из них, рядом с техниками порождения версий и новой техникой поиска несоответствий [70]. Довода в пользу метода здесь нет, есть напоминание: место в учебниках — ещё не измеренная польза.

Из этих работ следует неудобный вывод. Матрица меняет процесс: заставляет смотреть на все свидетельства и думать о диагностичности. Но лучших ответов она сама по себе не даёт и у опытных людей может не снижать предвзятость. Базовые частоты при ней легко забываются.

2. Авторский инструмент: «Матрица версий и свидетельств»

Определение. «Матрица версий и свидетельств» — авторская учебная переработка анализа конкурирующих гипотез. От метода Хойера она берёт главное: сравнивать версии по тому, что им противоречит, и вычёркивать то, что ничего не различает. К нему добавлены четыре правила, которые отвечают на слабые места, найденные в исследованиях: проверка на «губку», базовые частоты вне матрицы, правило ничьей и обязательный выход — следующий различающий шаг.

Карточка инструмента

Правило ничьей. Если две версии набрали одинаково мало минусов, это не повод писать «версии равновероятны». Это сообщение о том, что у вас нет свидетельства, которое их различает. Ничья — не вывод, а задание: найти такое свидетельство.

2.1. Пример заполнения: матрица Ксении

18 ноября, через пять дней после четвёртого эпизода (гл. 5), Ксения построила матрицу по четырём версиям из своего журнала: H1 — целенаправленный интерес к объекту; H2 — бытовые проходы; H3 — Э2–Э4 — ложные срабатывания после обновления программы 20 октября, Э1 — отдельный эпизод; H4 — смешанная серия, причины разные, целенаправленного интереса нет.

Первым порывом Ксении было записать: «H1 опровергнуть не удалось». Вечером она показала матрицу Вережникову.

19:10. Две пустые строки. Вережников пропустил итог и начал с шага 4. Строки С1 и С2 одинаковы во всех столбцах — их нужно вычеркнуть. Ксения возразила: ночь и одно место — это и есть серия. «Именно, — сказал он. — Это то, что делает серию серией в твоей голове. Но рыбаку тоже удобна ночь, программа тоже срабатывает ночью, и все четыре версии живут на одном отрезке. Эти строки не говорят, какая версия верна».

После вычёркивания суммы не изменились. Изменилось другое: из таблицы ушли строки, на которых держалось ощущение серии, — то, что делало H1 сильной в её голове.

19:30. Моя губка. Потом Вережников показал на свой столбец. «У H4 ноль минусов. Это не потому, что она верна, а потому, что я сформулировал её так, что ей ничего не противоречит. Фонарь — значит, часть эпизодов бытовые. Размытое пятно — значит, часть ложные. Что запрещает моя версия? Только одно: целенаправленный интерес. Больше ничего». Он вписал в карточку строку «H4 запрещает: …» и оставил её почти пустой.

Ксения заметила то, что матрица показывала, но не говорила вслух. Столбцы H1 и H2 почти совпадают. Ни в одной строке у H1 нет плюса там, где у H2 его нет. А единственная строка, где они расходятся по минусам, С8, говорит против H1. Значит, разница между её 40 % и 25 % (гл. 5) держалась не на свидетельствах из этой таблицы. Она держалась на ощущении серии, которое давали две вычеркнутые строки.

20:00. Матрица по эпизодам. Вережников предложил последний шаг: перестать спрашивать о серии и спросить о каждом эпизоде. Для каждого — четыре объяснения: человек с бытовой целью (Б), человек с целенаправленным интересом (Ц), животное (Ж), ложное срабатывание программы (Л). Тогда H1–H4 превратятся в итоги разбора эпизодов: H4, например, — это «в разных эпизодах разные буквы, и нигде нет Ц».

Таблица по эпизодам сказала больше, чем матрица серии. По меньшей мере в двух эпизодах был человек, Э3 открыт. А главное: ни в одном эпизоде нет свидетельства, которое отличает бытовой проход от целенаправленного интереса. Вопрос H1 против H2 нынешние данные не решают; в пользу Ксении в них — ничего.

Ксения снизила H1 до 35 % и записала причину: «Строки, на которых держалась оценка, ничего не различают». Снижение было меньше, чем хотел бы Вережников, но больше, чем Ксения позволила бы себе неделю назад. H2 осталась на 25 %, иное — на 5 %. H3 Ксения снизила до 10 %: Вережников показал на строку Э4 — «Л −−» — и на её же 90 % «в Э4 был человек» в журнале прогнозов. Версия, которой нужен ложный Э4, не может стоить больше 10 %. H4 она подняла до 25 %: по таблице эпизодов буквы действительно разные, хотя губкой H4 от этого быть не перестала.

Выход матрицы. В записку о матрице Ксения не вписала «наиболее вероятная версия». Она вписала, какие шаги различат версии: исходные кадры Э2 и Э3 от технической службы; маршрут человека при следующем эпизоде; утренняя проверка следов, если эпизод случится на свежем снегу. Последний пункт Вережников попросил записать как прогноз — с числом.

Ваша оценка В-6.1. Если следующий эпизод на северном участке произойдёт после снегопада, окажется ли, что утром на свежем снегу у ограждения нет следов человека? Запишите вероятность от 0 до 100 %.

Ваша оценка В-6.2. Покажет ли разбор исходных кадров, что Э2 (23 октября, 02:05) — человек? Запишите вероятность от 0 до 100 %.

Ответ на первую оценку — в главе 8, на вторую — в главе 12.

Ксения записала в журнал прогнозов: «Следующий эпизод после снегопада — утром будут следы человека: 80 %».

Что показал пример. Матрица серии почти ничего не решила: её лидерами оказались «обычная» H2, под которую никто не собирал свидетельств, и губка H4. Полезной она стала, когда её прочитали наоборот: вместо «кто выиграл» — что вычеркнуто, что запрещено, чего нет. Это и есть закон главы: матрица показывает слабое место, но не даёт ответа.

2.2. Для профессионала: как читать матрицу

Читателю «для себя» можно перейти к разделу 3.

Считать минусы, а не плюсы. Хойер прямо пишет, что согласие свидетельства с версией значит гораздо меньше, чем противоречие [35, гл. 8]. Матрица, в которой сравнивают число плюсов, превращается в инструмент подтверждения — то есть в то, против чего метод придуман.

Отмечать вес, а не только знак. В опыте Чейкса и коллег предвзятость проявлялась главным образом в весе свидетельств, а не в их толковании [8]. Знаки «+» и «−» скрывают вес. Если два свидетельства явно неравны по силе, это нужно показать: «−−» или отметка о надёжности источника. Как перейти от знаков к числам — отношению правдоподобия, — разбирают главы 2 и 9.

Фиксировать правило до заполнения. Последовательно применить собственное правило оценки смогли лишь 4 % обученных методу аналитиков [13]. Поэтому правило отметок записывается над таблицей до первой клетки: что значит «−», а что «−−». Отметки в группе сначала ставятся независимо, расхождения обсуждаются построчно.

Если вывод расходится с матрицей — объяснить письменно. Больше чем у трети обученных вывод не совпал с их собственной матрицей [13]. Расхождение не запрещено — решает аналитик, а не таблица, — но записывается: какая строка весит больше, чем показывает знак, и почему.

Базовые частоты — отдельной строкой под таблицей. Метод не говорит, что делать с частотами, и в опыте Дами и коллег обученные пользовались ими вчетверо реже необученных [13]. Поэтому под матрицей стоит строка «Мера обычного»: как часто каждая версия оказывается верной в похожих случаях. Для северного участка это журнал прошлого года: примерно три из четырёх ночных эпизодов — бытовые, подтверждённых случаев целенаправленного интереса — ни одного.

3. Когда инструмент вредит

Случай 1. Губка выигрывает. Самая расплывчатая версия набирает меньше всего минусов и объявляется самой вероятной. Исправление: проверка «что она запрещает»; версия, которая ничего не запрещает, по счёту не выигрывает, пока её не уточнят.

Случай 2. Ничья как вывод. Матрица дала равенство, и в докладе написано «версии равновероятны». В опыте Дами и коллег обученные методу ставили версии вровень в четыре раза чаще необученных [13]. Исправление: правило ничьей — равенство означает, что нужно искать различающее свидетельство, а вероятности ставятся по всему, что известно, включая базовые частоты.

Случай 3. Таблица как печать. Матрицу строят после того, как вывод уже сделан, чтобы приложить её к докладу. Строки подобраны под ответ, клетки заполнены по памяти. Исправление: матрица строится до доклада, её строки и правило отметок фиксируются до заполнения, а проверяет её человек, не строивший её. Красивая таблица не делает вывод верным — этому посвящена глава 20.

Случай 4. Опытный аналитик, которому метод не помогает. Метод навязан как обязательный, а у опытного специалиста он не снижает предвзятость [8] и лишь отнимает время. Исправление: использовать матрицу там, где её польза видна, — в сложных делах с многими свидетельствами, при работе группы, при передаче дела другому человеку; в простом деле хватает трёх слотов (гл. 5) и различающего факта (гл. 2).

Метод полезен как способ показать другому, на чём держится вывод. Как способ получить вывод он не проверен.

4. Практикум и аттестация

Базовый уровень

А. Матрица выбора. Вы выбираете одну из трёх квартир, и вам кажется, что лучшая — первая. Запишите три версии ответа на вопрос «какая квартира лучше для моей семьи» и восемь свидетельств: цены, отзывы, дорога до работы, шум. Вычеркните строки, которые одинаковы для всех трёх. Сколько строк осталось? Какая из оставшихся, если она неверна, меняет ваш выбор?

Профессиональный уровень

Б. Переписать губку. Перепишите версию H4 Вережникова так, чтобы она что-то запрещала: какие эпизоды чем объясняются и какое наблюдение её опровергнет. Затем заново заполните её столбец в матрице Ксении. Критерий: у новой H4 есть хотя бы один возможный минус. Время — 20 минут.

Продвинутый уровень

В. Сценарий «Губка и частоты» (90 минут, группы по 3–4 человека). Группы строят матрицу по делу о перебоях с отоплением в микрорайоне: четыре версии, одна из них — расплывчатая «сочетание причин», десять свидетельств, справка о частотах причин по прошлым случаям. Одни группы получают справку до матрицы, другие — после, третьи не получают вовсе. Измеряется, какая версия выиграла по счёту минусов, совпала ли она с истиной сценария, использована ли справка о частотах, найдена ли губка и назван ли следующий различающий шаг; итоговая точность — по баллу Брайера для нескольких версий (как его считать — в пособии для инструктора). Полный сценарий с ключом и расчётами — в пособии для инструктора (сценарий 6.1).

Сумма 0–6 — учебная обратная связь; валидированных порогов нет. Критические ошибки: матрица построена после вывода и выдана за его основание; строки, противоречащие своей версии, исключены без записи; версия о конкретном человеке подана как установленная по итогам подсчёта.

5. Выход в жизнь

Карточка на рабочий стол

В Протокол проверки убеждений. Это шестая строка вашего Протокола — «Матрица версий и свидетельств». Для текущего вывода запишите матрицу: версии по столбцам, свидетельства по строкам. Отметьте вычеркнутые неразличающие строки, для каждой версии — что она запрещает, и одну строку, от которой зависит исход. Последней строкой — шаг, который различит две ведущие версии.

Главное за минуту

• Матрица показывает слабое место, но не даёт ответа: решение остаётся за аналитиком, и это говорит сам автор метода.

• Самые убедительные строки часто ничего не различают. Их вычёркивают первыми.

• Считают минусы, а не плюсы. Но версия, которая ничего не запрещает, наберёт ноль минусов и не будет от этого вернее.

• Ничья — не вывод, а задание найти различающее свидетельство. Базовые частоты живут вне матрицы и не должны в ней теряться.

• В экспериментах метод менял процесс, но не повышал точность и у опытных людей не снижал предвзятость. Его сила — проверяемость вывода для другого.

Заключение главы. Анализ конкурирующих гипотез часто подают как лекарство от предвзятости. Данные этого не подтверждают, и честнее говорить о нём скромнее: это способ разложить вывод так, чтобы его слабое место увидел другой человек — или вы сами, если прочтёте таблицу наоборот. Ксения не получила из матрицы ответа. Она получила список того, чего не знает, и он оказался полезнее ответа. Следующая глава спросит, на каком допущении держится вся конструкция.

Глава 7. На чём держится вывод

Как найти допущение, на котором стоят все версии сразу, и проверить его раньше, чем выводы

Закон главы. У каждого вывода есть несущее допущение, о котором не спросили.

Проверка «КОМПАС»: П. Строка Протокола: несущие допущения.

Пролог. Письмо, которое уже написано

16 декабря, 10:00. Кабинет директора логистического комплекса. Пять дней назад ночью обрушилась часть кровли склада № 4. Людей на складе не было, пострадавших нет; под завалом остались стеллажи и погрузчик. Директор Борис Кравец кладёт перед вами лист с готовым текстом письма в проектный институт.

«Утром 11 декабря снеговая нагрузка на уцелевшей части кровли составила около 1,0 кПа. По проекту кровля рассчитана на 1,8 кПа. Конструкция разрушилась при нагрузке почти вдвое ниже проектной, что указывает на ошибку проектирования. Просим представить объяснения».

Кравец просит вас, независимого следователя, завизировать письмо: «Цифры же ваши. Я ничего не придумал».

Цифры действительно ваши: замер снега делали по вашей просьбе. Ошибки в арифметике нет. Прежде чем читать дальше, ответьте себе: поставите ли вы визу? И второй вопрос, важнее первого: запишите, что ещё должно быть правдой, кроме двух чисел, чтобы вывод письма был верным. Запишите хотя бы два условия.

Открытие пролога. Вывод держится не только на фактах, которые в нём названы. Он держится на допущениях, которые в нём не названы, потому что кажутся само собой разумеющимися. Самое опасное из них — то, которое разделяют все спорящие стороны: его не оспаривает никто.

1. Результат главы и границы применимости

После главы читатель сможет:

Выписывать для своего вывода не только основания, но и допущения — явные и неявные.

Находить несущее допущение: то, при ложности которого вывод меняется, — и особенно то, что общее для всех конкурирующих версий.

Проверять несущее допущение по источнику, который от него не зависит: по документу о фактическом состоянии, а не о задуманном.

Записывать в докладе, на каком допущении стоит вывод, проверено ли оно и что будет, если оно неверно.

Границы. Глава не учит расчёту конструкций и не заменяет экспертизы, установленных порядков расследования аварий и поверочных расчётов, которые выполняют уполномоченные специалисты. Строительные подробности в истории упрощены. Выводы о виновности людей и организаций — не задача аналитика: их делают уполномоченные лица в установленном порядке. Из главы 5 пригодится правило трёх версий, из главы 6 — матрица версий и свидетельств: эта глава спрашивает, на чём стоит сама матрица.

2. Дело: «Кровля склада № 4»

Начало дела — в главе 3: там Дмитрий Гаранин разбирал рассказ, который к утру 11 декабря знали все, — «снег не чистили, кровля не выдержала». Здесь дело продолжается.

Паспорт кейса

16 декабря, 10:20. Довод, у которого нет изъяна

Дмитрий не стал визировать письмо сразу, но и спорить не стал. Для директора довод выглядел неуязвимым: средняя нагрузка — 1,0 кПа, проектная, по паспорту объекта, — 1,8, то есть фактическая составляла около 56 % проектной. Если ферма разрушилась при такой нагрузке, значит, она не держала того, что должна была держать. А за то, что должна держать ферма, отвечает проект.

У Кравеца был и интерес, который Дмитрий отметил для себя без осуждения. Если причина — проект, претензия уходит к институту. Если причина — эксплуатация, вопросы задают комплексу. Интерес не делает довод ложным. Он делает его доводом, который нужно проверять с особым вниманием.

«Борис Аркадьевич, письмо пойдёт после того, как я проверю две вещи, — сказал Дмитрий. — Что было на кровле и что было в проекте. Неделя, не больше».

Ваша оценка В-7.1. Покажет ли независимая проверка проектного расчёта ошибку проектировщика, которая сама по себе объясняет обрушение? Запишите вероятность от 0 до 100 %.

16 декабря, 14:30. Четыре версии и одна общая опора

К обеду у Дмитрия был журнал версий. Каждая версия пришла от своей стороны, и у каждой был свой интерес.

В журнале стояли и числа 12 декабря: снег — 4 %, проект — 26 %, ферма — 31 %, иное — 39 % (гл. 9). Догадка о мешке за установками жила в блокноте, в журнал её Дмитрий не вписал (к этому вернётся глава 20). В тот же день стало видно, что за этой догадкой стоит не четвёртая версия, а вопрос к опоре, общей для всех трёх.

Он сделал то, чему научился после насосной станции (гл. 2): под каждой версией написал, что ещё должно быть правдой, чтобы она вообще имела смысл. Что её подтверждает, он уже знал; теперь его интересовало, на чём она стоит.

Под версией 1: «Кровля, очищенная по графику, выдержала бы». Под версией 2: «Ферма работала под теми нагрузками, на которые её проектировали». Под версией 3: «Нагрузки соответствовали проекту, значит, разрушение объясняется качеством самой фермы».

Три строки звучали по-разному, но говорили одно. Каждая версия молча исходила из того, что склад построен и эксплуатируется так, как спроектирован. Страховщик сравнивал снег с проектным, Кравец сравнивал снег с проектным, подрядчик каркаса сравнил бы снег с проектным. Спорили о том, кто виноват в разнице между проектом и снегом. Ни одна из сторон не спрашивала, совпадает ли с проектом всё остальное.

Дмитрий обвёл эту строку и подписал над ней: «Несущее допущение. Проверить первым».

17 декабря, 09:00. Что говорит проект

Архив комплекса выдал проект каркаса склада: чертежи, расчётную записку, схемы нагрузок. Дмитрий искал одно — оси 5–7 на плане кровли.

На плане кровли между осями 5 и 7 не было ничего, кроме кровельных панелей. В схемах нагрузок не было сосредоточенных грузов от оборудования. Зона снегоотложения у парапета в расчётной записке была учтена: проектировщик знал, что у парапета снег накапливается. А мешков за установками в записке не было и не могло быть: самих установок в проекте не существовало.

Дмитрий записал: «Проект: установок на кровле нет. Значит, установки появились после проекта. Вопрос: проверял ли кто-нибудь каркас под них».

Кравец, которому он позвонил, ответил без паузы: «Значит, институт должен был предусмотреть, что на кровлю что-то поставят. Это же склад, а не музей». Дмитрий записал и это, но в другую колонку — «довод стороны». Проектировщик рассчитывает конструкцию на нагрузки, заданные в задании на проектирование. Нагрузки, которых никто не задавал, — уже не вопрос к расчёту.

Ваша оценка В-7.2. Найдётся ли документ, которым кто-либо до монтажа проверил расчётом нагрузку от вентиляционных установок на каркас склада? Запишите вероятность от 0 до 100 %.

18 декабря, 11:00. Журнал арендатора

Склад № 4 целиком снимал один арендатор. Его главный инженер Сергей Тихонов принёс журнал эксплуатации и папку с документами по вентиляции. Говорил спокойно и подробно: скрывать ему было нечего, и он не понимал, к чему вопросы.

Запись в журнале была датирована октябрём прошлого года: «Монтаж двух приточно-вытяжных установок на кровле, оси 5–7, силами монтажной организации. Опорные рамы — на прогоны». В папке лежали паспорта установок с массой около 900 кг каждая, акт о выполнении монтажа и письмо арендатора в службу эксплуатации комплекса с просьбой разрешить размещение. На письме стояла виза: «Не возражаем при условии соблюдения действующих норм».

Проекта на размещение установок в папке не было. Поверочного расчёта каркаса — тоже. Проектировщика каркаса не привлекали.

Исход В-3.3: нет — проектировщика каркаса при установке оборудования не привлекали, пересчёта несущих конструкций не было.

Исход В-7.2: нет — документа, которым кто-либо до монтажа проверил бы каркас под установки, не нашлось.

«А кто должен был считать? — спросил Тихонов без вызова. — Нам разрешили. Мы думали, раз комплекс согласовал, значит, у них всё посчитано». Служба эксплуатации комплекса, как выяснилось позже, считала наоборот: раз арендатор обязался «соблюдать нормы», значит, расчёт — его забота. Каждая сторона полагала, что допущение «каркас проверен» проверил кто-то другой.

Это и есть механизм, по которому несущее допущение становится невидимым. Его не отвергают и не принимают. Его передают по цепочке, и на каждом звене оно выглядит уже проверенным на предыдущем.

Пауза: что показывает наука. Комиссия Силбермана — Робба, чей доклад о довоенных оценках иракских программ разобран в главе 5, сформулировала главный вывод о причинах жёстко [11]: ошибки были не результатом простого невезения, а продуктом плохого сбора сведений, недостаточной проверки сомнительных источников и аналитического процесса, который «определялся допущениями и умозаключениями, а не данными» (с. 47). Это разбор одного провала, а не исследование того, как часто выводы держатся на непроверенных допущениях. Но он показывает цену невидимого допущения там, где ошибку уже не исправить запиской. Против невидимых допущений в аналитической практике есть рабочая техника — «проверка ключевых допущений» (раздел 6) [86].

22 декабря, 15:00. Что меняется, если допущение неверно

Дмитрий вернулся к журналу версий и прошёл по нему заново, но теперь с новым знанием: склад эксплуатировался не так, как спроектирован. Теперь он спрашивал о каждой версии одно: что от неё остаётся, если опора выбита.

Версия 1, «снег не чистили», не исчезла, но сменила роль. График очистки в декабре действительно не выполнялся, это подтверждалось журналом. Очистка уменьшила бы снеговой мешок. Значит, невыполнение графика — способствующее условие. Но средняя нагрузка 1,0 кПа была ниже проектной, и «перегруз кровли снегом» в целом не объяснял, почему разрушился именно этот шаг ферм.

Версия 2, «ошибка проектировщика», потеряла главную опору. Довод Кравеца сравнивал снег с проектом, но на кровле стояли установки, которых проект не знал. Сравнение «1,0 против 1,8» перестало что-либо доказывать о проекте. Оставалась возможность, что в расчёте была и собственная ошибка, — её Дмитрий поручил проверить независимо.

Версия 3, «дефект фермы», осталась открытой. Установки не исключали дефекта узла; перегрузка и дефект могли сложиться. Узлы фермы требовали неразрушающего контроля сварки, и его включили в план на февраль.

И появилась версия, которой не было в журнале 16 декабря: местная перегрузка в шаге 6–7 у парапета — снеговой мешок за установками вместе с весом самих установок, которые поставили без пересчёта. В блокноте она стояла с вечера 12 декабря строкой «Снеговой мешок у парапета + установки. Проверить вес»; в журнал её внесли только теперь, когда у неё появилось основание.

Здесь Дмитрий сделал короткий учебный расчёт, чтобы показать Кравецу и страховщику, почему средние числа обманывают. Две установки по 900 кг весят вместе около 17,7 кН. Даже если отнести обе к одному шагу ферм и «размазать» их вес по площади, которую собирает одна ферма, — 24 × 6 = 144 м², — получится около 0,12 кПа. Выглядит ничтожно рядом с 1,8. Но установки не лежат на кровле ровным слоем. Каждая стоит на опорной раме, и рама передаёт вес на прогоны в нескольких точках: при четырёх опорах это около 2,2 кН на точку, там, где проект сосредоточенных грузов не предусматривал. А за установками ветер намёл снеговой мешок до 3,2 кПа — в 3,2 раза больше средней по кровле. Сравнивать его с 1,8 кПа напрямую нельзя: это проектная нагрузка на основную часть кровли; в проекте учтена зона снегоотложения у парапета, но не мешки за установками, которых в проекте нет. Сама оценка 3,2 кПа — глубина до 1,3 м, замеренная в уцелевшем шаге 5–6, при плотности 250 кг/м³, как на открытой части; это допущение учебной модели, а в мешке снег обычно плотнее, так что нагрузка, скорее, выше.

«Средняя нагрузка говорит, сколько снега на крыше, — сказал Дмитрий. — А ферма ломается не от средней, а от того, что лежит на конкретном элементе». Он подчеркнул, что конструкцию здесь не считает. Это лишь иллюстрация того, почему среднее число не отвечает на вопрос. Ответ даст поверочный расчёт специалиста.

Он записал в журнал новую строку и рядом — то, на чём держится уже она: «Местная перегрузка верна, если поверочный расчёт по фактической схеме нагрузок покажет превышение, а по проектной — нет, и если контроль узлов не покажет дефекта, который разрушился бы и без перегрузки». Новая версия тоже стоит на допущениях. Разница в том, что теперь они записаны.

14 января, 12:00. Поверочный расчёт

Ирина Малахова из сторонней экспертной организации получила задание без журнала версий Дмитрия и без письма Кравеца: только проект, обмеры, замеры снега и паспорта установок. Её попросили сделать две вещи. Первая — проверить проектный расчёт по проектной схеме нагрузок. Вторая — посчитать шаги 5–6 и 6–7 у парапета по фактической схеме: снеговой мешок по замерам, установки на опорных рамах.

По проектной схеме ферма проходила с запасом; ошибок, которые сами по себе объясняли бы обрушение, в проектном расчёте не найдено. По фактической схеме в шаге 6–7 прогоны крайней панели у парапета и верхний пояс фермы в этой панели оказались перегружены сверх несущей способности: опорная рама второй установки стоит там на прогонах посередине их пролёта. Рама первой установки в шаге 5–6 тоже стоит на прогонах, но прямо над узлами фермы, и её вес уходит в узлы, поэтому этот шаг при том же мешке устоял. Малахова отдельно оговорила: расчёт предварительный, окончательный вывод — после контроля сварки узлов.

Исход В-7.1: нет — проверка не нашла ошибки проектировщика, которая сама по себе объясняет обрушение.

Дмитрий показал результаты Кравецу. Тот долго молчал, потом спросил: «Письмо в институт, значит, не отправляем?» — «Отправляйте, если хотите. Но с другими вопросами: не „почему ферма не выдержала проектную нагрузку“, а „какую нагрузку от оборудования допускает каркас“. Этот ответ вам понадобится, когда установки будут ставить обратно».

3. Развилка и альтернативный финал

Альтернативный финал: виза 16 декабря. Допустим, Дмитрий завизировал бы письмо Кравеца. Цифры верные, вывод выглядит неизбежным, директор доволен. Институт ответил бы через месяц, приложив расчёт по проектной схеме, и был бы прав: по проекту ферма проходит. Начался бы спор двух сторон, каждая из которых права в своих допущениях. Спор длился бы до весны. А летом арендатор, получив отремонтированный склад, поставил бы установки обратно на те же прогоны — потому что документ, из которого следует, что их нельзя туда ставить без пересчёта, так и не появился бы. Следующей зимой снеговой мешок за установками лёг бы на ту же ферму.

Развилка: если бы расчёт нашёлся. Представьте, что 18 декабря в папке Тихонова лежал бы поверочный расчёт каркаса, выполненный проектной организацией арендатора. Допущение «каркас проверен под установки» было бы подтверждено документом. Значило бы это, что дело закрыто в пользу снега? Нет. Тогда несущим стало бы следующее допущение: «расчёт арендатора верен и учитывает снеговой мешок за установками». Внимание сместилось бы на этот расчёт: какие нагрузки в нём заданы, есть ли в нём мешок, совпадает ли схема опор с фактической. Версия «ошибка проектировщика» могла бы вернуться — но уже как ошибка другого проектировщика. Проверка несущего допущения не даёт заранее известного ответа. Она показывает, где проходит граница между проверенным и принятым на веру, и переносит работу туда.

Вторая развилка: если бы установки были в проекте. Если бы проект каркаса учитывал установки и мешки за ними, довод Кравеца обрёл бы силу. Тогда сравнение фактической нагрузки с проектной снова имело бы смысл, и версия ошибки в проекте или дефекта фермы стала бы главной. Тот же довод, те же цифры — и противоположное значение. Сила довода зависела не от арифметики, а от допущения, которое под ней лежало.

4. Реальный случай: модель за пределами калибровки

Случай изложен по отчёту Комиссии по расследованию катастрофы шаттла «Колумбия» (том I, август 2003 года) [10]; страницы указаны по печатной нумерации отчёта. Разбор посвящён механизму, а не оценке людей и организаций.

Что знали люди в тот момент. Во время полёта STS-107 специалисты оценивали, чем грозит теплозащите крыла удар куска теплоизоляционной пены, оторвавшегося при старте. Аналитики компании Boeing обратились к её математической модели под названием Crater. Она предсказывала, на какую глубину обломок проникнет в плитку теплозащиты (с. 143). Модель была откалибрована по испытаниям с ударами пены, льда и металла и подходила для небольших обломков — порядка трёх кубических дюймов (с. 143). В этих испытаниях она в определённых пределах предсказывала более тяжёлые повреждения, чем наблюдались. Поэтому инженеры считали Crater «консервативным» инструментом — таким, который завышает ущерб (с. 143). До STS-107 модель обычно применяли, чтобы решить, опасны ли для орбитального корабля небольшие обломки, чаще всего лёд с внешнего бака. Применение во время полёта было первым (с. 143).

Что видно задним числом. Кусок пены, который инженеры анализировали с помощью Crater, был по объёму до 640 раз больше обломков, на которых модель калибровали и проверяли; по лучшей оценке комиссии — примерно в 400 раз (с. 143–144). Комиссия пишет, что применение модели в этой новой и совсем иной ситуации подорвало способность точно предсказать повреждение, причём так, как инженеры группы оценки обломков полностью не осознавали (с. 143–144).

Где здесь несущее допущение. Отчёт не формулирует этот эпизод как «допущение»; это прочтение автора книги, как и перенос эпизода на расследования в строительстве. Слово «консервативный» было верным описанием модели в пределах её калибровки. За этими пределами оно превращалось в допущение: «раз модель обычно завышает ущерб, её результат — верхняя граница и здесь». Это допущение было разумным, привычным и подтверждённым прошлым опытом. Поэтому оно и не выглядело допущением. Для дела о кровле параллель прямая. «Проектная нагрузка на основную часть кровли 1,8 кПа» — верное описание проекта. Но сравнивать её с фактическим снегом можно лишь тогда, когда объект находится в пределах проекта, как модель — в пределах калибровки.

Ограничение. Мы взяли из отчёта один эпизод из раздела о модели Crater. Комиссия называет множество причин катастрофы, технических и организационных, и этот эпизод — не главная из них и не объяснение катастрофы целиком.