Такая теоретическая дискуссия небесполезна. Если в уникальных решениях столько же шума, сколько в типовых, тогда стратегии сокращения уровня шума в последних должны помочь улучшить и качество первых.
Эта рекомендация еще более парадоксальна, чем кажется. Когда вам предстоит принять единственное в своем роде решение, вы инстинктивно так к нему и отнесетесь: как к единственному в своем роде. Некоторые даже утверждают, что к уникальным решениям, принимаемым в условиях неопределенности, вообще неприменимы законы вероятностного мышления и что к подобным решениям нужно подходить совершенно иначе.
Наши наблюдения подсказывают, что следует действовать ровно наоборот. Руководствуясь соображениями уменьшения шума, мы должны относиться к уникальным решениям как к типовым решениям, принимаемым лишь единожды. Выносите ли вы суждение один или сотню раз, ваша цель – снизить при этом как масштаб смещения, так и уровень шума. При этом приемы, которые помогут этого добиться, должны оказаться настолько же эффективными для уникальных решений, как и для типовых.
К разговору об уникальных решениях
«Ваши решения в этой необычной ситуации рискуют подвергнуться действию шумовых помех».
«Не забывайте: уникальное решение – это типовое решение, принимаемое лишь однажды».
«Жизненный опыт, сформировавший вас как личность, не имеет отношения к вынесению данного суждения».
Часть II
Ваш разум – измерительный прибор
Чтобы что-то измерить как в повседневной жизни, так и проводя научные исследования, мы пользуемся специальными приборами, присваивая объекту или явлению некое значение по определенной шкале. Длину ковра в сантиметрах мы измерим рулеткой. Температуру в градусах по шкале Фаренгейта или Цельсия – термометром.
Нечто похожее происходит, когда мы выносим суждения. Назначая срок лишения свободы, судьи выбирают на шкале некую отметку. Так же поступают андеррайтеры, присваивая риску, который нужно застраховать, определенный эквивалент в долларах, или врачи, ставя диагноз пациенту. (Шкала необязательно должна быть числовой. «Виновен вне всяких сомнений», «меланома в поздней стадии», «рекомендовано хирургическое вмешательство» – все это тоже суждения.)
Таким образом, суждения можно охарактеризовать как измерения, инструментом для которых выступает человеческий разум. В само понятие измерения заложена идея достижения точного результата с целью приблизиться к истине и минимизировать ошибки. Мы выносим суждения не для того, чтобы произвести впечатление, отстоять точку зрения или в чем-то убедить. Важно заметить, что мы заимствовали понятие «суждение» из специальной литературы по психологии, и оно гораздо ?же, чем то, что используется в быту. «Суждение» не синоним «размышления», а «вынести точное суждение» не значит «проявить здравомыслие».
Мы определяем суждение как заключение, которое можно сформулировать при помощи одного слова или фразы. Когда аналитик разведывательной службы готовит длинный отчет c заключением, что режим в стране нестабилен, суждением здесь будет только само заключение. Термин «суждение», подобно «измерению», относится и к процессу вынесения суждения, и к его результату. Время от времени мы будем использовать слово «судить» в качестве специального термина для описания людей, выносящих суждения, даже если они не имеют никакого отношения к системе правосудия.
Хотя нашей целью и является точность, добиться ее полностью невозможно, даже проводя научные измерения, не говоря уже о вынесении суждений. Всегда будет некая погрешность в виде смещения или шума.
Чтобы убедиться, что шум и смещение вносят в суждения погрешность, попробуйте сыграть в игру, которая займет у вас не более минуты. Если ваш смартфон оснащен секундомером, наверняка там есть функция, которая позволяет отмерять последовательные временные интервалы, не останавливая секундомер и даже не глядя на экран. Ваша цель – не подсматривая в телефон, отсчитать пять последовательных интервалов ровно по 10 секунд. Перед началом эксперимента вы можете потренироваться, понаблюдав за прохождением десятисекундного интервала. Время пошло!
А теперь взгляните на экран и проверьте, сколько секунд пришлось на каждый засеченный вами отрезок времени. (Работа самого телефона тоже не лишена шума, но его уровень крайне низок.) Вы убедитесь, что время, отведенное вами на каждый интервал, вовсе не равняется десяти секундам и что между полученными значениями есть существенная разница. Вы пытались точно засечь одинаковое количество секунд, но потерпели неудачу. Разброс, неподвластный вашему контролю, – это пример шума.
Такой вывод совсем не удивителен, ведь шум – универсальное явление в физиологии и психологии. Вариативность среди индивидуумов заложена природой, и какие-то различия есть даже у близнецов. Процессы внутри одного человека тоже вариативны. Бывает, сердце сбивается с четкого ритма. Нельзя воспроизвести какой-то жест с идеальной точностью. При проверке слуха у отоларинголога одни звуки будут для вас всегда слишком тихими, а другие – всегда слышимыми. А некоторые вы будете различать лишь от случая к случаю.
Взгляните еще раз на пять значений, зафиксированных вашим секундомером. Прослеживается ли какая-нибудь закономерность? К примеру, если все временные отрезки оказались короче десяти секунд, возможно, ваши внутренние часы спешат. В этом простом задании смещение – положительная или отрицательная разница между десятью секундами и средним арифметическим отмеренных вами интервалов. Разброс же в ваших результатах – это шум, аналогичный увиденному нами разбросу попаданий по мишени. В статистике основной единицей измерения разброса
является стандартное отклонение; его-то мы и будем использовать для оценки уровня шума в суждениях.
Мы можем уподобить большинство суждений, особенно прогнозных суждений, вашим манипуляциям с секундомером. Прогнозируя, мы стараемся приблизиться к истинному значению. Экономический прогнозист пытается как можно точнее предсказать рост ВВП в следующем году, врач преследует цель поставить верный диагноз. (Отметим, что «прогноз» в этой книге используется как специальный термин и не подразумевает предсказание будущего. В этом смысле «прогнозом» может считаться поставленный пациенту диагноз.)
Мы будем часто прибегать к аналогии между суждениями и измерениями, так как она помогает наглядно объяснить роль шума в возникновении погрешностей. Прогнозист сродни стрелку, который целится в «яблочко», или физику, который пытается измерить точный вес частицы. Шум в суждениях подразумевает погрешность. Проще говоря, если целью суждения является истина, два отличных друг от друга суждения просто не могут быть верны одновременно. Так же как у измерительных приборов, погрешность у некоторых людей при выполнении определенных задач будет выше – возможно, из-за нехватки навыков или опыта. Так же как измерительные приборы, люди никогда не выносят идеальных суждений. Наша задача – понять и измерить возникающую при этом погрешность.
Безусловно, вынесение большинства профессиональных суждений гораздо сложнее фиксирования временных интервалов секундомером. В главе 4 мы рассмотрим различные виды профессиональных суждений и проанализируем, каковы их цели. В главе 5 мы обсудим, как измерить погрешность и количественно оценить роль системного шума. Глава 6 посвящена более глубокому изучению системного шума и его различных составляющих. В главе 7 мы подробнее исследуем одну из таких составляющих, а именно ситуативный шум. Наконец, в главе 8 мы продемонстрируем, как группы способны усиливать шум в суждениях.
Главы этой части книги подводят нас к простому заключению: как и любой измерительный прибор, человеческий разум несовершенен и его выводы подвержены воздействию смещения и шума. Почему и в какой мере? Давайте разберемся.
Глава 4
Субъективные суждения
Эта книга посвящена профессиональным суждениям в широком смысле. Предполагается, что те, кто выносит такие суждения, компетентны и стремятся к точным результатам. Однако само понятие суждения поневоле подразумевает, что в его точности никогда нельзя быть уверенным до конца.
Задумайтесь о значении выражений «субъективная оценка» или «субъективное решение». Никто не назовет субъективными утверждения о том, что завтра снова взойдет солнце или что формула хлорида натрия – NaCl. Ожидается, что каждый разумный человек безусловно с этим согласится. В субъективные оценки заложена доля неопределенности, и мы допускаем, что здравомыслящие и компетентные люди могут иметь разные мнения.
Существует, однако, некий предел тому, насколько сильно мнения могут не совпадать. Действительно, слово «суждение» в основном используют, когда предполагается некое согласие. Субъективные суждения не то же самое, что личные мнения или вкусы, где непреодолимые разногласия вполне допустимы. Руководители страховой компании, которых поразили результаты ревизии шума, едва ли удивились бы тому, что оценщики убытков имеют полярно противоположные взгляды на достоинства «Битлз» и «Роллинг Стоунз» или, к примеру, тунца и горбуши.
Субъективные суждения, в том числе профессиональные, находятся где-то между фактами и вычислениями, с одной стороны, и личными мнениями или вкусами – с другой. Для них характерно ожидание ограниченных разногласий.
Ответ на вопрос о допустимом масштабе разногласий в суждениях сам по себе является субъективной оценкой, зависящей от сложности проблемы. Особенно нетрудно достичь согласия по поводу суждений, лишенных здравого смысла. Судьи, чьи приговоры по типичному делу о мошенничестве могут сильно различаться, сойдутся в том, что штраф в размере одного доллара или пожизненный срок здесь совершенно неуместны. Члены жюри на конкурсе вин
могут спорить по поводу победителей, но единогласно забракуют неудачные вина.
Процесс вынесения суждения: пример
Прежде чем говорить о процессе вынесения суждений, мы предлагаем вам попробовать вынести свое собственное. Глава принесет больше пользы, если вы выполните нижеследующее упражнение до конца.
Представьте, что вы входите в комиссию, задача которой оценить кандидатов на должность генерального директора в довольно благополучной финансовой компании, столкнувшейся с ростом конкуренции. Вам нужно оценить вероятность успеха потенциального кандидата спустя два года после начала работы. Под успехом понимается способность кандидата удержаться на месте генерального директора по истечении двухлетнего срока. Оценку вероятности требуется выразить по шкале от 0 (невозможно) до 100 (определенно).
Майклу Гамбарди тридцать семь лет. Двенадцать лет назад он окончил Гарвардскую школу бизнеса и с тех пор успел поработать на разных должностях. В начале карьеры он стал основателем и инвестором двух стартапов, которые потерпели неудачу, не найдя необходимой финансовой поддержки. Затем Майкла наняла крупная страховая компания, где он быстро вырос до главного исполнительного директора в Европейском регионе. На этой должности он предложил и затем курировал изменения, позволившие оптимизировать урегулирование страховых исков. Коллеги и подчиненные находили Гамбарди эффективным, однако излишне властным и жестким: за время его пребывания в должности управленческий персонал менялся довольно часто. Сослуживцы также указывают на его честность и готовность взять на себя ответственность за неудачи. Последние два года Майкл является генеральным директором финансовой компании среднего размера, которая изначально находилась под угрозой банкротства. Ему удалось стабилизировать положение компании; коллеги считают его успешным, хотя подтверждают, что работать с ним нелегко. Гамбарди выразил заинтересованность в карьерном росте. По результатам собеседования, проведенного с ним несколько лет назад, специалисты по кадрам охарактеризовали его как в высшей степени находчивого и энергичного специалиста, отметив при этом, что он высокомерен и порой деспотичен.
Итак, Майкл претендует на должность генерального директора в относительно успешной региональной компании, столкнувшейся с растущей конкуренцией. Какова вероятность того, что, если Майкла пригласят на эту должность, он все еще будет генеральным директором два года спустя? Прежде чем продолжать читать, пожалуйста, оцените эту вероятность по шкале от 0 до 100. При необходимости перечитайте данную вам информацию.
Если вы отнеслись к этому упражнению серьезно, вероятно, оно показалось вам непростым. Информации довольно много, при этом она кажется довольно противоречивой. Вам пришлось потрудиться, чтобы составить для себя некий связный портрет специалиста, необходимый для вынесения суждения. При этом вы сосредоточили внимание на деталях, которые представлялись вам важными, и, скорее всего, не придали значения остальным. Если вас попросят объяснить свой выбор, вы назовете несколько характерных фактов, но их будет недостаточно для полноценного отчета о вашем решении.
Ваш мыслительный процесс при выполнении этого задания демонстрирует несколько особенностей умственных операций, называемых суждениями:
• Во всем наборе данных (которые могут быть лишь частью необходимой информации) вы посчитали некоторые детали более существенными, не осознавая своего выбора в полной мере. Вы заметили, что Гамбарди – это итальянская фамилия? Вы помните, где он учился? Задание намеренно перегружено информацией для того, чтобы вам непросто было вспомнить все детали. Вероятнее всего, ваше описание информации в задаче будет отличаться от того, что запомнили другие читатели. Избирательное внимание и избирательное припоминание – источники разброса в суждениях.
• Вы также неформально использовали выбранные вами детали в общем прогнозе успеха Гамбарди. «Неформально» – это ключевое слово. Для ответа вам не понадобилось составлять план. Практически незаметно для вас ваш разум составил цельный образ Майкла: его сильные и слабые стороны, трудности, с которыми он сталкивается в работе. Неформальность позволила справиться с задачей быстрее. В то же время она породила разброс. Формальный процесс, например суммирование цифровых показателей, гарантирует идентичные результаты, но при неформальных операциях определенная доля шума неизбежна.
• Наконец, вы преобразовали ваше общее впечатление в цифровой показатель на вероятностной шкале успеха. Сопоставление числа от 0 до 100 с неким впечатлением – это весьма примечательный процесс, к обсуждению которого мы еще вернемся в главе 14. И тут вы снова не можете сказать точно, почему ответили именно так. Скажем, почему вы выбрали 65, а не 61 или 69? Скорее всего, в какой-то момент вам в голову пришло некое число. Вы засомневались в его справедливости и в результате подумали о другом. Эта часть процесса тоже является источником разброса.
Поскольку каждый из этих трех шагов в сложном процессе вынесения суждения влечет за собой возникновение разброса, не следует удивляться, когда ответы на задачу про Майкла Гамбарди окажутся очень шумными. Если вы предложите это упражнение своим друзьям, скорее всего, вы обнаружите огромный разброс в оценках будущего успеха кандидата на должность. Когда мы дали это задание 115 студентам MBA, их оценки вероятности успеха Гамбарди варьировались от 10 до 95. Это очень шумный результат.
Между прочим, возможно, вы заметили, что задачка о Гамбарди и упражнение с секундомером служат примерами двух разных видов шума. Разброс во время нескольких попыток отмерить интервалы с секундомером – это шум в суждениях одного человека (вас). Разброс в задаче о Гамбарди – шум в суждениях разных людей. С точки зрения измерений первая проблема демонстрирует внутриэкспертную надежность, а вторая – межэкспертную.
Цель суждения: внутренний сигнал
Ответ, данный вами на задачу о Гамбарди, – прогнозное суждение в нашем определении этого термина. Однако оно существенно отличается от других суждений, которые мы также называем прогнозными. До какого значения завтра поднимется температура воздуха в Бангкоке? Кто победит сегодня вечером в футбольном матче? Кто станет следующим президентом? Если вы с приятелем расходитесь во мнениях на этот счет, когда-нибудь вы все равно узнаете, кто прав. Но если вы по-разному оцениваете шансы Гамбарди, точного ответа вы не узнаете даже со временем. Причина проста: никакого Гамбарди не существует.
Даже если бы в задаче говорилось о реальном человеке и мы знали ответ, невозможно подтвердить или опровергнуть одно-единственное вероятностное суждение (отличное от 0 или 100 %). Ответ не раскрывает, какой вероятность была изначально. Если событие, вероятность которого оценили в 90 %, не происходит, само суждение о вероятности необязательно считать неудачным. В конце концов, результаты, вероятность которых оценивается в 10 %, в итоге достигаются в 10 % случаев. Задача о Гамбарди – пример вынесения непроверяемого прогнозного суждения. Его нельзя проверить по двум причинам: кандидатура Гамбарди – вымышленная, а ответ на задачу – вероятностный.
Многие профессиональные суждения непроверяемы. За исключением ситуаций с вопиющими ошибками, андеррайтеры, например, так никогда и не узнают, была ли стоимость полиса завышена или, наоборот, занижена. Прогнозы бывают непроверяемыми из-за своей условности. Каким бы важным ни казалось пророчество «если мы ввяжемся в войну, нас просто раздавят», скорее всего, оно (надеемся) так и останется непроверенным. Прогнозы также могут охватывать слишком длительный период, и тогда профессионалов, которые их составили, уже нельзя будет призвать к ответу – к таким прогнозам можно, например, отнести предположения о средних температурах на планете к концу XXI века.
Повлияла ли непроверяемость ответа в задаче о Гамбарди на ваш подход к ее решению? Задались ли вы вопросом о том, существовал ли Гамбарди на самом деле? А о том, будет ли в конце главы информация о его дальнейшей судьбе? Может, вы подумали, что, даже если вы о ней узнаете, это все равно не поможет ответить на вопрос задачи? Вероятно, нет, потому что в процессе выполнения задания все эти соображения казались несущественными.
Проверяемость суждения никак не влияет на сам процесс его вынесения. Возможно, вы чуть серьезнее подойдете к обдумыванию задачи, решение которой вскоре будет дано, поскольку ваш мозг сосредотачивается больше, когда есть риск быть уличенным в неправоте. С другой стороны, вы не станете задумываться над задачей, которая абстрактна до нелепости. («Стал бы Гамбарди хорошим директором, если бы у него было три ноги и способность летать?») В общем же и целом, если гипотетическая задача правдоподобна, вы отнесетесь к ней точно так же, как и к реальной. Это немаловажно для исследований в психологии, где нередко используются вымышленные задания.
Поскольку у задачи нет решения, а вы, вероятно, даже не задумывались, будет ли оно вообще дано, вы не пытались минимизировать погрешность. Вы постарались вынести верное суждение и остановились на значении, которое не побоялись предложить в качестве ответа. Конечно, оно не вселяло в вас столько же уверенности, как утверждение о том, что дважды два четыре. Вы допускали некоторую неопределенность (и, как мы увидим, на самом деле ее больше, чем вы думали). Однако в какой-то момент вы осознали, что дальше двигаться некуда, и сделали свой выбор.
Как вы поняли, что приняли верное или хотя бы вполне допустимое решение? Мы полагаем, вы почувствовали внутренний сигнал о том, что суждение вынесено, никак не связанный c информацией извне. Найденный ответ вполне соответствовал условиям задачи. Ощущения соответствия не возникло бы, будь ваш ответ 0 или 100: такие выводы предполагают уверенность, несовместимую с настолько беспорядочными, неоднозначными и противоречивыми условиями задачи. Однако ваш ответ, каким бы он ни был, показался вам вполне правомерным. Когда вы выносили суждение, вашей целью было найти именно правомерное решение.
Основное свойство такого внутреннего сигнала – то, что ощущение правомерности является неотъемлемой частью процесса вынесения суждения, не зависящей от реального результата. Поэтому внутренний сигнал возникает при вынесении как непроверяемых, так и проверяемых суждений. Вот почему решение задачи о вымышленном человеке вроде Гамбарди ничем не отличается от решения задач с реальными данными.
Как оценивается суждение: результат и процесс
Проверяемость не влияет на процесс вынесения суждения, однако от нее зависит то, как это суждение будет оцениваться впоследствии.
Объективный наблюдатель просто оценит точность проверяемых суждений, сравнив выводы с реальным результатом. Если синоптик дал прогноз, что воздух сегодня прогреется до 70 градусов Фаренгейта, а реальная температура достигла лишь 65, значит, он ошибся на пять градусов. Очевидно, что такой подход не сработает, когда суждения проверить нельзя, как в задаче о Гамбарди, где искомого ответа просто нет. Как же тогда оценить их качество?
Существует еще один способ оценивать как проверяемые, так и непроверяемые суждения. Он заключается в оценивании процесса их вынесения. Называя одни суждения удачными, а другие неудачными, мы подразумеваем либо итоговый ответ (к примеру, число, данное вами при решении задачи о Гамбарди), либо процесс решения – то, как вы к этому ответу пришли.
Чтобы оценить процесс решения, можно понаблюдать, насколько успешно его можно применить к большому количеству задач. Представьте, что политический прогнозист оценил шансы множества кандидатов на победу в местных выборах. Вероятность победы ста из этих кандидатов он оценил в 70 %. Если семьдесят человек из них в итоге будут избраны, у нас появится повод считать, что этот прогнозист действительно неплохо разбирается в деле. Проверяемой является вся совокупность этих суждений, тогда как признать единственное вероятностное суждение верным или неверным просто невозможно. Подобным образом установить наличие предвзятости по отношению к определенной группе людей достовернее всего можно с помощью статистики по значительному количеству случаев.
Процесс вынесения суждения можно также оценить, ответив на вопрос о его соответствии принципам логики или теории вероятностей. Многие исследования когнитивных искажений посвящены именно этому.
Если сосредоточить внимание не на результате, а именно на процессе вынесения суждения, можно оценить непроверяемые выводы, такие как гипотетические задачи или долгосрочные прогнозы. Даже не сравнивая эти выводы с реальным результатом, мы все-таки способны определить, была ли в них допущена ошибка. Когда мы перейдем к вопросу улучшения качества суждений, а не просто их оценки, мы также уделим основное внимание именно процессу. Все процедуры, рекомендованные в этой книге для снижения уровня смещения и шума, нацелены на внедрение процессов вынесения суждений, минимизирующих ошибки в совокупности похожих ситуаций.
Мы противопоставили друг другу два способа оценки суждений: сравнение вывода с реальным результатом и оценку качества процесса, который позволил к этому выводу прийти. Заметьте, что, оценивая проверяемое суждение обоими способами, мы можем прийти к разным заключениям. Квалифицированный и осторожный прогнозист, вооруженный лучшими инструментами и методиками, время от времени ошибается, предсказывая уровень квартальной инфляции. С другой стороны, иногда даже шимпанзе, метающая дротики в дартс[4 - Имеется в виду эксперимент, поставленный в 1999 году. Шимпанзе метала дротики по мишени, на которой в случайном порядке были нанесены названия 133 компаний США. По результатам попаданий был составлен инвестиционный портфель, доходность которого составила 213 %, что превзошло результаты работы 6000 брокеров с Уолл-стрит.], может попасть в точку.
Чтобы разрешить это противоречие, специалисты, изучающие принятие решений, дают четкие рекомендации: сосредоточьте внимание не на результате, полученном в индивидуальном случае, а на процессе принятия решения. Однако мы понимаем, что на практике так обычно не происходит. Профессионалов, как правило, оценивают по тому, насколько близкими их оценки оказываются к проверяемым результатам. При этом и сами они уверены, что стремятся к наиболее точному совпадению.
Итак, обычно люди убеждены, что при вынесении проверяемых суждений стремятся к совпадению прогноза с реальным результатом. На деле же, вне зависимости от степени проверяемости прогноза, они ждут внутреннего сигнала о готовности суждения, а он, в свою очередь, возникает, когда между условиями задачи и сделанным выводом не остается противоречий. Однако гораздо правильнее стремиться к тому, чтобы в процессе вынесения суждений было найдено оптимальное решение для целой совокупности похожих случаев.
Оценочные суждения
До сих пор в этой главе мы подробно рассматривали прогнозные суждения, и большинство примеров, разбираемых в этой книге, относятся именно к этому типу. Однако глава 1, где речь шла о судье Франкеле и шуме в системе вынесения уголовных приговоров, исследует иной тип суждений. Вынесение приговора – это не прогноз, а оценочное суждение, призванное подобрать наказание, соответствующее тяжести преступления. Жюри винных конкурсов и ресторанные критики выносят оценочные суждения. Профессора, читающие сочинения студентов, судьи на соревнованиях по фигурному катанию и комитеты, распределяющие исследовательские гранты, также выносят оценочные суждения.
Несколько другой тип оценочных суждений выносится в ситуациях, где для принятия решения нужно рассмотреть и взвесить множество альтернатив: руководители выбирают самого подходящего кандидата на некую должность, управленцы ищут оптимальную стратегию, президенты решают, как реагировать на эпидемию в Африке. Несомненно, для решения всех этих задач нужно сначала вынести прогнозные суждения, которые послужат исходными данными. Насколько продуктивным окажется выбранный кандидат в первый год работы? Как фондовый рынок отреагирует на новый стратегический ход? Как быстро распространится эпидемия в отсутствие сдерживающих мер? Однако для окончательного решения потребуется взвесить преимущества и недостатки имеющихся вариантов, и вот здесь понадобятся оценочные суждения.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «ЛитРес».
Прочитайте эту книгу целиком, купив полную легальную версию (https://www.litres.ru/pages/biblio_book/?art=66847643&lfrom=174836202) на ЛитРес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.
notes
Примечания
1
