Калибровка на практике

С помощью вопросов и методических рекомендаций в этой статье вы можете научиться лучше управлять своей неуверенностью.

Ранее на сайте уже рассказывалось о том, зачем нужна калибровка. [1] Здесь же вы узнаете, как можно проверить, насколько хорошо вы откалиброваны и как с помощью нескольких простых методов улучшить вашу оценку неизвестных величин.

Вам предстоит ответить на два блока вопросов, по 10 каждый. В первом блоке нужно будет дать численные ответы на некоторые вопросы, без использования любых справочных материалов. Вот пример такого вопроса: «Каков размах крыльев самолёта Боинг 737 последней модели?» Точный ответ на этот вопрос, скорее всего, знает довольно небольшое количество людей, однако, любой читатель этого материала вполне способен приблизительно оценить данную величину. При этом задача калибровки состоит в том, чтобы научиться сначала задавать желаемую вероятность, с которой неизвестная величина попадёт в предложенный вами интервал, а потом на основании некоторых умозаключений предлагать верхнюю и нижнюю границу доверительного интервала. Достаточно часто используемым в экспертной оценке является девяностопроцентный доверительный интервал, неизвестная величина, по определению, окажется внутри него в девяти случаях из десяти. На такой интервал и рассчитан первый блок вопросов.

Если вернуться к вопросу про размах крыльев, то тут можно дать разные интервалы, даже если отталкиваться от того, что по заданию одни должны быть доверительными для вероятности 90 %. Предположим, кто-то даёт интервал от 10 до 11 метров, но этот интервал выглядит довольно узким, и если человек мало знает о самолётах и их физических характеристиках, то вероятность промаха довольно велика. Иными словами, давая такой узкий интервал, человек проявляет чрезмерную уверенность, широко распространённое когнитивное искажение. Как можно предположить из названия этого искажения, оно проявляется в переоценки точности своих ответов, однако, именно с ним можно эффективно бороться с использованием калибровки. Также можно сказать, что если человек не является инженером, осуществляющим конструирование или ремонт самолётов, то интервал от 10 до 11 метров больше похож на доверительный интервал в процентов десять, но никак не девяносто.Глаза в глаза

Кстати говоря, калибровка позволяет справляться с множеством когнитивных искажений, помимо чрезмерной уверенности, это: якорение, иллюзия компетентности, ошибка планирования и некоторые другие.

Другим крайним случаем может быть интервал от 0 до 1000 метров. Тут уже можно говорить о недостаточной уверенности, либо о доверительном интервале большем 90 %. То есть, это может быть доверительный интервал 98 или 99 %, либо даже 99,95 %. Подобные широкие рамки хороши, если вы действительно мало знаете о самолётах, но эти рамки стоит сжать, чтобы интервал больше соответствовал доверительному на 90 %.

Вот первый совет, как можно улучшить калибровку, начинайте с очень широкого интервала, затем задайте себе вопрос следующего плана: «Можно ли сдвинуть верхнюю границу вниз, а нижнюю вверх?» В случае с Боингом, 1000 метров уже сравнимо с длиной взлётно-посадочной полосы на аэродромах. Возможно, самолётов с таким размахом крыльев вообще не существует. А с размахом 500 метров? Или 300 метров?

Точно также следует поднимать и нижний придел. С размахом крыльев до одного метра, скорее всего, существуют только игрушечные самолёты. Можно попробовать оценить размах крыльев дельтаплана и предположить, что у Боинга он будет больше. И, соответственно, сдвинуть нижнюю границу, скажем, до 10 метров.

Вот второй совет по улучшению калибровки, представьте себе два варианта азартной игры. В первом варианте вас просят назвать девяностопроцентный доверительный интервал для размаха крыльев самолёта, и объявляют, что вы выиграете ценный приз, например, миллион рублей, если реальный размах крыльев попадёт в ваш интервал. Во втором случае вы используете генератор случайных чисел, который с вероятностью 0,9 выдаст вам миллион рублей, а с вероятностью 0,1 не выдаст ничего. Что вы предпочтёте?

Если первую игру с заданием доверительного интервала, то скорее всего вы задали слишком широкий интервал, которому соответствует вероятность попадания в него больше 90 процентов. Если вторую игру, то вы, скорее всего, задали узкий интервал, поэтому и считаете, что генератор случайных чисел будет более удачным способом выиграть. Соответственно, нужно скорректировать ваш интервал таким образом, чтобы оба варианта игры были одинаково предпочтительны.

Теперь приготовьтесь записать девяностопроцентные доверительные интервалы для ответов на следующие вопросы:

  1. Длина тела современной модели куклы «Барби», не коллекционной, не включая голову и ноги.
  2. Число жителей CCCР по данным Всесоюзной переписи населения 1939 года, в миллионах человек.
  3. Год переноса столицы в Санкт-Петербург.
  4. Количество позвонков у обычной домашней кошки (Félis silvéstris cátus), исключая хвостовые.
  5. Период обращения вокруг Земли корабля «Восток-1» с Ю. Гагариным на борту.
  6. Количество штатов в Индии.
  7. Количество статей в современной Российской конституции от 1993 года.
  8. Год открытия пенициллина.
  9. Количество башен Московского кремля.
  10. Количество братьев и сестёр у Зевса.

Следующий блок вопросов будет немного отличаться, вам нужно будет определить, является ли утверждение верным или не верным. И указать вашу уверенность в процентах, от 50 до 100 с шагом в 10 процентов. Например, дано утверждение «Наполеон родился в 19 веке». Вы с ним скорее не согласны, и оцениваете надёжность своего ответа в 70 %, соответственно, так и записываете: «не верно, на 70 %».

  1. В королевстве Бутан разрешено многожёнство.
  2. На территории Японии имеется посольство Китайской Республики, не путать с Китайской Народной Республикой.
  3. С 1991 по 2011 годы в Российской федерации не изготавливали монеты из циркония.
  4. Буква «К» является одной из трёх самых распространённых букв в словах русского языка.
  5. Древнерусская сажень меньше косой сажени.
  6. Основным экспортным продуктом Республики Конго в 2011 году являлся уран.
  7. Секвойя является самым высоким деревом на Земле.
  8. Первым позвоночным животным, отправленным на околоземную орбиту и благополучно вернувшимся, была крыса.
  9. С образованием Российской империи держава перестала быть символом императорской власти.
  10. Микки Маус имеет детей, официально фигурирующих в мультфильмах студии «Дисней».

После того, как вы ответили на оба блока вопросов, вы можете перейти к ответам по ссылке в конце статьи, и отметить у себя, сколько у вас правильных и сколько неправильных ответов. Методика оценки следующая: для первого блока, где нужно дать численный интервал, вы просто считаете количество правильных ответов. Предположим, вы дали 7 правильных ответов из 10, то есть в семи случаях правильный ответ оказался внутри вашего интервала. Это означает, что доверительный интервал для ваших ответов в среднем был 70 %. Посмотрите, в каких случаях вы ошиблись, и попробуйте понять, почему вы искомое значение вышло за границы вашего интервала.

Для второго блока вопросов вы тоже должны посчитать количество правильных ответов, при этом все ответы, для которых вы установили надёжность в 50 % считаются как 0,5 правильного ответа. Например, вы дали 6 правильных ответов, для которых ваша надёжность была от 60 до 100 %, два неправильных, и два ответа для которых вы установили надёжность в 50 %. Тогда к шести вы прибавляете 0,5 умноженное на 2, получая семь из десяти, это будет соответствовать реальной надёжности ваших ответов, как и в предыдущем блоке. Следующим шагом вы должны посчитать среднюю надёжность, которую вы сами устанавливали на ответы, сложив все ваши проценты и разделив их на десять. Предположим, вы получили 80 %. Если реальная надёжность составила 7 из 10, то есть 70 %, а ожидаемая 80 %, то это будет неплохим результатом. Впрочем, даже такой результат можно улучшить с помощью дальнейшей калибровки.

Ответы на вопросы для калибровки.

  1. «Калибровка». [Наверх]

Короткая ссылка сюда: umneem.org/26