Провал, но не в предсказании
Одно из самых интересных вознаграждений в нашей крауд-кампании на Планета.ру — это индивидуальный заказ на перевод любого англоязычного материала. Одним из заказанных текстов стал текст практикующего психиатра и блоггера Скотта Александера «A failure, but not of prediction». В нем Александер рассуждает, что стало причиной неудачи действий мировых организаций здравоохранения в то время, когда коронавирусная инфекция только набирала обороты в Китае. По заключению блоггера, в сложившейся ситуации виноваты вовсе не предсказания низкого риска от будущего COVID-19 — виной неподготовленности мирового здравоохранения стало неверное толкование имеющейся информации.
Перевод выполнен для телеграм-канала «Рационально о коронавирусе»
I.
Издательство Vox задается вопросом: что пошло не так с освещением пандемии коронавирусной инфекции в СМИ? Авторы приходят к выводу, что СМИ нужно научиться рассказывать «не только о том, что мы знаем, но и о том, чего мы не знаем». Это поднимает ряд важных вопросов, например: хватит ли в мире чернил и бумаги? А еще: как стать лучше в освещении того, чего ты не знаешь?
В случае, если в последнее время вы сидели на необитаемом острове (в этом случае незнание простительно), СМИ не только не справились с задачей адекватно оповестить читателей об эпидемии, но и активно насмехались над теми, кто предупреждал об опасности. Издательство Real Clear Politics выпустило список лучших и худших хайлайтов. Твит издательства Vox сообщает: «Это превратится в смертельную пандемию? Нет.» Washington Post рассказывает нам в феврале: «Почему мы должны опасаться агрессивной политики государства в ответ на коронавирус?» (это может «сделать маргинализованные группы козлами отпущения»). Daily Beast жалуется, что «коронавирус с нулевой летальностью в Америке захватил все заголовки, когда реальная опасность — грипп». New York Times вывешивает заголовки в стиле «Пандемическая паника» и «Кто сказал, что путешествовать в Китай небезопасно». Постоянные попытки приписать «паникерство» вокруг вируса антикитайскому расизму. И так далее, и так далее, и так далее.
Люди могут сделать только один вывод: СМИ (и эксперты, на которых они полагались) полностью провалились в предсказании того, что может случиться. Но я думаю, что это далеко не вся их вина.
Предсказание крайне сложная штука. Нейт Сильвер — возможно, лучший эксперт по политическим прогнозам из ныне живущих — оценил возможность победы Трампа в 29 % прямо перед тем, как Трамп выиграл выборы. Профессор Университета Пенсильвании Филип Тетлок потратил годы на изучение работы «супер предсказателей» и выдал сложные алгоритмы объединения их прогнозов, разработав таким образом инфраструктуру прогноза, которая работает лучше, чем аналитиков ЦРУ. Но даже эта система оценила шанс того, что Британия выберет Брексит, в 23 % — прямо перед тем, как это случилось. Это не повод критиковать Сильвера или Тетлока. Я верю, что их работа была близка к оптимальной — они сделали лучшее, что мог сделать кто-либо, имея информацию, которая была им доступна. Но мир полон шума, и мелкие случайные события могут оказывать непропорционально большое влияние. Количество данных опросов, которые можно проанализировать, ограничено, и даже гениям приходится работать только с тем, что есть.
Предсказание развития коронавирусной инфекции в мире было настолько же сложным, и лучшие организации не смогли сделать это правильно. 20 февраля «супер предсказатели» Тетлока сообщили о 3 % шансе того, что число заболевших коронавирусной инфекцией через месяц будет составлять более 200 тысяч (так и вышло). Фондовая биржа — это огромная скоординированная попытка предсказать экономику, и 12 февраля эта попытка была смелой, как никогда — аналитики предположили, что экономика в ближайшие несколько месяцев будет отлично себя чувствовать. К 20 февраля ситуация была определена как легкая нестабильность экономики, но настоящее падение ждало в середине марта — в то же время, когда СМИ наконец все поняли. И это были не незаинтересованные «говорящие головы» с кабельного телевидения. У нас было мнение лучших организаций, и мнение это оказалось неверным. Я предполагаю, что предсказать развитие коронавирусной инфекции в середине февраля, когда мы еще могли что-то с этим сделать, было крайне сложным.
Мне не нравится такой вывод. Но приходится задать себе вопрос: если это было так легко, почему же я этого не сделал? Легко оглядываться назад и говорить: да, на самом деле я всегда тайно подозревал, что все будет так плохо. Я несколько раз поступил правильно: я нерешительно начал готовиться в середине февраля, я рекомендовал готовиться моим читателям в начале марта, и я никогда не обвинял других в паникерстве. За все это я ставлю себе твердую четверку с минусом. Но если все это было так легко, почему я не написал два месяца назад: «Привет всем, я официально предсказываю, что глобальная пандемия коронавирусной инфекции станет ночным кошмаром для всего мира»? Это могло никому не помочь, но у меня был бы повод гордиться. Раз уж на то пошло, почему и вы не запостили это в своих Фейсбуках, Твиттерах или в комментариях здесь? Вы могли бы войти в историю наряду с Тревисом Фишером за публикацию одного твита. Раз уж вы этого не сделали (не говорю о тех из вас, кто сделал — мы любим тебя, Баладжи), я предполагаю, что предсказание — все-таки сложная штука, даже для таких умных людей с благими намерениями, как вы.
Значит ли это, что нам не надо искать виноватых, чтобы сделать предупреждение будущим поколениям? Такой исход меня бы расстроил. Я думаю, что виноватых мы все-таки найдем, просто сделаем это тоньше и более продуманно.
II.
Раньше я проводил опросы для пользователей форума по вероятностным суждениям... Обещаю, скоро станет ясно, к чему я веду.
Удивительное количество людей подписалось на крионику — штуку, которая позволит им заморозить свои мозги после смерти на случай, что в будущем появится метод воскрешения замороженного мозга. Множество людей издевалось над ними: «если вы так уж хороши в вероятностных суждениях, как вы можете верить во что-то настолько неправдоподобное?» Я сам в этом заинтересовался и провел один из своих опросов.
Результаты были очень странными. Группа пользователей форума (некоторые из которых уже внесли предварительный платеж за заморозку мозга) сообщили, что оценивают шанс того, что эта идея сработает и их мозг будет оживлен, в 12 %. Контрольная группа, не заинтересованная в крионике, оценила этот же шанс в 15 %. Люди, которые собирались заморозить свой мозг, были менее оптимистичны, чем те, кто не собирался этого делать. Что это значит?
Я думаю, на самом деле все они были хороши в вероятностных суждениях. Контрольная группа сказала: «15 %? Это меньше, чем 50 %, что означает, что крионика скорее не будет работать, а значит, я за это не подпишусь». Исследуемая группа сказала: «12 % шанс вечной жизни по цене морозилки? Звучит как отличное предложение!»
Здесь много сомнений и сложностей — в основном в том, что, возможно, обе эти цифры сильно завышены. Вы можете прочитать больше здесь и здесь. Но, в общем, благодаря этому случаю я понял кое-что крайне важное.
Принимать решения значит не просто иметь определенные убеждения. Важно еще и то, как ты поступаешь на основе этих убеждений.
III.
Несколько недель назад я написал пост о защитных масках. На основе доступных доказательств был сделан вывод, что маски, вероятно, помогают ограничить распространение болезни. Затем был вопрос: как ВОЗ, центр по контролю и профилактике заболеваний и прочие организации могли настолько неправильно интерпретировать те же данные?
Сначала я думал, что они соврали в надежде, что паникеры не скупят все маски и что-то останется и для медицинских работников. Выяснилось, что это не так. Центр по контролю и профилактике заболеваний поет одну и ту же песню последние десять лет. Свиной грипп — не носите маски. SARS — не носите маски. Они на самом деле настаивают на этой точке зрения, но почему?
Если вы правда хотите понять, что произошло, не читайте исследований о масках и пандемиях. Прочитайте статью Смита и Пелла от 2003 года: «Использование парашютов для предотвращения смертей и обширных травм связанных с преодолением гравитации: систематический обзор рандомизированных контролируемых испытаний». Это статья в British Journal of Medicine, которая указывает, что не существует ни одного хорошего исследования, доказывающего, что парашюты могут помочь при прыжке из самолета, так что они не подходят принятым стандартам доказательной медицины. Из раздела «Обсуждение»:
Всеми признан тот факт, что медицинское вмешательство, оправданное данными наблюдений, нуждается в подтверждении рандомизированными контролируемыми исследованиями. Обсервационные исследования были очернены обвинениями в изъятии данных, обилии неконтролируемых факторов и логических ошибок. Например, данные наблюдений показали низкую частоту ИБС у женщин, использующих заместительную гормональную терапию, и эти данные были трактованы как свидетельствующие в пользу приема гормонов здоровыми женщинами, женщинами с ИБС и женщинами с факторами риска развития ИБС. Как бы там ни было, РКИ показали, что заместительная гормональная терапия на самом деле повышает риск развития ИБС — то есть доказательства защитных свойств гормонов по данным наблюдений были получены в результате логической ошибки. Случаи, подобные этому, показывают, что медицинские вмешательства, базирующиеся только на данных наблюдений, должны быть тщательно проверены, и парашюты — не исключение.
Конечно, это шутка. Все это было описано в шуточном издании BMJ, и каждый причастный к выпуску понимал, что он делает. Но шутка становится смешной, потому что она указывает на кое-что правдивое. Это острая социальная сатира. Врачи не признают никакое лечение полезным, пока оно не будет проверено множеством РКИ — прощай, здравый смысл. И это не появилось из ниоткуда. Прежде врачи тратили кучу времени, думая, что поступают в рамках здравого смысла, и ошибались. После того, как ваша ошибка убьет несколько тысяч человек, вы станете крайне предусмотрительным и осторожным. А вокруг так много шарлатанов, которые объясняют «здравым смыслом», почему их витаминный отбеливатель или коллоидное серебро работают, и врачам приходится вырабатывать иммунитет к этому сорту чуши. Множество хороших РКИ, или ничего не было. Учитывая всю предысторию, я думаю, этот выбор можно оправдать, и если у вас одолевает искушение осудить его, эта история о трансплантации костного мозга откроет для вас много нового.
Но так можно зайти слишком далеко. После указания на недостаток РКИ парашютов, статья продолжается:
Существует лишь два пути. Первый: мы признаем, что в исключительном случае здравый смысл может быть использован, если оценены потенциальные риски и преимущества вмешательства. Второй: мы продолжаем наш поиск святого грааля, или вмешательств с исключительно доказанной эффективностью, и прекращаем использование парашютов из-за отсутствия корректно проведенных исследований. Зависимость, которую мы создали в популяции, может усложнить привлечение непросвещенных граждан к такому испытанию. Но мы убеждены, что люди, которые продвигают доказательную медицину и критикуют использование недоказанных вмешательств, не откажутся показать свою приверженность и примут участие в двойном слепом рандомизированном плацебо-контролируемом перекрестном исследовании парашютов.
Вы поняли? Для хорошего РКИ половине испытуемых придется выпрыгнуть из самолета с плацебо-парашютом. Авторы предлагают, что, возможно, мы должны предложить эту сомнительную честь докторам, которые настаивают на строгом преобладании РКИ над здравым смыслом.
(что ж, хорошие новости, РКИ парашюта на самом деле провели)
Иногда хорошей шутки становится слишком много, как в тех статьях Onion, которые стали правдой через несколько лет. Настоящий медицинский консенсус о защитных масках появился так же, как и ложный медицинский консенсус о парашютах. Здравый смысл сообщал: они работают. Но у нас недостаточно хороших РКИ. Мы не можем провести больше, потому что будет неэтично подвергать людей, не носящих маски, опасности заразиться. В конце концов, все, что у нас есть — это немного посредственных испытаний малорелевантных вещей, которые мы должны экстраполировать на ситуации, для которых они неприменимы.
Так же, как «вина не доказана ввиду отсутствия доказательств» значит «невиновен», в медицине «эффективность не доказана в нескольких РКИ, проведенных по золотому стандарту» означает «это не работает» (и не заставляйте меня говорить об «отсутствии доказательств»). Так что Центр по контролю и профилактике заболеваний заявил, что маски не работают.
Вернемся к нашему рисунку:
Гуфус начал с того, что маски как новая идея требуют неопровержимых доказательств эффективности. Затем появилось несколько исследований, которые не были достаточно неопровержимыми, и он заключил, что люди не должны носить маски.
Галлант признал бы неуверенность: основываясь на исследованиях, мы не можем быть на 100 % уверены в том, что маски не работают в конкретной ситуации — и провел бы анализ затрат и выгод. Здравый смысл подсказывает, что маски должны работать. Существующие доказательства пользы масок весьма убедительны, даже если им не хватает доказательств. 80 % шанс того, что они работают, или около того? Если вы можете купить 80 % шанс предотвращения распространения смертельной пандемии по цене дурацкой тряпочки на лице, наверное, это неплохое предложение. И даже если у медицины есть вполне понятные причины оставаться консервативной, в условиях кризиса вы должны уметь думать своей головой.
IV.
Вернемся к СМИ.
Их главным оправданием стало то, что они просто полагаются на мнение экспертов — вещи, о которых говорят эксперты ВОЗ и ЦКЗ, а также ведущие эпидемиологи. Я верю им. Люди в Твиттере воют и скрежещут зубами: как пресса может не проверять и не подвергать сомнению мнение этих экспертов? Но я не уверен, что хотел бы вынуждать журналистов бросать вызов экспертам. Журналист Йохан Хари решил взяться за разоблачение экспертов в психиатрии и написал серию ужасных статей и не менее ужасную книгу, рассказывая, что они неправы во всем. Я психиатр и могу сказать вам, что он сам так сильно ошибается, что читать его творения физически больно (ну конечно, чего еще от меня ожидать…). Большинство журналистов признают, что эксперты знают больше по своему предмету, нежели журналисты, и я думаю, это достаточно мудрый вывод. Роль научных журналистов заключается в том, чтобы полагаться на мнение экспертов и объяснять его, давать контекст, но не пытаться превзойти врачей в медицине. Так что я думаю, что это было хорошее оправдание.
Но я хотел бы задать вопрос любому журналисту, который говорит, что просто представляет мнение экспертов и его контекст: насколько сам эксперт был убежден в своем мнении?
Я действительно отношусь к этому так серьезно. Какой факт мог бы оказался важен? Каким контекстом было бы важнее снабдить читателя? Я не говорю о том, что вы должны вставлять конкретные цифры в свои статьи — возможно, вашим читателям это не нужно. Но вы же действительно отталкивались от каких-то цифр? Этот вопрос вообще приходил вам в голову?
Нейт Сильвер сказал, что существует 29 % шанс того, что Трамп выиграет выборы. Большинство людей интерпретировало это как «скорее всего, Трамп не выиграет» и были шокированы, когда это случилось. Каков был процент вероятности у вашего предположения «коронавирус, скорее всего, не станет катастрофой»? Тоже 29 %? 20 %? 10 %? Вы уверены, что хотите опускаться ниже 10 %? Ухань уже был полностью закрыт, у них даже не было места чтобы похоронить все трупы, и вы говорили, что шанс того, что это станет проблемой еще где бы то ни было, менее 10 %? Я слышал, как люди говорят, что существует 12–15 % шанс того, что цивилизации будущего смогут воскресить ваш замороженный мозг, неужели риск коронавируса вы оценивали ниже, чем это?
И если риск был около 10 %, не должен ли заголовок выглядеть как: «ДЕСЯТИПРОЦЕНТНЫЙ ШАНС ТОГО, ЧТО НАСТАНЕТ ПАНДЕМИЯ, КОТОРАЯ РАЗРУШИТ МИРОВУЮ ЭКОНОМИКУ, УБЬЕТ СОТНИ ТЫСЯЧ ЧЕЛОВЕК И ЗАПРЕТИТ ВАМ ПОКИДАТЬ ЖИЛИЩЕ МЕСЯЦАМИ»? Это ли не лучше, чем «Коронавирусная паника распространяется по мере того, как алармистская информация захватывает социальные сети». Но именно такой заголовок вы могли написать, если бы шанс составлял десять процентов!
Таким образом:
Думаю, люди опять повели себя, как Гуфус.
Людям показали новую идею: может возникнуть глобальная пандемия, которая изменит устройство мира навсегда. Люди ждали доказательств. Доказательств не оказалось (по крайней мере, в первое время). Я помню, люди говорили вещи вроде «нет причины паниковать, сейчас в США только десять случаев». Это должно звучать как «нет причины паниковать, астероид, летящий к Земле, еще в нескольких неделях от нас». Я могу понять это единственным образом: вы не можете позволить себе продвигать идею, пока не докажете ее. Ни у кого не было неопровержимых доказательств, что коронавирус станет таким бедствием, так что пока никто не умер, за нулевую гипотезу принято считать, что этого не случится.
Галлант не ждал бы доказательств. Он проверил бы рынки прогнозирования, задал вопросы экспертам вероятностных суждений. Если бы он услышал числа в пределах 10–20 процентов, он бы провел анализ «риск-польза» и установил, что введение некоторых серьезных мер, как карантин и социальное дистанцирование, может быть полезным, если есть 10–20 % шанс остановить катастрофу.
V.
Все это становится слишком грустным, так что я хочу обратить внимание на некоторых людей, которые заслуживают упоминания за особенно правильную реакцию.
В первую очередь, группа обычных умных людей из Твиттера, которые поняли вещи правильно; пришлось бы назвать слишком много имен, но Скотт Ааронсон отмечает Билла Гейтса, Баладжи Шринивасана, Пола Грэхема, Грега Кокрана, Робина Хэнсона, Сару Константин, Элизера Юдковски и Николаса Кристакиса. Никто из этих людей (кроме Грега Кокрана) не является главным экспертом в области и ни у кого (кроме Грега Кокрана) нет сверхъестественных способностей к предсказанию. Могли ли они побороть экспертов? Неужели мы не слышали миллионы раз о том, что общий интеллект не сравнится с глубокими знаниями предмета?
Я думаю, ответ таков: они бы не смогли победить экспертов в эпидемиологии. Какую бы возможность тяжелой ситуации с коронавирусом не дали эксперты по прогнозам, эти люди не обязательно предсказали бы вероятность выше. Они просто были лучше в вероятностных суждениях, поэтому они по-разному реагировали на одно и то же число. Нет причины, почему обычные умные люди не должны быть лучше в вероятностных суждениях, чем эпидемиологи. На самом деле, по-видимому, этим и отличаются обычные умные люди.
Зейнеп Туфекчи — пример еще лучше. Она социолог и журналист, которая писала о том, что подготовиться к коронавирусу как можно раньше, в феврале, — это «наш гражданский долг». также она была первой медийной личностью, которая стала распространять информацию о том, что маски могут быть полезными.
Сегодня совершенно случайно, читая пост о Монгольской империи, как делают все нормальные люди во время кризиса, я наткнутся на другую отсылку к Зейнеп. В статье 2014 года она предупреждала о пандемии Эболы, которая наступала в то время. Она говорила те самые вещи, что сейчас говорят все — мировые организации ошибаются, никто не понимает экспоненциальный рост, ограничения путешествий могли работать раньше, но их не будет достаточно, если инфекция распространится. Она процитировала предсказание ЦКЗ о том, что к концу 2014 года будет миллион случаев. Задумайтесь об этом, она написала, миллион жертв Эболы будет в течение нескольких месяцев.
На самом деле этого не произошло. Было всего около 30000 случаев. Вирус не вышел за пределы Либерии, Сьерра Лионе и Гвинеи.
Я не считаю это ошибкой в предсказании со стороны Зейнеп. В первую очередь потому, что благодаря таким людям, которые били тревогу, эпидемия была успешно остановлена. Но что более важно, это вообще не было предсказанием. Ее точка зрения заключалась не в том, что она точно знала, что пандемия Эболы закончится действительно плохо. Ее точка зрения была в том, что так может быть, поэтому мы должны приготовиться. Она сказала то же самое, когда эпидемия коронавирусной инфекции только начиналась. Если бы пришлось делать ставки, она бы ставила на 50 %, но это неправильный подход к подобным вопросам.
Зейнеп Туфекчи замечательная. Но ее восхитительный навык не в том, чтобы смотреть на разные эпидемии и удачно предсказывать, какая станет катастрофической, а какая пролетит незаметно. Она не может делать это лучше, чем кто бы то ни было. Ее суперсила в возможности относиться к вещам как можно серьезнее даже до того, пока она получит неоспоримые доказательства того, что это обязательно случится.
И, наконец, Келси Пайпер. В своей статье от 6 февраля она написала:
Коронавирус убил меньше людей, чем вирус гриппа в январе. Но он может убить больше в феврале — и, в отличие от гриппа, последствия пока недооценены и их сложно предугадать. Национальная комиссия здравоохранения Китая описывает 24324 случая, включая 3887 новых за сегодня. Есть некоторые доказательства, что эти показатели занижают значимость ситуации, так как переполненные больницы города Ухань имеют возможность диагностировать только наиболее тяжелые случаи. Ко вторнику 171329 человек находятся под медицинским наблюдением, потому что они имели близкий контакт с людьми с подтвержденным диагнозом.
Пока неясно, сможет ли Китай удержать вспышку под контролем или это вызовет серию вспышек по всей стране. Также неясно, смогут ли другие страны — особенно те, в которых слаба система здравоохранения — быстро определять случаи и избежать вспышку масштаба той, которая произошла в городе Ухань.
Суть в том, что слишком рано утверждать, что мы преуспеем по обоим фронтам — и если у нас не выйдет, тогда число смертей от коронавируса может подняться до десятков тысяч. Остается лишь наблюдать, будут ли разработаны вакцины и эффективные противовирусные средства. В этой ситуации слишком много неопределенности, чтобы убеждать людей в том, что беспокоиться не о чем. А безосновательное убеждение людей в том, что им не о чем беспокоиться, может привести к беде.
«Вместо того, чтобы высмеивать людские страхи по поводу коронавируса в городе Ухань, — пишет Сэндман, эксперт по коммуникации, — я мог бы посоветовать официальным лицам и репортерам сосредоточиться больше на высокой вероятности того, что ситуация ухудшится, а также на не столь малой вероятности того, что ситуация ухудшится значительно».
Она заключила, что «коронавирус из города Ухань скорее не будет кошмарной пандемией, но этот сценарий до сих пор возможен». Далее последовала статья, предупреждающая людей о необходимости закупиться пищей и важными запасами.
Если интерпретировать ее «скорее не будет кошмарной пандемией» как предсказание, она была неправа. Как и Зейнеп, у нее нет уникальной способности предсказывать, в каком случае любая выбранная болезнь закончится глобальной катастрофой. Но это неважно! Она дала абсолютно правильный совет организациям (готовьтесь к худшему сценарию, перестаньте говорить людям не паниковать) и абсолютно правильный совет простым людям (начинайте готовиться). Когда вы хорошо справляетесь с чувством неопределенности, делать абсолютно точные предсказания становится практически излишним.
Статья в Vox сообщает, что СМИ стоит говорить «то, о чем они не знают». До определенного момента я с этим согласен. Но они не должны превращать это в запутанные сообщения в стиле «ну, кто знает, наверное». Неуверенность в отношении ситуации в мире не означает неопределенность в отношении лучшего курса действий! Со всей той неопределенностью по коронавирусу, которая была у нас в феврале, статья, которая утверждает эту неопределенность, точно не должна выглядеть как «мы не уверены, как все обернется, так что мы не знаем, должны вы прекратить массовые скопления людей или нет». Она должна выглядеть как «Мы не уверены, как все обернется, так что вы точно должны прекратить массовые скопления людей».
Я переживаю, что те люди, которые отказывались беспокоиться о коронавирусе, пока не стало слишком поздно, думали, что они «действуют осторожно» и «избегают чрезмерной уверенности». И я переживаю, что урок, который они вынесли из этой ситуации — это быть еще более осторожным и избегать чрезмерной уверенности еще старательнее.
Эксперты должны рассуждать подобным образом, когда разрабатывают свои рекомендации, но если они этого не делают, пресса должна сделать это за них, ведь помещать экспертное мнение в контекст — это часть их работы. Я думаю, статья Келси представляет собой блестящий пример того, как это должно выглядеть.
Может быть, другие люди тоже поймут это правильно. Я выделяю среди других Келси из-за личной связи — я познакомился с ней через тот же форум вероятностных суждений, на котором проходил мой опрос о крионике несколько лет назад. Не думаю, что это совпадение.
