Бойся человека одной статьи
Редакция: Таню Молчунова, Никита Чуев
Оформление: Никита Родионов
Перевод: Чумной Доктор

Многим известно выражение Фомы Аквинского: бойся человека одной книги. Я бы хотел добавить: бойся человека одной статьи.

Возьмем для примера медицинские исследования. Предположим, что определенный препарат малоэффективен против определенного заболевания. В течение нескольких лет множество различных исследовательских групп направляли свои силы на изучение этого препарата, и все получали разные результаты. В самом лучшем случае усреднение результатов этих исследований позволит установить истину — препарат обладает низкой эффективностью.

Однако тогда помимо той самой «истины» будет много вторичной «мешающей» информации, обусловленной разным качеством представленных исследований. В итоге мы получим что-то вроде диаграммы нормального распределения. Вершину этой диаграммы занимает доказанная «слабая эффективность». По бокам же спокойно разместятся диаметрально противоположные по исходам исследования. Примерно так:

Мы видим, что вершина диаграммы располагается правее нейтрального значения — это доказывает слабую эффективность препарата, и что есть результаты 15 исследований, которые подтверждают этот неутешительный итог. 

Однако у нас есть примерно 5 исследований, результаты которых говорят нам о том, что препарат обладает высокой эффективностью, и 5 «отрицательных» исследований с противоположным знаком, по итогам которых выяснилось, что препарат очень плох. А в одном исследовании выяснилось, что препарат не просто плох, а потенциально опасен.

Прежде чем мы перейдем к откровенному жульничеству (или плохой статистической обработке), я хочу сказать, что такое распределение является нормой для подобных исследований. Даже если мы сделаем требования к исследованиям более строгими, наша диаграмма будет более узкой по горизонтали, но все равно останется колоколообразной. 

На практике все еще хуже, потому что в данном примере мы предположили, что исследователи задавались в точности одним и тем же вопросом.

Давайте предположим, что данная диаграмма называется «Эффективность данного препарата в лечении биполярного расстройства». Но, может быть, этот препарат эффективнее при лечении БАР I типа, нежели II (как, например, Депакот). Или, может быть, этот препарат намного эффективнее при купировании маниакальной фазы, нежели депрессивной (снова Депакот). Или, может быть, этот препарат хорош для купирования острой мании, но плох в качестве поддерживающей терапии (давайте уже придерживаться Депакота).

Если ваш график называется «Эффективность Депакота в лечении биполярного расстройства» и вы распределяете результаты исследований от «очень хорошо» до «очень плохо», а также объединяете различные аспекты — поддерживающая терапия, депрессивная фаза, маниакальная фаза, БАР I, БАР II — на диаграмме, то в итоге вы получите целую гамму результатов от «очень хорошо» до «очень плохо». При этом данная палитра исходов будет известна до того, как вы уберете всю вторичную «мусорную» информацию и задолго до того, как вы исключите исследования с плохим дизайном.

И вот мы подходим к тому, почему вы должны «бояться человека одной статьи».

Если вы решите прогуляться по сайтам, посвященным альтернативной медицине, то там не будет написано, что «ИССЛЕДОВАНИЯ — ЭТО ЛОГОЦЕНТРИЧНЫЙ ФАЛЛОЦЕНТРИЧНЫЙ ИНСТРУМЕНТ ЗАПАДНОЙ МЕДИЦИНЫ И КОВАРНЫХ ФАРМКОМПАНИЙ!» Там будет написано примерно вот что: «Медицинская наука доказала, что этот препарат опасен, но безграмотные врачи продолжают выписывать его. Смотрите: вот исследование, выполненное авторитетными учеными, и оно доказывает, что препарат не просто неэффективен, а еще и опасен». И такое исследование действительно существует, и авторами выступили уважаемые в мировом масштабе ученые, и оно, возможно, было сделано качественно и со всей «научной» строгостью, как и любые другие исследования.

Те люди, которые считают, что у всего в мире либо есть Доказательства, либо нет Оных, при этом укрепляются в своем заблуждении со словами: «Твою же мать, они же правы!».

С другой стороны, ваш доктор не сидит на вырвиглазных сайтах, посвященных альтернативной медицине. Она погрузилась в пучину медицинской литературы, чтобы аккуратно выудить из нее хорошо обоснованные выводы о том, что…

Хаха, шучу, конечно. Она, скорее всего, пойдет в дорогой ресторан на бизнес-ланч, организованный очередной фармкомпанией, чтобы уверить ее в том, что их компания ни в коем случае не собирается продвигать этот препарат, напротив — они лишь хотят рассказать о результатах новейшего исследования. А результаты говорят, что препарат отличный. Просто отличный! И ваш врач бездумно соглашается с этим, потому что авторами этого исследования являются авторитетные ученые, и оно было сделано качественно, со всей строгостью, как и любые другие исследования. Но очевидно, что фармкомпании выбрали те исследования, которые относятся к категории «очень хорошо» на нашей кривой.

И вот это я называю «бойся человека одной статьи». Ведь легко увидеть, что на такой небольшой диаграмме, представленной в нашей с вами беседе, всегда будут примерно 3–4 исследования, утверждающие, что препарат «очень хороший»; поэтому, даже если наш доктор слегка скептична, представитель фармкомпании спокойно может ей заявить: «Конечно, вы вправе относиться со скепсисом ко всему, что мы вам предоставили, ведь „одно исследование не решает ничего“, НО! Посмотрите: вот здесь еще одна группа ученых получила сходные результаты... А вот еще одна. Все это говорит о воспроизводимости результатов нашего исследования».

И хотя это похоже на наш пример с вырвиглазными сайтами, посвященными альтернативной медицине, упоминающими только одно «очень плохое» исследование, ничто не мешает им собрать несколько похожих «плохих» исследований. Или они могут намеренно выдергивать из этих исследований то, что им нужно, хотя говорилось там о других вещах: Депакот неэффективен в лечении депрессивной фазы БАР; Депакот неэффективен в качестве поддерживающей терапии БАР; Депакот неэффективен при лечении БАР II типа.

Давайте представим это так: «Пупкин и коллеги в 1987 году обнаружили, что препарат неэффективен, но врачи продолжают выписывать его». Даже если мы отыщем оригинальное исследование (чего никто не делает), Пупкин и коллеги в своей работе не говорили: «Запомните, что это исследование рассматривало только поддерживающую терапию БАР, которая принципиально отличается от лечения острой мании, и что мы ничего об этом не писали». Нет, там будет написано что-то этом роде: «Эффективность Депакота по сравнению с плацебо не была доказана в ходе исследования на 91 пациентах в течение шести месяцев», и надейтесь, что читающие это профессионалы осознают разницу между лечением острой фазы и поддерживающей терапией (хахахахаха).

Значит, наша формула уже не «бойся человека одной статьи», а, скорее, «бойся человека, который прочитал любое количество статей, но не читал их обзора».


II.

Я думаю, медицинская наука пока еще достаточно «здорова» для того, чтобы существовал консенсус между врачами и исследователями, которые более-менее правы относительно наиболее противоречивых медицинских проблем.

(на самом деле, беспокоиться как раз нужно о неоспоримом)

У политики такой защиты нет.

Например, в вопросе минимального размера оплаты труда (о боже…). Все мы знаем, что исследование Крюгера и Карда, которое они провели в Нью-Джерси, не выявило негативного влияния МРОТ на экономику. Мы также наслышаны о заявлениях критиков этого исследования, а именно о том, что они считают это бездарным и нечестным статистическим жульничеством. Возможно, некоторые из нас знают о том, что Кард и Крюгер написали прекрасный ответ на эту критику. Или о том, что во множестве более методологически продвинутых исследований, которые вышли позже, не было обнаружено эффекта МРОТ, влияющего на экономику, как и в работе Дюбе. С другой стороны, в работах Рубинштейна и Уизера такой эффект был. И это только единичные примеры, а существуют десятки и, возможно, сотни исследований с обеих сторон.

Но ведь мы сможем найти истину с помощью мета-анализов и систематических обзоров, верно?

Зависит от того, что вы хотите в итоге получить. Хотите взглянуть на мета-анализ четырнадцати исследований, результаты которого говорят о том, что негативный эффект высокого МРОТ на экономику — это просто статистическая ошибка? А наличие мета-анализа шестидесяти трех исследований, в котором обнаружили сходные результаты в виде отсутствия влияния МРОТ на экономику? Поставит ли это точку в данном вопросе? А как насчет мета-анализа пятидесяти пяти стран, в котором обнаружили влияние МРОТ на экономику большинства из них? Может быть вам понравится этот систематический обзор сотни (или около того) исследований, которые подтверждают выраженный эффект?

Можем ли мы доверять новостным источникам, исследовательским институтам, экономическим блогам и другим организациям, которые суммируют результаты исследований в поисках истины?

По заявлению CNN, 85 % авторитетных исследований демонстрируют, что установка минимального размера оплаты труда приводит к безработице. Но на сайте raisetheminimumwage.com написано: «Спустя два десятка лет качественных экономических исследований было выявлено, что МРОТ не приводит к безработице… исследователи и бизнес соглашаются сегодня с тем, что количество рабочих мест не зависит от увеличения минимального размера оплаты труда». Сайт Modeled Behavior пишет: «В большинстве свежих исследований МРОТ поддерживается гипотеза о том, что этот самый МРОТ приводит к безработице». Аналитический центр CBPP Роберта Гринштейна заявляет: «Гипотеза о том, что „повышение МРОТ приводит к росту безработицы среди низкооплачиваемых специальностей“ является одной из самых исследованных в мире экономики. И существует огромный пакет доказательств, что такое влияние или отсутствует, или ничтожно мало».

Окей, хорошо, а что с экономистами? Они, вроде как, эксперты. Что они думают по этому поводу?

Ну, пятьсот экономистов обратились к политикам с петицией, в которой сказано, что, согласно последним экономическим данным, увеличение МРОТ является очень плохой идеей. Звучит как начало некоего консенсуса…

… вот только есть шестьсот экономистов, которые подписали противоположную петицию о том, что согласно последним экономическим данным, увеличение МРОТ является хорошей идеей.

Ладно, довольно с ними. Давайте проведем опрос экономистов. Что теперь?

Сайт raisetheminimumwage.com, «непредвзятый» источник, утверждает, что «согласно опросу 2013 года, проведенному в Школе бизнеса Бута в Университете Чикаго, до 80 % ведущих экономистов согласились, что выгоды от повышения и индексации МРОТ перевешивают затраты». Но институт политики занятости, название которого звучит слишком круто для того, чтобы быть недостоверным источником, заявляет: «Больше 73 % опрошенных представителей Американской экономической ассоциации, специализирующихся на наемном труде, считают, что существенное увеличение МРОТ приведет к безработице, а 68 % считают, что безработица непропорционально возрастает среди низкоквалифицированных специальностей. Только 6 % из них считают, что увеличение МРОТ является хорошим способом избавиться от бедности».

Да, все это очень сложно. Но вы узнаете об этом только в том случае, если начнете пытаться в этом всем разобраться своей головой.

Если вы консерватор, то вы будете находить на сайтах, которым вы доверяете, что-то вроде этого:

«Экономическая теория всегда демонстрировала нам то, что МРОТ увеличивает безработицу, но левые никогда не признают этого факта. В 1992 году они вовсю трубили об одном-единственном исследовании Карда и Крюгера, которое не выявило никаких негативных эффектов, вызванных увеличением МРОТ. Это исследование было незамедлительно разгромлено. Было признано, что оно основывалось на манипуляции цифрами и содержало статистические ошибки. Спустя некоторое время десятки исследований подтвердили то, что мы и так все знаем: высокий МРОТ — это экономический суицид. Систематические обзоры и мета-анализы (Neumark 2006, Boockman 2010) однозначно показывают, что подавляющее большинство исследований с этим утверждением согласны — как минимум 73 % всех экономистов. Именно по этой причине пять сотен экономистов высшего класса подписали петицию, которая предупреждает политиков об опасности этой либеральной чуши. Несмотря на то, что либералы с выпученными глазами тужатся, чтобы доказать обратное, стоит прислушаться к эмпирическим доказательствам и подавляющему большинству экономистов, которые являются противниками увеличения МРОТ».

А если вы левый, то скорее всего на сайтах, которые вам по душе, вы найдете примерно это:

«Всем известно, что МРОТ уменьшает безработицу. А замечательное исследование, которое в 1992 году провели Кард и Крюгер, лишь подтверждает этот общеизвестный факт. С тех пор результаты этого исследования были подтверждены более пятидесяти раз, и в последующих мета-анализах (Card and Krueger 1995, Dube 2010) не было обнаружено свидетельств какого-либо отрицательного эффекта на экономику. Ведущие экономисты соглашаются с тем, что выгода от повышения МРОТ перевешивает экономические затраты, и именно поэтому более 600 из этих экономистов подписали петицию к правительству о том, что это действительно так. Хотя консерваторы и продолжают использовать свою любимую тактику запугивания, основанную на многократно разгромленных псевдотеориях, прислушайтесь к эмпирическим доказательствам и подавляющему большинству экономистов, которые являются сторонниками увеличения МРОТ».

Ладно, давайте загуглим и посмотрим, что получится. Если не выйдет точного соответствия с тем, что я написал выше, то это только потому, что они даже не пытаются приблизиться к этому уровню знаний. Половина сайтов просто цитируют Карда и Крюгера изо дня в день!

Эти сайты с их длинными списками экспертов и исследований выглядят ну «очень убедительно». И суждения половины из них ошибочны.

В какой-то момент своего обучения, большинство умных людей усваивают полезный урок: «Не стоит доверять аргументам, основываясь только на авторитете». Если кто-то скажет: «Поверь мне, то, что я говорю о МРОТ — правда. Разве я не похож на того, кому стоит доверять?» — хотя бы ничтожной частью своего сознания они усомнятся и попросят предоставить доказательства. И если они действительно разумны, то дальше в ход идут магические слова вроде «независимо подтвержденных экспериментальных исследований».

Но к сожалению, многие люди и не догадываются, что если брехню подкрепить десятками исследований, несколькими мета-анализами, мнениями сотен экспертов и академиков — она не перестанет быть брехней.

И это очень плохо, поскольку именно этим и пользуются люди, которые хотят надуть образованную аудиторию.


III.

Я не хочу проповедовать радикальный скептицизм.

Например, в случае с МРОТ я заметил, что только одна сторона представила воронкообразную диаграмму. Воронкообразная диаграмма в основном используется для того, чтобы обнаружить ошибки в публикациях, но у нее есть еще одно хорошее применение — она является достойным примером той диаграммы, о которой мы говорили выше.

Она скорее похожа на иглу, нежели на колокол, но суть остается прежней. Мы можем увидеть, что ее центр находится около нуля, а это означает существование доказательства того, что это реальный сигнал, а не просто какой-то сторонний шум. Колоколообразная кривая перекошена больше влево, нежели вправо — это означает, что большинство исследований обнаружат негативное влияние МРОТ. Но из-за того, что колоколообразная кривая асимметрична, мы интерпретируем это как возможную ошибку публикации. Итак, все-таки я думаю, что есть, по крайней мере, некоторые доказательства того, что либералы правы в этом вопросе.

Если, конечно, кто-то не подумал, что я изучал все эти исследования, мета-анализы и экспертные опросы, чтобы «сжульничать» с этой диаграммой, чего я полностью не исключаю.

(ладно, я как бы хочу проповедовать радикальный скептицизм)

И да, я бы хотел прояснить, что здесь все намного сложнее, чем простое преобладание правоты одной стороны над другой. Когда мы говорим о МРОТ, следует учитывать имеющийся контекст, потому что от этого многое зависит: например, о каких специальностях мы говорим, повышаем ли мы МРОТ на уровне субъекта или на уровне государства, увеличиваем ли мы МРОТ с 5 до 6 долларов или, может быть, с 20 до 30 и т. д., и т. д., и т. д. Есть, как минимум, 11 исследований, результаты которых показывают, что эффект хуже чем –5, и очень вероятно, что они очень точные, потому что рассматривают отдельную проблему в исследовании, подобно разобранному нами Депакоту, который эффективен против мании, но при этом является отвратительным антидепрессантом.

(радикальный скептицизм на самом деле звучит намного лучше, чем детальный разбор вот этого всего)


IV.

Но вопрос остается прежним: что происходит, если у вас нет (а так чаще всего и бывает) подобной диаграммы?

У меня нет хорошего позитивного ответа. Вместо этого у меня есть несколько хороших негативных ответов.

Не торопитесь верить большинству утверждений, если не уверены, что у вас есть достаточно доказательств.

Не доверяйте сайтам, которые очевидно являются недостоверными источниками (например Free Republic, Daily Kos, Dr. Oz), хоть они и говорят вам, что «сейчас предоставят вам неопровержимые доказательства» конкретного мнения, даже если эти доказательства на первый взгляд кажутся убедительными. Ваш скептицизм должен возрастать в два раза, когда вы видите на любом сайте публикацию, озаглавленную «мифы и факты об X», в четыре раза на каждом сайте, который говорит о том, что «члены одной социальной группы предоставляют ФАКТЫ, чтобы УНИЧТОЖИТЬ ложь другой социальной группы об Y», и в восемь раз, когда вы читаете RationalWiki.

И самое главное, даже если кто-то предоставляет вам то, что на первый взгляд кажется убедительным доказательством в пользу определенной точки зрения, не верьте ему ровно до того момента, пока вы не сделаете простой запрос в Google, чтобы узнать, есть ли у противоположной стороны столь же убедительные доказательства.