Научные исследования: оригинальность против воспроизводимости
Оригинальные публикации и захватывающие результаты исследований вознаграждаются в академической среде; но будут ли публикации с воспроизводимыми результатами отмечены грантовыми комитетами и будущими работодателями — еще предстоит определить. Andrea Stoevenbelt призывает комитеты проанализировать, насколько различно публикации оцениваются в резюме кандидатов.
В настоящее время в области психологических исследований наблюдается кризис достоверности, так как многие полученные многообещающие результаты не удается воспроизвести. Отчасти это объясняется тем, что авторы вынуждены публиковать оригинальные, привлекающие внимание результаты вместо того, чтобы тщательно проводить исследования с воспроизводимыми результатами.
По мнению Andrea Stoevenbelt во время написания докторских диссертаций необходимо способствовать борьбе с этим кризисом, и в связи с этим в настоящее время она работает над масштабным воспроизводимым исследованием. Однако абсолютно неизвестно — если докторская работа будет посвящена одному большому, но надежному проекту, сделает ли это исследователя более конкурентоспособным на рынке труда, где учитывается количество публикаций.
Данное исследование изучает проблему угрозы подтверждения стереотипов. Это описанный эффект, при котором группы, стереотипно (но несправедливо) считающиеся худшими в том или ином задании, действительно выполняют его хуже в случае, если эти стереотипы имеют для них значение. Если угроза стереотипов оказывает значительное влияние в реальной жизни, это могло бы помочь объяснить худшую успеваемость этнических меньшинств или студенток, связанных со стереотипом негативного отношения в некоторых научных областях.
Как и в других областях, в психологии качество литературных данных о проблеме угрозы подтверждения стереотипов страдает из-за небольшой выборки, неоптимальных методов исследования и предвзятости публикаций (вероятность публикации исследований с позитивными результатами выше, что говорит о сомнительности установленных закономерностей и сокрытии данных, доказывающих это). Неясно, насколько этот психологический эффект устойчив, и данный проект, являющийся зарегистрированным воспроизводимым отчетом (registered replication report, RRR), создан для решения этих проблем.
Воспроизведенные результаты предварительно зарегистрированы, чтобы не было возможности выбрать среди них только положительные для дальнейшей публикации. Исследование будет иметь большую выборку (более 1200 участников) и подвергнется обширной проверке и экспертной оценке перед сбором данных. Эта процедура сделает проект резко контрастирующим со стандартными исследованиями, где нормой являются малые выборки, непроверенные материалы и аналитические решения, принятые на основе доступных данных, которые впоследствии приводят исследователей в их собственные ловушки, а остальных — к вере в ложные результаты.
Однако бок о бок с этими преимуществами в существующей академической среде такие исследования имеют существенный недостаток — вложение личного времени. В то время как стандартные исследования могут быть легко проведены за гораздо меньший срок, таким исследованиям потребуется более двух лет постоянной работы для развития исследования и сбора данных. Отчасти это связано с расширенным процессом анализа и с тем фактом, что воспроизведение исследования часто проводится по более высоким методологическим стандартам, чем та же работа с нуля.
Пилотная стадия данного проекта имеет больший размер выборки, чем самые актуальные исследования в литературе по этой теме. Тем временем, со слов Andrea Stoevenbelt, она могла бы провести несколько небольших исследований по исходным правилам и не регистрировать их предварительно. И, возможно, могла бы опубликовать множество новых существенных результатов для продвижения карьеры. Но подобные результаты вероятно не смогли бы выдержать тщательного исследования при более поздних воспроизведениях, тем самым непроизвольно содействуя кризису достоверности. Автор убеждена, что этот стандартный подход в долгосрочной перспективе не поможет ни науке, ни личному резюме. Так что необходимо выбирать зарегистрированный воспроизводимый отчет, чтобы свести недостатки к минимуму.
Зарегистрированный воспроизводимый отчет — это инвестиция, которая принесет значительные результаты для науки в целом. Однако несмотря на желаемый результат, исследователь переживает о публикации своего исследования. В конце концов есть вероятность, что комитеты по найму и грантам посчитают данный проект всего лишь строкой в резюме, в то время как эксперимент об угрозе подтверждения стереотипов может привести к впечатляющему списку публикаций. В таком случае, как это ни парадоксально, применяя практику проведения исследования, которая будет лучшим методом для науки в целом, автор не способствует личной научной карьере. Все же стоит отметить, что зарегистрированный отчет гарантирует публикацию, в то время как нулевые результаты стандартных исследований часто остаются неопубликованными. Учитывая время, инвестированное в зарегистрированный отчет в сравнении со стандартными исследованиями, к сожалению, остается заманчивым брать количеством в обход качества и применять лучшие методы позже, уже будучи признанным ученым.
Чтобы гарантировать, что исследования высокого качества, такие как зарегистрированные отчеты, будут проводиться в будущем, признание этих проектов должно быть пересмотрено, в противном случае нынешний статус-кво в психологических исследованиях не изменится.
Большие надежные исследования требуют от авторов дополнительных усилий, чтобы повысить качество исследований в их области. По этой причине они должны быть оценены по-разному, отдавая должное их масштабу. Andrea Stoevenbelt утверждает, что она и десятки других исследователей в похожих ситуациях могли бы выбирать количество вместо качества и публиковать несколько стандартных исследований вместо одного зарегистрированного отчета, поэтому комитеты по найму и грантам должны скорректировать стандарты оценивания академического резюме.
Проведение исследований высокого качества должно быть не препятствием карьере, а посредником. Шаг в верном направлении мог бы сместить текущий фокус внимания комитетов по отбору, срокам пребывания в должности и грантам с размера академических резюме на качество, тщательность и масштаб индивидуальных публикаций. Особое внимание и награды должны быть обращены к исследователям, которые стремятся улучшить науку, например, оценивать предварительные регистрации и открытые материалы и, возможно, временно рассматривать зарегистрированные отчеты как несколько публикаций (отдельно для протокола и итогового отчета). Andrea Stoevenbelt рассказывает, что, к счастью, в Нидерландах уже представлены некоторые из этих культурных изменений. И ее проект финансировался Нидерландской организацией научных исследований за счет гранта. Этот тренд должен продолжаться — и ученые, и спонсоры должны узнавать этот новый надежный путь проведения исследований. Только таким путем возможно гарантировать, что форматы публикаций, соответствующие научной строгости и достоверности, такие как зарегистрированные отчеты, смогут и дальше служить основой надежных результатов исследований.
