Аннотация

Критическая оценка — это мыслительный процесс, используемый для выявления сильных и слабых сторон статьи с целью оценки пользы и обоснованности результатов исследований. Наиболее важными компонентами критической оценки являются оценка плана исследования соответственно объекту данного исследования и тщательная оценка ключевых методологических особенностей этого плана. Другие факторы, которые также следует учитывать, включают пригодность используемых статистических методов и их последующее толкование, потенциальные конфликты интересов и актуальность исследования для той или иной области науки. В этом обзоре представлено руководство из 10 шагов критической оценки, которая направлена на то, чтобы помочь клиницистам выявлять наиболее актуальные высококачественные исследования, доступные для повседневного использования в их клинической практике.

Критерии обзора

В октябре 2008 года были изучены Medline и Google Scholar с целью поиска статей на английском языке, опубликованных в период между 1996 и 2008 гг. Ключевые слова «критическая оценка» были объединены со следующими ключевыми словами, такими как: «навыки», «медицинская литература», «исследования», «рандомизированное исследование», «когорта», «перекрестный анализ», «серия / ряд случаев», «диагностический тест», «систематический обзор», «метаанализ», «экономический», «обоснованность», «систематическая ошибка», «обобщаемость». Дополнительные поиски проводились с использованием терминов «методологическое качество», «конфликт интересов» и «ответственное поведение». Были найдены соответствующие обзорные статьи и оригинальные исследования, а в их списках используемых источников были найдены дополнительные статьи. Инструменты критической оценки и контрольные списки были доступны с веб-страниц организаций, указанных в поиске. Для определений использовались учебники по клинической эпидемиологии.

Введение

Чтобы понимать и использовать на практике принципы доказательной медицины, клиницисты должны применять результаты научных исследований к обстоятельствам отдельных пациентов в рамках процесса принятия клинических решений. Таким образом, врачи должны иметь возможность выбирать и оценивать научную литературу, относящуюся к их области, понимать значение результатов исследований для отдельных пациентов, определять собственные предпочтения и разрабатывать соответствующий план терапевтических или диагностических мероприятий на основе этой информации. Каждая из этих задач имеет свои подпункты, но огромный объем медицинской литературы означает, что первый шаг (отбор и оценка научных данных) может быть пугающим для большинства практикующих врачей.

Количество новых медицинских исследовательских статей, публикуемых каждый год, постоянно увеличивается. Более 12 000 новых статей, в том числе более 300 рандомизированных контролируемых исследований (RCT — randomized controlled trials, далее — РКИ), добавляются в базу данных MEDLINE каждую неделю. Один из практических способов, с помощью которого клиницисты могут справиться с этой «информационной перегрузкой», — развить эффективные навыки критической оценки, которые позволят им сосредоточиться только на исследованиях самого высокого качества, которые будут определять их клиническую деятельность. Также важно умение при необходимости экстраполировать информацию на исследования менее строгого дизайна, если качественные материалы по каким-либо причинам недоступны.

Критическая оценка была определена как «... применение правил доказательности к исследованию для оценки достоверности данных, полноты отчетности, методов и процедур, выводов, соответствия этическим стандартам». Правила доказательности меняются в зависимости от обстоятельств. И хотя методологические критерии, по которым оценивается достоверность исследования, будут варьироваться в зависимости от его дизайна, некоторые общие принципы лежат в основе оценки любого исследования в любой отрасли. Различные основополагающие принципы и инструменты оценки были разработаны для обеспечения структурированного подхода к процессу критической оценки для врачей. Несмотря на множество документов, доступных для руководства процессом, не существует «золотого стандарта» инструмента для критической оценки. Критерии, используемые для оценки достоверности и актуальности научной литературы, не являются статичными: они должны развиваться с улучшением понимания важных источников систематических ошибок, присущих различным планам исследований, и повышением осведомленности о потенциальном влиянии других неметодологических факторов, таких как, например, конфликт интересов. Структурированный подход к критической оценке может потенциально улучшить качество данного процесса, и простые чек-листы могут быть полезны для отбора и отбраковки исследований низкого качества или невысокой актуальности. В этом обзоре представлено руководство по критической оценке.

Блок 1
Десять вопросов, которые нужно задать с целью оценки той или иной исследовательской статьи:

1. Актуальна ли тема данного исследования?
   
2. Добавляет ли исследование что-нибудь новое к уже известным фактам?
   
3. Какой вопрос задают исследователи в своей работе?
   
4. Подходил ли дизайн исследования под вопрос исследования?
   
5. Были ли проработаны наиболее важные потенциальные источники предвзятости?
   
6. Было ли исследование проведено в соответствии с первоначальным протоколом?
   
7. Подтверждает ли исследование установленную гипотезу?
   
8. Был ли правильно выполнен статистический анализ данных?
   
9. Соответствуют ли результаты сделанным выводам?
   
10. Имел ли место конфликт интересов?

Выбор научной литературы и ее критическая оценка

Десять ключевых вопросов, представленных выше, могут быть использованы для оценки обоснованности и актуальности исследовательской статьи.
Эти вопросы могут помочь клиницистам определить самые актуальные и наиболее качественные исследования, которые доступны для их введения в клиническую практику.
Остановимся на этих ключевых вопросах подробнее и разберем каждый из них.

Актуален ли вопрос исследования?

Даже если исследование обладает наивысшей методологической строгостью, оно не всегда может представлять большую научную ценность, если в нем не затрагиваются важные и актуальные темы и если оно не дополняет того, что уже известно об исследуемом предмете. Оценка того, является ли вопрос исследования актуальным, неизбежно основывается на субъективном мнении исследователей, поскольку то, что может иметь решающее значение для одних, не будет иметь абсолютно никакого значения для других. Тем не менее первый вопрос, который следует задать себе при чтении любой статьи: релевантна ли конкретная тема в области исследования?

Добавляет ли исследование что-нибудь новое к уже известным фактам?

В исследовательской среде часто можно услышать афоризм «стоя на плечах гигантов», поскольку совершенно естественно, что новые идеи опираются на результаты работы большого количества исследователей в прошлом и полученных ими данных. Работы, которые демонстрируют принципиально новый взгляд на что-либо, являются относительной редкостью, но исследования, которые позволяют хоть немного продвинуться вперед, все равно имеют большое значение. Например, научная работа может повысить уверенность в достоверности предыдущих исследований путем тиражирования его результатов или же обобщить результаты, распространяя оригинальные результаты исследований на новую группу пациентов или привнося новые методики в клинический контекст.

Какой вопрос задают исследователи в своей работе?

Фундаментальная задача критической оценки — обозначить конкретный вопрос исследования, к которому относится статья, так как это определит оптимальный дизайн исследования и будет иметь большое значение для важности и актуальность результатов. Хорошо проработанный, конкретный и корректно сформулированный вопрос исследования обычно включает три компонента: группу или популяцию пациентов, исследуемый параметр (например, терапию или клиническое вмешательство) и результаты, представляющие интерес. В целом, вопросы клинических исследований подразделяются на две категории.

Вопросы об эффективности лечения
Отвечая на эти вопросы, можно разобраться, является ли одна схема терапии лучше другой с точки зрения клинической эффективности (дилемма «польза или вред»), или же проанализировать экономическую эффективность.

Вопросы о частоте событий
Такие вопросы касаются частоты или распространенности заболевания или других клинических явлений, факторов риска, диагноза, прогноза или предсказания конкретных клинических результатов, а также используются в исследованиях качества медицинской помощи.

Подходил ли дизайн исследования под вопрос исследования?

Исследования, которые отвечают на вопросы об эффективности тех или иных методов терапии, имеют хорошо устоявшийся дизайн, который позволяет по максимуму защититься от предвзятости или конфликта интересов. Метаанализ хорошо проведенных РКИ предоставляет более надежные доказательства, чем нерандомизированные контролируемые исследования, когортные исследования, исследования типа «случай-контроль» и другие наблюдательные исследования. Однако при некоторых обстоятельствах РКИ либо неосуществимы технически, либо считаются этически неприемлемыми. Эти проблемы чаще встречаются в нефармацевтических исследованиях, таких как испытание новых методов и техник в хирургических процедурах. Один обзор исследований в области абдоминальной хирургии показал, что только на 40 % исследовательских вопросов мог быть дан ответ в рамках РКИ, даже если финансирование данного исследование было неограниченным. Пожелания или препятствия со стороны пациентов, редкость некоторых патологических состояний и отсутствие единой точки зрения по тому или иному вопросу среди практикующих хирургов оказались основными препятствиями для проведения РКИ в абдоминальной хирургии. Когда РКИ осуществить невозможно, конкретные причины, препятствующие его реализации, будут определять тип альтернативного плана исследования, который можно использовать. Наблюдательные исследования являются планом «Б», если осуществить РКИ не представляется возможным.

Были ли проработаны наиболее важные потенциальные источники предвзятости?

С эпидемиологической точки зрения наличие предвзятости не подразумевает предубеждения со стороны исследователя, а, скорее, означает, что результаты исследования отклоняются от истины. Отклонение может быть связано со случайностью (например, случайной ошибкой) или с методами исследования (систематическое смещение). Случайная ошибка не влияет на результаты в каком-либо конкретном направлении, но, к сожалению, влияет на точность исследования. Систематическое смещение имеет свое направление и в зависимости от этого направления приводит к переоценке или недооценке «истины». Систематические ошибки возникают из-за того, как проводится исследование: например, по какому принципу были отобраны участники исследования, как были собраны данные (в результате анализа или интерпретации исследователями). Различные планы исследований подвержены различным источникам систематического смещения. После того как дизайн исследования для той или иной статьи определен, рекомендуется, чтобы клиницисты использовали один из доступных контрольных списков критической оценки для конкретного дизайна, чтобы решить, является ли данное исследование высококачественным. Программа навыков критической оценки (Critical Appraisal Skills Programme — CASP) включает в себя такие инструменты, и координаторы программы разработали отдельные контрольные списки вопросов для оценки систематических обзоров, РКИ, когортных исследований, исследований типа «случай-контроль», диагностических тестовых исследований и экономических оценок. Эти вопросы были разработаны для серии статей по медицинской литературе, которые первоначально были опубликованы в журнале Американской медицинской ассоциации.Статьи теперь изданы в виде книги и легко доступны в Интернете.

Систематические обзоры и метаанализы

Стандартизированный протокол используется в систематическом обзоре для выявления, критической оценки и обобщения всех исследований по конкретной теме. Некоторые систематические обзоры могут затем перейти к метаанализу, в котором результаты отдельных исследований совмещаются для получения единого результата. И хотя планирование проведения систематического обзора или метаанализа в перспективе возможно, большая часть статей такого типа является ретроспективными и существует риск систематической ошибки, которая возникает на этапе выбора исследований и оценки качества первоисточников. Предвзятость, которая возникает из-за выборочной публикации исследований с положительными результатами, вызывает особую озабоченность, поскольку искажает общее восприятие результатов по конкретной теме. Положение QUORUM (Quality of Reporting of Meta-Analyses — Качество отчетности метаанализов) используется для оценки качества отчетности в метаанализах и систематических обзорах. Кроме того, для оценки систематических обзоров был разработан инструмент оценки AMSTAR, который состоит из 11 вопросов. Этот инструмент или же контрольный список CASP может быть более полезным, чем положение QUORUM, для клиницистов, которые хотят провести быструю оценку интересующих статей. Ключевые методологические вопросы, которые следует учитывать при оценке систематических обзоров и метаанализов, перечислены в блоке 2. Систематические обзоры и метаанализы не ограничиваются только РКИ. Руководство MOOSE (Meta-Analysis Of Observational Studies in Epidemiology — ​​метаанализ наблюдательных исследований в эпидемиологии) было разработано как дополнение к положению QUORUM для метанализа не-РКИ.

Блок 2
Ключевые методологические вопросы, которые следует задавать себе при оценке систематических обзоров и мета-анализов:

1. Были ли включены все соответствующие исследования (т. е. был ли поиск всесторонним или же он исключал статьи на основе статуса публикации или языка и была ли оценена вероятность систематической ошибки в публикации)?
   
2. Были ли оценены отдельные статьи, а данные получены двумя независимыми рецензентами?
   
3. Была ли предоставлена достаточная информация о первичных исследованиях, включая описания пациентов, техники вмешательств и манипуляций и полученные результаты?
   
4. Было ли оценено качество первичных исследований?
   
5. Оценили ли исследователи целесообразность объединения результатов для расчета суммарного показателя?Рисунок 1. Блок-схема операторов консолидированных стандартов отчетности испытаний (CONSORT) для оценки рандомизированных контролируемых испытаний.
   Публикуется с разрешения CONSORT.

Рисунок 1 | Блок-схема операторов консолидированных стандартов отчетности испытаний (CONSORT) для оценки рандомизированных контролируемых испытаний.
Публикуется с разрешения CONSORT.

Рандомизированные контролируемые испытания

В РКИ случайное распределение участников должно гарантировать, что группы испытуемых эквивалентны с точки зрения как известных, так и еще неизвестных факторов, поскольку любые различия в результатах между группами можно приписать эффекту терапии. Однако сам дизайн исследования не защитит вас от предвзятости, если критические аспекты протокола исследования не являются оптимальными. Запись пациентов в исследование и распределение по группам может стать источником грубых ошибок, если не проводится качественная рандомизация. Централизованные методы рандомизации, например, сгенерированное компьютером распределение, предпочтительнее менее скрытых методов, таких как использование цветовых кодов, форм или псевдослучайных последовательностей, основанных на номерах медицинских карт или днях недели. Было показано, что недостаточно качественная рандомизация приводит к большему искажению результатов, чем отсутствие двойного ослепления — еще одного основного источника систематической ошибки в РКИ. Блок-схема оператора CONSORT (Consolidated Standards of Reporting Trials — сводные стандарты отчетности по испытаниям) (рис. 1) функционально эквивалентна положению QUORUM для систематических проверок и предоставляет инструменты для оценки стандарта отчетности в рандомизированных исследованиях. Ключевые моменты, которые следует учитывать при оценке РКИ, перечислены в блоке 3.

Блок 3
Ключевые методологические моменты, которые следует учитывать при оценке рандомизированных контролируемых исследований:

1. Был ли процесс распределения участников испытания действительно случайным?
   
2. Смогли бы участники узнать или угадать распределение лечения?
   
3. Были ли участники и исследователи «слепыми» к группе участников испытания?
   
4. Были ли результаты оценены объективно?
   
5. Были ли все участники, которым случайным образом назначено лечение, учтены в окончательном анализе?
   
6. Были ли проанализированы данные всех участников в группе, в которую они были случайно распределены?

Когортные исследования

Когортные или продольные исследования включают наблюдение двух или более групп пациентов с целью выяснить, у кого развивается интересующий исследователей результат. Проспективные когортные исследования нередко сопоставляются с естественными экспериментами, поскольку результаты измеряются в больших группах людей в течение длительных периодов времени в реальном мире. 

Когортные исследования также могут проводиться ретроспективно: такие исследования обычно включают идентификацию группы пациентов и отслеживание результатов прогресса в них путем изучения записей, которые были собраны для архивов или для других целей. Это могут быть медицинские данные, записи в регистрах моргов или базы данных по госпитализации. Основной методологической проблемой когортных исследований является высокий потенциал для предвзятости в выборке и огромное влияние смешанных факторов. Эти проблемы особенно актуальны, когда когортные исследования (или не-РКИ) используются для оценки терапевтических вмешательств. В этой ситуации лечение, которое кто-либо получает, определяется предпочтениями пациента или клинициста, текущими парадигмами лечения или местной министерской политикой. Важные различия, вероятно, существуют между пациентами, которые получают разнородное лечение, и эти различия, а не само лечение, могут быть ответственны за наблюдаемые результаты. И хотя некоторые потенциальные мешающие факторы могут быть измерены и учтены в анализе, такие корректировки более сложны в ретроспективных, чем в проспективных исследованиях, так как данные о важных потенциальных нарушениях могли не собираться или были очень плохого качества. Положение STROBE (Strengthening the Reporting of Observational Studies in Epidemiology — усиление отчетности наблюдательных исследований в эпидемиологии) является следствием ранее принятых положений QUORUM и CONSORT для обсервационных исследований, включая когортные, контрольные и перекрестные исследования. Ключевые методологические особенности, которые следует учитывать при оценке когортных исследований, перечислены в блоке 4.

Блок 4
Ключевые методологические моменты, которые следует учитывать при оценке когортного исследования:

1. Является ли исследование проспективным или ретроспективным?
   
2. Репрезентативна ли выборка для конкретной группы населения?
   
3. Были ли выявлены все факторы, способные создать погрешность?
   
4. Были ли все важные воздействия и/или методы лечения, потенциальные мешающие факторы и результаты измерены точно и объективно у всех членов группы?
   
5. Отмечались ли значимые потери для последующей деятельности?
   
6. Наблюдались ли участники достаточно продолжительное время?

Исследования «случай-контроль»

Исследования «случай-контроль» всегда ретроспективны по своей природе, так как пациенты отбираются потому, что у них уже развился интересующий результат (например, некая болезнь). Затем собираются данные о факторах, которые могли повлиять на этот результат, и эти воздействия сравниваются с воздействиями на группы людей, которые отличаются от пациентов случая только тем, что у них интересующий результат не развился. Исследования типа «случай-контроль» идеальны для изучения факторов риска, когда интересующий результат является редким, так как слишком много времени потребовалось бы для отбора такой когорты. Основными методологическими трудностями в исследованиях типа «случай-контроль» являются выбор подходящих контрольных лиц и вероятность «предвзятого отношения» (субъективная интерпретация пациентом того, что вызвало его состояние, может изменить его воспоминание об определенных событиях или переживаниях). Контроли должны быть взяты из той же популяции, что и случаи, и единственное различие между контролями и случаями должно заключаться в том, что в контролях не развилось интересующее состояние. Объективные измерения возможных причинных факторов являются предпочтительными, хотя исследования «случай-контроль», к сожалению, часто полагаются на субъективную оценку и воспоминания своих участников. Ключевые аспекты, которые следует учитывать при оценке исследования «случай-контроль», перечислены в блоке 5.

Блок 5
Ключевые вопросы методологии, которые следует учитывать при оценке исследования «случай-контроль»:

1. Достаточно ли четко описаны случаи?
   
2. Были ли случаи репрезентативными для определенной группы населения?
   
3. Как были отобраны контроли и были ли они взяты из той же группы, что и случаи?
   
4. Были ли методы исследования идентичны для случаев и для контроля?
   
5. Были ли методы исследования объективными или субъективными и возможно ли выявить предвзятость, если они были субъективными?

Поперечный анализ

Поперечные исследования дают «срез», в котором все параметры (воздействия и результаты) оцениваются одновременно. Примеры схем поперечного сечения включают в себя разовые обследования и аудиты клинической практики. Ключевые методологические моменты, которые следует учитывать при оценке перекрестного исследования, перечислены в блоке 6.

Блок 6
Ключевые методологические моменты, которые следует учитывать при оценке перекрестного исследования:

1. Был ли четко определен образец исследования?
   
2. Была ли выборка репрезентативной (например, была ли частота ответов достаточно высокой)?
   
3. Были ли точно измерены все соответствующие риски, потенциальные мешающие факторы и результаты?
   
4. Были ли оценены пациенты с разнообразными вариантами тяжести заболевания?

Серия случаев («кейсов»)

Серия случаев предоставляет низкоуровневые данные о терапевтической эффективности, однако подобные статьи очень распространены в медицинской литературе. Основные методологические вопросы, которые следует учитывать при оценке таких статей, приведена в блоке 7.

Блок 7
Ключевые моменты методологии, которые следует учитывать при оценке тематического исследования:

1. Были ли случаи выявлены проспективно или ретроспективно?
2. Является ли отобранное количество случаев репрезентативной выборкой (например, серия больных, набранных из нескольких центров) и похожи ли они на пациентов в вашей клинической практике?
3. Были ли точно измерены все соответствующие риски, потенциальные мешающие факторы и результаты?

Исследования, оценивающие точность диагностических процедур

Эти исследования обычно имеют дизайн, как у поперечных исследований, но обладают рядом специфических методологических особенностей, которые следует учитывать в дополнение к тем, которые отмечены выше. Чтобы исследовать точность той или иной диагностической процедуры, необходимо проводить испытания на группе тщательно отобранных пациентов, а результаты должны сравниваться с результатами золотого стандарта диагностического теста. Уровень согласия между исследуемым тестом и диагностическим тестом по золотому стандарту может быть представлен либо с точки зрения чувствительности и специфичности, либо с точки зрения правдоподобности.

Рисунок 2 | Стандарты для предоставления отчета о диагностической точности исследований (STARD) для оценки исследований, проверяющих точность диагностических процедур.
Публикуется с разрешения STARD.

На веб-сайте STARD представлена ​​подробная блок-схема (рисунок 2) и 25-элементный контрольный список для стандартизированной отчетности и оценки исследований, которые оценивают точность диагностических тестов. CASP также предоставляет аналогичный, но более простой инструмент для такого типа исследований. Важные особенности, которые следует учитывать при оценке точности диагностики, перечислены в блоке 8.

Блок 8
Основные вопросы методологии, которые необходимо учитывать при оценке точности диагностики:

1. Представляет ли выборка полный спектр пациентов с наличием интересующего диагноза и без такового?
   
2. Было ли сравнение с соответствующим «золотым стандартом» диагностики?
   
3. Все ли пациенты проходили и тестируемую диагностическую процедуру, и один и тот же «золотой стандарт»?
   
4. Проводились ли тесты независимо друг от друга, сопоставлялись ли результаты нового метода с результатами, полученным при применении «золотого стандарта» диагностики?
   
5. Были ли четко описаны точки отсечения, после которых результаты теста оцениваются как положительные?

Оценка экономических аспектов

Исследования экономической оценки сосредоточены на эффективности финансирования и, разумеется, на том, какое лечение может обеспечить наибольший эффект при наименьших затратах. Существует несколько типов исследований экономической оценки, включая анализ затрат и выгод, анализ эффективности затрат и пользы, и все они различаются по тому, как они измеряют потенциальную пользу для здоровья. Важной особенностью критической оценки любого анализа затрат является оценка того, насколько хорошо были определены и измерены различные затраты и последствия отдельных видов лечения. CASP разработал контрольный список, чтобы помочь с оценкой исследований экономической оценки.

Было ли исследование выполнено в соответствии с первоначальным протоколом?

Отклонения от запланированного протокола могут повлиять на достоверность или актуальность исследования. Одной из наиболее распространенных проблем, с которыми сталкиваются в клинических исследованиях, является неспособность набрать запланированное количество участников. Оценка показывает, что более трети РКИ набирают менее 75 % запланированной выборки. Это отклонение от плана исследования не только потенциально уменьшает степень, в которой результаты исследования могут быть спроецированы на реальную ситуацию, но также снижает вероятность того, что исследование вообще покажет достоверные результаты. Другие отклонения от исходного протокола могут включать изменения в критериях включения и исключения, изменения в предоставляемых методах лечения или вмешательствах, изменения в применяемых методах или технологиях и изменения в продолжительности наблюдения.

Проверяет ли исследование выдвинутую ранее гипотезу?

Гипотеза — это четкое утверждение, которое ученые ожидают проверить в своей работе, и оно является центральным для любого исследования, поскольку именно гипотеза формулирует вопрос исследования в той форме, когда его можно подтвердить или опровергнуть. Нулевая гипотеза гласит, что результаты исследования ничем не отличаются от тех, которые можно было бы ожидать случайно. Статистическая проверка гипотез включает в себя вычисление вероятности достижения наблюдаемых результатов, если нулевая гипотеза была верной. Если эта вероятность мала (обычно меньше 1:20 или P <0,05), нулевая гипотеза отклоняется, и результаты считаются «статистически значимыми». 

Гипотезы исследования должны быть определены априори (то есть до проведения самого исследования) и разработаны на основе теории или предыдущего опыта. Если в работе исследуется статистическая значимость неких ассоциаций, которые не были заранее определены в исходной гипотезе (анализ post hoc), такие анализы склонны к ложноположительным результатам, поскольку при уровне значимости 5 % (P = 0,05) 1 из 20 проверенных ассоциаций будут положительными случайно. Когда проводится большое количество таких исследований, очень вероятно появление некоторых ложноположительных результатов. Также важно проверить, чтобы были представлены все данные, относящиеся к заявленным целям исследования, и чтобы выборочные результаты не были опущены.

В случаях, когда схема лечения какого-либо заболевания уже существует, могут быть разработаны испытания для проверки эффективности новой терапии, аналогичной уже существующей. Этот тип исследования называется испытанием на эквивалентность или отсутствие неполноценности, поскольку его цель — установить, что новый метод лечения не хуже существующего. Исследования эквивалентности требуют, чтобы степень разницы в результатах, при которой два метода лечения не считаются эквивалентными, была определена заранее. Например, исследователи могут решить, что если исход нового лечения не более чем на 5 % хуже, чем у существующего лечения, два лечения будут считаться эквивалентными. Исследования эквивалентности определяют, является ли новое лечение по крайней мер таким же эффективным, как и уже существующие схемы, чтобы решение о том, какой вид терапии назначать данному пациенту, могло приниматься на основе таких критериев, как стоимость препаратов или простота их введения. 

Положение CONSORT для рандомизированных исследований было расширено, чтобы включить руководящие принципы отчетности для исследований эквивалентности. Ключевой вопрос при оценке этого типа исследования заключается в том, были ли результаты надлежащим образом проанализированы для исследования эквивалентности. Если исследование предназначено для того, чтобы показать, что новое лечение по крайней мере так же хорошо, как и существующее лечение, статистические методы для традиционного тестирования гипотезы о том, что одно лечение превосходит другое, использоваться не должны. Надлежащий анализ результатов в исследовании эквивалентности часто включает в себя расчет доверительных интервалов для эффекта лечения и определение того, находятся ли эти пределы в пределах предопределенного запаса неполноценности. Другой ключевой вопрос заключается в том, правильно ли был рассчитан размер выборки для исследования эквивалентности, поскольку для этих типов исследований обычно требуется больший размер выборки, чем в соответствующем исследовании превосходства.

Был ли статистический анализ выполнен правильно?

Оценка уместности статистического анализа может быть трудной для не-статистов. Тем не менее все количественные исследовательские статьи должны включать сегмент в разделе «Методы», который объясняет инструменты, используемые в статистическом анализе, и обоснование подхода, при описании которого должны быть использованы термины, уместные для той или иной аудитории, а именно для читателей журнала. В частности, следует указать подход к работе с недостающими данными и применяемые статистические методы. Пациенты, исключенные из выборки в ходе последующего наблюдения, и отсутствующие данные должны быть четко определены в разделе «Результаты». Исходные данные должны быть представлены таким образом, чтобы читатели могли проверить статистическую точность статьи.

Важным моментом при статистическом анализе РКИ является выяснение того, проводился ли анализ намерения к терапии (ITT) или анализ по протоколу. Согласно принципу ITT, данные участников анализируются со ссылкой на группу, в которую они были распределены случайным образом, независимо от того, получили ли они фактически назначенное лечение. Анализ ITT является предпочтительным, потому что он поддерживает рандомизацию и гарантирует, что две группы лечения сопоставимы на исходном уровне. Однако если многие участники не придерживаются назначенной терапии или значительная часть переходит на другие виды лечения, анализ ITT будет несколько смешанным, и результаты может быть трудно интерпретировать. В этой ситуации для дополнения анализа ITT можно использовать анализ по протоколу, включающий только тех пациентов, которые выполнили протокол испытания. Поскольку анализы по протоколу подвергаются повышенному риску смещения, их обычно не следует использовать в качестве основного метода, если не существует веской причины для обоснования этого подхода. Блок-схема CONSORT (рис. 1) позволяет четко определить поток участников и групп, использованных в анализе исследования.

Обосновывают ли данные соответствующие выводы?

Следующее соображение заключается в том, являются ли выводы, представленные авторами, обоснованными на основе накопленных данных. Иногда акцент делается на различия, которые слишком незначительны, чтобы иметь клиническую ценность, или же, наоборот, некоторые исследователи могут отклонить большие и потенциально важные различия между группами, которые не являются статистически значимыми, часто потому, что размеры выборки были небольшими. Другие вопросы, на которые следует обратить внимание, заключаются в том, обобщали ли авторы свои выводы для более широких групп пациентов, чем выборка исследования, и не были ли статистически значимые ассоциации неверно истолкованы, чтобы взаимозаменить причину и следствие.

Имел ли место конфликт интересов?

Конфликт интересов возникает, когда личные факторы влияют на профессиональные роли или обязанности. Члены исследовательской группы должны делать заключения, которые могут повлиять на безопасность участников и достоверность результатов исследования. Исследователи могут решить, какие исследования будут проводиться в их отделении, какие пациенты будут приглашены для участия в исследовании и следует ли сообщать, например, о некоторых реакциях на лекарство как о побочных эффектах. Эти решения требуют от исследователей действовать честно, а не ради личной или институциональной выгоды. Потенциальные финансовые конфликты интересов включают получение зарплаты и оплату консультаций компании, которая спонсировала исследование, а также владение акциями или патентами, связанными с исследованием. Подразделениям, которые набирают участников исследования, может назначаться плата за каждого зарегистрированного пациента, которая может превышать соответствующие расходы. Многие потенциальные финансовые источники конфликта интересов, такие как отраслевое финансирование образовательных мероприятий, поездок или подарков, все чаще встречаются как в повседневной клинической практике, так и при проведении исследований. 

Другие потенциальные конфликты изначально присущи условиям исследования. Например, статус ученых и их будущий доход во многом зависит от успеха их исследований. Выявление потенциального конфликта интересов не является синонимом фактического конфликта интересов или плохой исследовательской практики. Потенциальные конфликты интересов встречаются практически постоянно, и наиболее важным вопросом является то, были ли они признаны исследователями и как они с ними обращались. Основным механизмом борьбы с потенциальными конфликтами интересов является принцип открытой информации (open disclosure). В процессе критической оценки исследовательской статьи одним из важных шагов является проверка декларации об источнике финансирования исследования, а также анализ того, был ли потенциальный конфликт интересов выявлен с целью заявления о том, как этот конфликт был разрешен. Например, исследователи могут конкретно указать, что агентство-спонсор не имело никакого вклада в протокол исследования, анализ данных или интерпретацию результатов. Многие журналы в настоящее время требуют, чтобы авторы объявляли о любых потенциальных финансовых или иных конфликтах интересов при предоставлении статьи, а затем уже сам читатель должен решить, важны ли заявленные факторы и могли ли они повлиять на достоверность результатов исследования.

Заключение

Критическая оценка — это систематический процесс, посредством которого можно выявить сильные и слабые стороны научного исследования. Этот процесс позволяет читателю оценить полезность данной работы и достоверность ее результатов. Важнейшим компонентом критической оценки является тщательный анализ плана исследования, однако другие этапы, такие как оценка используемых статистических методов, интерпретация результатов и потенциальный конфликт интересов, безусловно, так же важны. Наконец, рассмотрение актуальности исследования для собственных пациентов поможет клиницистам определить наиболее важные, высококачественные исследования, доступные для внедрения в их клиническую практику.

Ключевые моменты:

• Критическая оценка — это процесс, используемый для выявления сильных и слабых сторон исследовательской статьи.
• Критическая оценка обеспечивает основу для принятия решения о том, использовать ли результаты исследования в клинической практике.
• Различные проекты исследования подвержены различным источникам систематического смещения.
• Специфичные для проекта контрольные списки являются полезными инструментами для оценки качества исследования.
• Оценка других факторов, таких как важность вопроса исследования, уместность статистического анализа, обоснованность выводов и потенциальные конфликты интересов, является важной частью критической оценки.