Full Text

Одним из основных критериев оценки научной деятельности является публикационная активность авторов и организаций: общее число публикаций, индекс цитирования публикаций и интегрированный показатель - индекс Хирша. Публикация результатов в серьезном научном издании является подтверждением того, что исследование хорошо спланировано, хорошо выполнено и хорошо статистически обработано [1]. Вследствие этого исследование вносит вклад в науку, а его результаты могут быть перенесены на соответствующую популяцию. В современном научном мире существуют определенные требования к планированию научных исследований. Можно сколько угодно критиковать эти требования и вытекающие из них подходы к планированию науки, использовать другие или изобретать свои. Может быть, в этом нет ничего плохого, однако, если не следовать принятым мировым научным сообществом правилам игры, опубликовать или другим образом представить свои работы не получится. Vademecum, ссылаясь на исследование компании E-kvadrat, представило данные по сравнительной цитируемости научных публикаций российских медицинских вузов и национальных исследовательских медицинских центров (исследование Medical Sciences in Russia) [2]. Топ-10 (по цитируемости публикаций) российских медицинских вузов и топ-10 национальных медицинских исследовательских центров (НМИЦ) сравнивались с шестью европейскими университетами: Erasmus University Rotterdam, Hannover Medical School, Karolinska Institutet, Medical University of Vienna, Semmelweis University и Strasbourg University. Российские коллеги уступили зарубежным как по количеству, так и по качеству публикаций. За 2013-2017 гг. европейские ученые из указанных шести университетов опубликовали 78,9 тыс. работ, в то время как их российские коллеги из десяти вузов - 12,2 тыс., из НМИЦ - 4,1 тыс. Критерием качества публикаций выступали: •среднее цитирование на одну публикацию; •Field Weighted Citation Impact (FWCI) - среднее цитирование на публикацию, нормализованное по среднему количеству цитирований на публикацию в мире в данной предметной области; •Field Weighted View Impact (FWVI) - оценка интереса к публикациям. По большинству из этих критериев российские вузы и НМИЦ существенно проигрывали (например, FWCI российских медицинских университетов составил 0,55, а европейских университетов - 1,92). Можем предположить, что такой дисбаланс во многом вызван тем, что планирование многих российских прикладных научных исследований в области медицины не соответствует международным требованиям. Соответственно, опубликовать работу в престижном журнале почти невозможно. Основной документ, которым руководствуются соискатели ученых степеней кандидата и доктора медицинских наук (Постановление Правительства Российской Федерации от 24.09.2013 № 842 «О порядке присуждения ученых степеней»), вообще не содержит конкретных требований к планированию научных работ, что вполне объяснимо - постановление распространяется на все области науки с совершенно разной методологией. После вступления в силу статьи 36.1 Федерального закона от 21.11.2011 № 323-ФЗ «Об основах охраны здоровья граждан в Российской Федерации» (ст. 36.1 действует с 09.03.2015) значительная часть российской клинической медицинской науки финансируется в рамках клинической апробации. Приложение № 2 к приказу Министерства здравоохранения РФ от 10.07.2015 № 433н «Об утверждении Положения об организации клинической апробации» содержит следующие требования к содержанию протокола клинической апробации (по сути, финансируемого за государственный счет научного исследования) в части, которая касается оценки эффективности и безопасности нового метода лечения: •цели и задачи клинической апробации; •указание основных и дополнительных (при наличии) исследуемых параметров, которые будут оцениваться в ходе клинической апробации; •описание дизайна клинической апробации с графической схемой (этапы и процедуры, а также сроки и условия их проведения, иное); •описание метода, инструкции по его проведению; •ожидаемая продолжительность участия пациентов в клинической апробации; •критерии включения, невключения и исключения пациентов; •описание медицинской помощи в рамках клинической апробации; •перечень показателей эффективности; •перечень критериев дополнительной ценности; •методы и сроки оценки, регистрации, учета и анализа показателей эффективности; •описание статистических методов, которые предполагается использовать на промежуточных этапах анализа результатов клинической апробации и при ее окончании, уровень значимости применяемых статистических методов; •планируемое число пациентов, которым будет оказана медицинская помощь в рамках клинической апробации с целью доказательной эффективности апробируемого метода, обоснование числа пациентов, включая расчеты для обоснования. Обратимся к международным требованиям. Существует много рекомендаций относительно того, как должны планироваться научные исследования и что должно быть описано в протоколе. Планирование исследований - сложная задача, не являющаяся предметом данной статьи. Посмотрим, что в соответствии с международными требованиями должно быть определено в протоколе - документе, являющимся квинтэссенцией процесса планирования научного проекта. Одной из самых авторитетных международных систем регистрации научных исследований в области медицины является ClinicalTrials.gov (www.clinicaltrials.gov) - работающая через интернет база данных научных проектов в области медицины. Система поддерживается Национальной медицинской библиотекой (National Library of Medicine) Национального института здоровья (National Institute of Health) США. К началу сентября 2019 г. в базе было зарегистрировано свыше 315 тыс. исследований более чем из 200 стран. Чтобы зарегистрировать проект на этом портале, нужно указать, в частности, следующие моменты, касающиеся планирования исследования [3]: •отношения между исследованием и обычной медицинской практикой (интервенционное, неинтервенционное); •дизайн (для интервенционных проектов: single group, parallel, crossover, factorial, sequential; для неинтервенционных: cohort, case-control, case-only, case-crossover, ecologic or community, family-based, other; с обоснованием того, почему для достижения целей исследования была выбрана именно такая модель); •первичная цель исследования, которая определяет, например, на что будет направлен фокус интервенционного исследования (Treatment, Prevention, Diagnostic, Supportive Care и т. д.); •первичная переменная интереса (использовавшаяся для расчета размера выборки) с обоснованием выбора переменной и описанием того, каким образом и в какие сроки переменная оценивается; •вторичные переменные интереса; •для регистров пациентов (patient registry) 1: процедуры обеспечения качества собираемых данных, принципы кодирования данных, план работы с проблемными данными (пропущенными, недоступными, представляющими сложности для интерпретации), расчет размера выборки и т. д. Для регистрации на портале ClinicalTrials.gov требуется намного больше информации о проекте. Здесь перечислено лишь небольшое количество условий, показывающих отличия в существующей практике планирования научных исследований в России и за рубежом. Международные рекомендации по написанию протоколов научных исследований в области медицины, например SPIRIT (Standard Protocol Items: Recommendations for Interventional Trials) Initiative 2013 [4], рекомендациям ведущих университетов (например, UCSF - University of California San Francisco), либо к стандартам фармацевтической индустрии, являющейся важным спонсором научных исследований в области медицины, требуют, чтобы планирование исследования (и, соответственно, описание исследования в протоколе) включало: 1. Исследовательский вопрос. Пример исследовательского вопроса: «Как препарат А влияет на состояние здоровья пациентов с тромбозом глубоких вен?». 2. Цели исследования. Цели - это составные части исследовательского вопроса; достигнув этих целей, мы должны ответить на исследовательский вопрос. Составные части приведенного выше в качестве примера исследовательского вопроса: (а) «Улучшает ли прием препарата А течение тромбоза глубоких вен (ТГВ)?», (б) «Не опасен ли препарат А для пациентов с ТГВ?». Таким образом, первичная цель исследования может быть сформулирована следующим образом: «Оценить эффективность препарата А для лечения ТГВ», вторичная цель - «Оценить безопасность препарата А для лечения ТГВ». 3. Феномен интереса. Это функция, характеристика организма, которую нужно исследовать, чтобы достичь целей исследования и ответить на исследовательский вопрос. Например, оценить эффективность препарата А при ТГВ можно, оценивая симптомы ТГВ, изучая опасные для жизни осложнения ТГВ, получая информацию, дольше ли живут пациенты с ТГВ, принимающие препарат А. Феномен интереса, изучаемый для оценки безопасности препарата А при ТГВ - например, жизнеугрожающие кровотечения. 4. Переменные интереса. Это результаты обследований (объективных, субъективных, лабораторных, инструментальных), позволяющие количественно описать феномен интереса. Так, чтобы оценить, «Уменьшаются ли симптомы ТГВ?», можно «измерять», например, выраженность отека нижних конечностей (нет отека, слабый отек, сильный отек). Для ответа на вопрос «Реже ли у пациентов наблюдаются опасные для жизни осложнения ТГВ?» можно посчитать процент пациентов, у которых в течение года развилась тромбоэмболия легочной артерии (ТЭЛА). Чтобы узнать, «Дольше ли, в среднем, живут пациенты с ТГВ?»,- определить процент пациентов с ТГВ, которые остались в живых через 3 года после начала приема препарата А. (а) Первичная переменная интереса. Выбирается чаще всего одна первичная переменная интереса, «измерение» которой позволяет достичь первичной цели исследования: оценить эффективность препарата А при лечении ТГВ. Если первичная переменная интереса изменяется в течение определенного времени на определенную величину и это изменение статистически значимо, то препарат А эффективен для лечения ТГВ. Если изменение статистически незначимо, то он неэффективен. Пример первичной переменной интереса: процент пациентов, у которых в течение года развилась ТЭЛА. (б) Вторичные переменные интереса: например, выраженность отека нижних конечностей (нет отека, слабый, сильный отек), процент пациентов, у которых в течение года развилась ТЭЛА; процент пациентов с ТГВ, которые остались в живых через 3 года; процент пациентов, у которых за год развились жизнеугрожающие кровотечения. 5. Клинически значимая разница для первичной переменной интереса. Так, если в группе принимающих препарат А ТЭЛА в течение года развилась не более чем у 5% пациентов, препарат А считается эффективным (для несравнительных исследований). Или, если в группе пациентов, принимающих препарат А, ТЭЛА в течение года развилась как минимум у числа пациентов, на 20% меньшего, чем в группе принимающих препарат Б, разница в эффекте действия препаратов А и Б считается клинически значимой (для сравнительных исследований). 6. Гипотеза. Это предположение об эффекте воздействия препарата А, выраженное в конкретных формулировках, например: «В течение года ТЭЛА разовьется не более чем у 5% у пациентов, принимающих препарат А» или «В группе пациентов, принимающих препарат А, ТЭЛА в течение года разовьется как минимум у числа пациентов, на 20%меньшего, чем в группе принимающих препарат Б». 7. Способ проверки гипотезы. 8. Размер выборки. При расчете учитываются: •предполагаемая величина, на которую должна измениться первичная переменная интереса (чаще всего это клинически значимая разница), ожидаемая величина изменения должна быть (а) обоснованной, например данными предыдущих исследований, (б) достаточной, чтобы быть клинически значимой; •предполагаемый разброс данных (доверительный интервал); тоже из предыдущих исследований, в том числе с аналогичными препаратами; •мощность исследования (вероятность не найти искомую разницу, если она действительно существует), обычно от 70 до 90%. 9. Методы, повышающие объективность получаемых данных (рандомизация, стратификация, процедуры слепого исследования) и способы формирования популяции и сравниваемых групп (для сравнительных исследований). Основная цель использования такой методологии - сделать возможным перенос результатов исследования на популяцию в целом. Другими словами, если при лечении препаратом А выздоровело 8 пациентов из 10 (вывод - «эффективность 80%»), это может не означать, что при применении лекарства в широкой медицинской практике поправятся 80 тыс. больных из 100 тыс. В переносе на популяцию в целом состоит смысл прикладных исследований. Представим, что исследование закончилось, состояние 9 пациентов пришло в норму. Это уже в прошлом: выздоровели - и отлично! Этот факт никак не повлияет на будущие события и на других пациентов. Повлияют полученные в эксперименте новые знания - «препарат А эффективен в 80% случаев». Врачи будут принимать эти сведения в расчет при выборе лечения для будущих пациентов. Поэтому официальные инстанции разных стран и редакционные советы серьезных изданий очень тщательно относятся к выводам подобного плана: «Препарат эффективен у 80% пациентов». Они считают такой вывод корректным только при соблюдении описанной выше методологии. Можно критиковать эти методологические подходы, но на сей день они именно такие. И если мы хотим публиковаться в международных изданиях, то должны следовать установленным ими правилам, независимо от того, считаем их верными или нет. Если не хотим - можно использовать свои, выстраданные и оригинальные. Даже на первый взгляд видно, что российские и международные требования к планированию научных работ существенно различаются. «Совместить» их на этапе представления результатов (например, при подготовке для публикации) практически невозможно. На наш взгляд, несоответствие российских и международных требований к планированию научных исследований и представлению результатов является основной причиной, препятствующей публикациям в серьезных международных изданиях. Говорит ли это о том, что российские работы, спланированные не в соответствии с указанными выше международными нормами, не имеют научной ценности? Конечно, нет. Все ли работы, спланированные в соответствии с этими нормами, заведомо хороши? Тоже нет, поскольку, помимо планирования, большую роль играют и правильный сбор данных во время исследования, и корректное обращение с данными, и правильный статистический анализ, и грамотное представление результатов. Однако несоблюдение международно признанных принципов планирования научных исследований приводит к тому, что огромный труд российских ученых и целых научных коллективов остается невостребованным. Это не вина научных работников. Во-первых, они следуют национальным нормам: зачем усложнять себе жизнь, разрабатывая протокол клинической апробации в соответствии с требованиями SPIRIT, если нормативная документация требует другое? Финансирование клинической апробации точно не получишь, и проблемы будущей международной публикации отходят на второй план. Во-вторых, процесс обучения методологии научных исследований, начиная с аспирантуры, оставляет желать лучшего. Мы проанализировали программы подготовки аспирантов двух российских вузов, вошедших в топ-10 по цитируемости публикаций (см. выше). Аннотация рабочей программы «Методология научных исследований» одного из этих вузов отводит на изучение специальности 108 часов. По окончании курса освоивший дисциплину должен обладать «способностью проектировать и осуществлять комплексные исследования, в том числе междисциплинарные, на основе целостного системного научного мировоззрения с использованием знаний в области истории и философии науки», «способностью и готовностью к организации проведения прикладных научных исследований в области биологии и медицины» и «способностью и готовностью к анализу, обобщению и публичному представлению результатов выполненных научных исследований». Из 108 часов только 1 (один!) лекционный час и 4 часа практических занятий посвящены (или вероятно посвящены, раздел называется «Типы и дизайны научных исследований») тому, что описано в этой статье. Может быть, расчет делается на то, что методология будет изучена в ходе самостоятельной работы, на которую отводится 13 часов? Основополагающий труд в этой области “Guide to Clinical Trials” [6] насчитывает около 1200 страниц и весит около 3 кг. Программа аспирантуры по направлению «Клиническая медицина» еще одного российского вуза из топ-10 (по цитируемости публикаций) предполагает 144 часа обучения по теме «Методология научных исследований». Выпускник аспирантуры получает квалификацию «Исследователь. Врач-исследователь». В перечне рекомендуемой литературы, насчитывающей свыше 40 наименований, нет ни одной книги или работы, имеющей хотя бы отдаленное отношение к методологии планирования научных исследований. Курс «Методология клинических исследований и научное законодательство» (“Clinical Trial Methodology and Regulatory Science”) Национального института здоровья США (National Institute of Health) длится два года [7]. Это не означает, что все научные работники США прошли двухгодичную специализацию по методологии научных исследований. Это означает, что в США на постоянной основе готовятся специалисты в области планирования науки, к которым могут обратиться их коллеги, работающие в конкретной медицинской области. Таким образом, мы должны выбирать: или перенять международную научную методологию и правила организации и проведения научных исследований, или смириться с тем, что результаты работы российских ученых останутся невостребованными международным сообществом. Решение проблемы, на наш взгляд, в постепенном внедрении общепринятых международных норм, вначале через образование научных работников, затем через изменение российской нормативной документации в области научных исследований. Исследование не имело спонсорской поддержки. Авторы заявляют об отсутствии конфликта интересов.

About the authors

O. G. Melihov

The Institute of Clinical Research

Email: melikhov.oleg@gmail.com

A. B. Zudin

N. A. Semashko National Research Institute of Public Health

References

Statistics