ИЗМЕНЕНИЕ ПРЕДИКТОРОВ ТЕЧЕНИЯ ОСТРОГО ПЕРИОДА ЧЕРЕПНО-МОЗГОВОЙ ТРАВМЫ ПРИ ВНЕДРЕНИИ ПОТОКОВОЙ МОДЕЛИ ОКАЗАНИЯ МЕДИЦИНСКОЙ ПОМОЩИ

  • Авторы: Косолапов А.А.1, Лукьянчиков В.А.2, Артемьева Г.Б.3, Зорин Р.А.3, Жаднов В.А.3, Курданов М.А.3, Леонов Г.А.3, Буршинов А.О.3, Лапкин М.М.3
  • Учреждения:
    1. ГБУ РО «Областная клиническая больница»
    2. ФГБОУ ВО «Московский государственный медико-стоматологический университет имени А. И. Евдокимова»
    3. ФГБОУ ВО «Рязанский государственный медицинский университет имени академика И. П. Павлова» Минздрава России
  • Выпуск: Том 29, № 4 (2021)
  • Страницы: 940-945
  • Раздел: Статьи
  • URL: https://journal-nriph.ru/journal/article/view/655
  • DOI: https://doi.org/10.32687/0869-866X-2021-29-4-940-945
  • Цитировать

Аннотация


Специфика течения острого периода черепно-мозговой травмы и организация оказания медицинской помощи являются определяющими исходы факторами для данной категории пациентов.Целью исследования являлось изучение изменения предикторов течения острого периода черепно-мозговой травмы при внедрении потоковой модели оказания медицинской помощи.В исследование включено 150 пациентов со среднетяжелой и тяжелой черепно-мозговой травмой на основе данных, полученных в 2013 и 2019 гг. соответственно.Оценивались клинические характеристики пациентов (пол, возраст, уровень сознания, наличие алкогольного опьянения при поступлении, обстоятельства получения травмы) и характеристики организации медицинской помощи (способ поступления, уровень квалификации лечащего врача, время до оперативного вмешательства). Отбор предикторов, значимых для прогнозирования исходов острого периода черепно-мозговой травмы, осуществлялся на основе методики логит-регрессионного анализа и технологии искусственных нейронных сетей.Выборка пациентов была разделена на группы на основе исходов острого периода черепно-мозговой травмы: выделены группы с относительно благоприятным и неблагоприятным течением острого периода черепно-мозговой травмы. Показано, что до внедрения потоковой модели оказания медицинской помощи наиболее значимыми факторами, определяющими исходы острого периода черепно-мозговой травмы, являлись характеристики организации медицинской помощи данным пациентам. После внедрения потоковой модели ведущими предикторами оказались клинические характеристики пациентов.

Полный текст

Введение Качество медицинской помощи и клиническое течение острого периода черепно-мозговой травмы (ЧМТ) определяет функциональные возможности пациентов, качество жизни и в итоге исходы данной нозологической формы заболевания [1, 2]. Пациенты с ЧМТ представляют собой неоднородную группу. Гетерогенность данной группы отражает различия биомеханизмов ЧМТ, сочетание диффузных и локальных типов повреждений и патологических реакций, различный характер патоморфологического субстрата ЧМТ, а также индивидуальные особенности местных и системных реакций пациента на повреждение, что проявляется клинически различной степенью тяжести ЧМТ [3]. Несмотря на достижения современной медицины, прогноз тяжелой ЧМТ остается плохим. Среди факторов, определяющих течение острого периода ЧМТ, можно выделить, с одной стороны, клинические характеристики пациента, с другой - организационные факторы, характеризующие специфику диагностических и лечебных мероприятий [4-6]. В рамках персонализированного подхода предполагается выявление предикторов, позволяющих осуществить решение задачи прогнозирования течения острого периода различных нозологических форм, в том числе ЧМТ, при использовании алгоритмов, основанных на технологии машинного обучения [7-11]. Целью исследования стала оценка возможности изменения факторов (предикторов), влияющих на течение острого периода ЧМТ, при внедрении оптимизирующей организацию медицинской помощи потоковой модели. Для достижения цели были определены задачи: -выделить группы пациентов с различными исходами острого периода ЧМТ; -на основе метода логит-регрессионного анализа и технологии искусственных нейронных сетей выделить наиболее значимые предикторы для прогнозирования исходов острого периода ЧМТ; -оценить изменение значимости предикторов в решении данной задачи при внедрении потоковой модели, оптимизирующей оказание медицинской помощи пациентам в остром периоде ЧМТ. Материалы и методы Исследование проводилось на базе нейрохирургического отделения ГБУ Рязанской области «Областная клиническая больница» (ГБУ РО ОКБ). В исследование включено 150 пациентов с ЧМТ, находившихся на лечении в 2013 г., и 150 пациентов, находившиеся на лечении в отделении нейрохирургии в 2019 г. Среди обследованных пациентов 2013 г. - 120 мужчин и 30 женщин, 2019 г. - 119 мужчин и 31 женщина. Средний возраст пациентов составил 48,9 года (стандартная ошибка среднего - 2,28 года) в 2013 г. и 46,4 года (стандартная ошибка среднего - 2,33 года) в 2019 г. Критерии включения: наличие ЧМТ средней тяжести или тяжелой ЧМТ, предполагающей возможность нейрохирургического оперативного вмешательства, возраст пациентов от 18 до 75 лет. Критерии исключения: политравма с преобладанием повреждений, доминирующих над ЧМТ по степени тяжести, заболевания дыхательной и/или сердечно-сосудистой системы в стадии декомпенсации, травматический шок III степени, беременность, психические заболевания в анамнезе. Наблюдались пациенты с определенными клиническими формами ЧМТ с описанием конкретных патоморфологических субстратов (в первую очередь для травматического сдавления головного мозга). Структура клинических форм ЧМТ у включенных в исследование пациентов в 2013 г.: ушиб головного мозга средней степени тяжести - 10%, ушиб головного мозга тяжелой степени - 4%, травматическое сдавление головного мозга субдуральной гематомой - 30%, сочетание ушиба головного мозга с травматическим сдавлением вследствие эпидуральной гематомы - 56%. В 2019 г. данное распределение было следующим: ушиб головного мозга средней степени тяжести - 24%, ушиб головного мозга тяжелой степени - 2%, травматическое сдавление головного мозга субдуральной гематомой - 24%, сочетание ушиба головного мозга средней степени тяжести с травматическим сдавлением головного мозга вследствие эпидуральной гемтомы - 50%. В период 2014-2018 гг. в деятельность нейрохирургического отделения ГБУ РО ОКБ внедрена потоковая модель оптимизации оказания медицинской помощи пациентам с ЧМТ. Данная модель включала обязательное применение чек-листа диагностических и лечебных мероприятий, проводимых данной категории пациентов, обязательное проведение оценки уровня сознания по Шкале комы Глазго (ШКГ), а также рентгеновской компьютерной бесконтрастной томографии при подозрении на ЧМТ. Всех пациентов с политравмой, нестабильностью артериального давления и функции внешнего дыхания, тяжелой ЧМТ госпитализировали в отделение реанимации травматологического центра. Пациенты на основе динамики общего состояния и неврологического статуса были распределены в две группы: 1-ю группу составили пациенты с регрессом общемозговой и очаговой неврологической синдромологии, отсутствием витальных нарушений в острый период ЧМТ, во 2-ю группу вошли пациенты, погибшие в остром периоде ЧМТ, или с сохраняющимся угнетением сознания (ШКГ <9 баллов), грубой очаговой неврологической синдромологией. Количественные данные представлены в формате: медиана (Me), нижний и верхний квартили (LQ и UQ) соответственно. Попарные сравнения осуществлялись методами непараметрической статистики с применением критерия Манна-Уитни (U) для независимых выборок. Логит-регрессионный анализ был применен для распределения пациентов в вышеописанные группы. Уравнение регрессионного анализа представлено в виде: Y = b0 + b1 ∙ X1 + b2 ∙ X2… + bnXn, вероятность распределения пациентов в группы: P = 1/(1 + e^y), где Р=0 при распределении в группу с относительно благоприятным течением; P=1 при распределении в группу с неблагоприятным течением; порог классификации составил 0,5; b0 - константа; b1, b2 … bn - коэффициенты регрессии для независимых факторов; X1, X2 … Xn - независимые факторы. Применялся алгоритм Хука-Дживиса, оценка качества модели основывалась на критерии χ2, с оценкой статистической значимости отдельных параметров. Алгоритмы, основанные на технологии искусственных нейронных сетей (ИНС), позволили оценить комплексное взаимодействие показателей в определении исходов острого периода ЧМТ. Создание, обучение и тестирование ИНС осуществляли при помощи пакета программ Statistica 10.0 Ru; в качестве возможной архитектуры ИНС применялись многослойные персептроны (3 или 4 слоя нейронов в промежуточном слое) и сети, основанные на радиальных базисных функциях. Оценивались производительность работы ИНС на обучающей и тестовой выборках (процент верных решений), для характеристики качества модели на основе чувствительности и специфичности модели использовались кривые операциональных характеристик (receiver operational characteristic - ROC), определялись площадь под кривой, порог классификации. Статистический анализ полученных данных осуществлялся на основе пакета программ Statistica 10.0 Ru. В качестве группы предикторов использовали количественные, ранговые, категориальные показатели. Оценивали факторы, отражающие особенности организации диагностического и лечебного процесса (тип травматизма и обстоятельства получения травмы, способ доставки в медицинское учреждение, стаж врача, оказавшего медицинскую помощь, уровень квалификации лечащего врача, факт оказания медицинской помощи в условиях отделения интенсивной терапии, время до оперативного вмешательства) и клинические характеристики пациентов (пол, возраст, уровень сознания по ШКГ при поступлении, наличие алкогольного опьянения при поступлении). Результаты исследования Выявлен достоверно меньший уровень балльной оценкой ШКГ у пациентов с неблагоприятным течением острого периода ЧМТ: -в группе с благоприятным течением Me=12, LQ=11, UQ=14; -в группе с неблагоприятным течением Me=8, LQ=6, UQ=10 баллов; U=50,5; p=0,001. Вместе с тем достоверных различий по возрасту пациетов, времени до операции выявлено не было (для возраста U=177; p=0,585; для времени до операции U=52; p=0,500). По данным 2019 г. также выявлен достоверно меньший уровень балльной оценкой ШКГ у пациентов с неблагоприятным течением острого периода ЧМТ: -в группе с благоприятным течением Me=14, LQ=12, UQ=14; -в группе с неблагоприятным течением Me=11, LQ=7, UQ=12 баллов; U=57,5; p=0,004. Нами была предложена логит-регрессионная модель, позволяющая на основе данных 2013 г. распределять пациентов в группы с определенным исходом заболевания: благоприятным и неблагоприятным соответственно. Общие характеристики модели были следующими: χ2 - 17,1; p=0,0001; процент верных классификаций для модели в целом - 76%. ps202104.4htm00117.jpg В табл. 1 представлены характеристики данной модели. Таким образом, на основе данных, полученных в 2013 г., наибольшее значение в прогнозе благоприятного исхода острого периода заболевания имели организационные факторы: время до оперативного вмешательства (отношение шансов 0,9), меньшей значимостью обладали клинические показатели - уровень сознания, оцененный по ШКГ. При оценке качества данной модели при распределении пациентов в группы с известными клиническими характеристиками процент верных решений в 1-й группе (относительно благоприятное течение) составил 85, во 2-й группе (неблагоприятное течение) - 60. Таким образом, данная модель демонстрирует достаточно высокую специфичность в определении неблагоприятного исхода, но низкую чувствительность. Для оптимизации решения данной задачи нами была использована технология машинного обучения на основе алгоритмов ИНС. Из набора ИНС была отобрана сеть с оптимальными характеристиками: -данная ИНС представляла собой многослойный персептрон с 8 входными нейронами, 13 нейронами промежуточного слоя и 2 выходными нейронами (MLP 8:13:2); -производительность на основе обучающей выборки составила 100%, производительность тестовой выборки - 82%; -алгоритм обучения представлял собой BFGS 14, функция ошибки - энтропия, функция активации скрытых нейронов - экспонента, функция активации выходных нейронов - софтмакс. При работе ИНС на основе данных 2013 г. процент верных решений при распределении пациентов в группу с благоприятным исходом составил 100, в группу с неблагоприятным исходом - 71, общий процент верных распределений составил 86. Площадь ROC-кривой, характеризующая качество модели, составила 0,813, что соответствует хорошему качеству модели. Достаточно высокое качество модели позволило проанализировать значимость отдельных показателей (предикторов) в решении задачи классификации. ps202104.4htm00119.jpg В табл. 2 представлены ранги показателей и их чувствительность (значимость) в решении задачи классификации. Наибольшее значение для прогноза исхода острого периода ЧМТ, по данным 2013 г. (меньшее значение ранга отражает большую значимость модели), имели показатели, характеризующие организацию медицинской помощи пациентам в остром периоде ЧМТ (3 из 5 показателей с показателем чувствительности >1,0). Нами также были созданы ИНС, решающие задачи прогнозирования избирательно на основе клинических характеристик пациента (клинических данных) и факторов организации медицинской помощи. Модель, созданная на основе клинических данных, представляла собой многослойный персептрон 5:5:2 (5 входных нейронов, 5 нейронов промежуточного слоя, 2 выходных), производительность обучения составила 100%, тестовая производительность - 75%. Таким образом, модель продемонстрировала более низкую производительность по сравнению с ИНС 8:13:2. При этом процент верных решений в 1-й группе составил 100, во 2-й группе - 57. Наибольшее значение в решении задачи классификации (в порядке убывания) имели характеристики уровня сознания у пациентов, характер травматизма, пол, наличие алкогольного опьянения на момент поступления, возраст пациента. Модель, созданная на основе факторов, характеризующих особенности организации медицинской помощи, представляла собой многослойный персептрон с 5 входными нейронами, 3 промежуточными, 2 выходными. Данная модель имела 100% производительность обучения и 89% тестовую производительность, т. е. более высокую чувствительность в выделении группы с неблагоприятным течением. Наиболее значимыми предикторами прогноза течения острого периода ЧМТ на основе данной модели являлись время до проведения операции, стаж лечащего врача, способ доставки в стационар, уровень квалификации нейрохирурга и факт оказания помощи при поступлении в палате интенсивной терапии. Таким образом, прогнозирование исходов острого периода ЧМТ на основе данных 2013 г. и технологии ИНС предполагало большую значимость факторов, отражающих организационные аспекты оказания помощи данной группе пациентов. ps202104.4htm00121.jpg Аналогичные алгоритмы были применены для анализа данных 2019 г. Методика логит-регрессионного анализа позволила создать модель с характеристиками статистической значимости при учете двух независимых параметров - уровня сознания при балльной оценке по ШКГ и возраста пациента. Включение параметров, отражающих факторы организации медицинской помощи, не позволило создать адекватную модель на основе данных 2019 г. Значение показателей данной модели представлено в табл. 3. Следует отметить, что данная модель при удовлетворительной способности к классификации для 1-й группы (87% верных предсказаний) обладала низкой классификационной способностью для 2-й группы (лишь 40% верных решений), т. е., несмотря на высокую специфичность в выявлении неблагоприятного исхода, низкая чувствительность значительно снижает практическое применение данного алгоритма. При использовании технологии машинного обучения удалось создать модели с более высокой производительностью в обучающей и в тестовой выборках. В качестве оптимальной ИНС была выбрана сеть, представляющая собой многослойный персептрон с 9 входными нейронами, 13 нейронами промежуточного слоя и 2 выходными (MLP 9:13:2). Производительность обучения составила 100%, тестовая производительность - 81%. Алгоритм обучения представлял собой BGFS5, функция ошибки - энтропия, функция активации скрытых нейронов - логистическая, функция активации выходных нейронов - софтмакс. При тестировании ИНС процент верных решений в группе с благоприятным исходом составил 100, в группе с неблагоприятным исходом - 76 (общая доля верных решений - 85%). ps202104.4htm00123.jpg Данная модель позволила сочетать высокий уровень специфичности с удовлетворительными показателями чувствительности в выделении пациентов с неблагоприятным исходом. Площадь под ROC-кривой составила 0,850, что свидетельствует о хорошем качестве модели. В табл. 4 представлены ранжированный список показателей и характеристика их значимости для решения задачи классификации. Обращает на себя внимание преобладание среди наиболее значимых показателей клинических характеристик пациента. Также нами были разработаны модели ИНС, основывающиеся только на клинических данных пациента и характеристиках особенностей организации медицинской помощи данной группе пациентов. Модель, обеспечивающая прогнозирование на основе клинических данных, представляла собой MLP 5:10:2, производительность обучения составила 100%, тестовая производительность 80% (алгоритм обучения BGFS 23; функция ошибки - сумма квадратов, функция активации скрытых нейронов - экспонента, функция активации скрытых нейронов - экспонента, функция активации выходных нейронов - тождественная). В выборке 1 достигнута 100% точность прогноза, в выборке 2 - 80% (общая характеристика 90%). При этом наиболее значимыми показателями являлись уровень расстройства сознания по ШКГ (чувствительность 2,2), характер травматизма (2,1), алкогольное опьянение на момент поступления (1,74), пол (1,46), возраст (1,12) пациента. При создании модели, основанной на факторах организации диагностического и лечебного процесса, качество модели снизилось. Полученная модель представляла собой многослойный персептрон с 3 входными нейронами, 8 нейронами промежуточного слоя, 2 выходными нейронами. При 100% производительности обучения тестовая производительность снизилась до 70%. При этом наибольшее число ошибок совершено в 1-й группе (60% верных решений, 40% ошибочных). Значимость факторов (в порядке уменьшения) - стаж лечащего врача, организация доставки в стационар, уровень квалификации лечащего врача, время до операции (чувствительность показателей - 2,4; 1,3; 1,2; 1,1 соответственно). Обсуждение Очевидная неоднородность течения острого периода ЧМТ требует дифференцированного персонализированного подхода к тактике ведения пациентов на всех этапах оказания им медицинской помощи. При этом на этапе специализированной нейрохирургической помощи возможно применение алгоритмов, основанных на технологии машинного обучения или логит-регрессионного анализа. Метод логит-регрессионного анализа позволяет уменьшить сложность модели, технология ИНС за счет увеличения числа учитываемых параметров позволяет увеличить чувствительность и специфичность выявления различных типов течения. В связи с этим представляет особый интерес анализ наиболее значимых клинических предикторов, которыми являлись в первую очередь уровень угнетения сознания, характер травматизма. Среди организационных факторов наибольшее значение имели оказание помощи в условиях отделения интенсивной терапии (по материалам 2013 г.), способ поступления в стационар, уровень квалификации лечащего врача (по материалам 2019 г.). Более сложной задачей являлось определение пациентов с неблагоприятным течением заболевания, но по сравнению с моделью логит-регресссионного анализа классификационные способности ИНС были выше, при этом сохранялась высокая специфичность, но меньшая чувствительность в выделении пациентов с неблагоприятным течением заболевания. В целом внедрение потоковой модели для оптимизации оказания медицинской помощи пациентам нейротравматологического профиля позволило сместить предикторы с организационных на собственно клинические, при этом наиболее значимыми из них остаются выраженность общемозговой симптоматики (уровень угнетения сознания), отражающая как дисфункцию стволовых структур, так и многоочаговость/диффузность поражения головного мозга, а также характер травматизма, ассоциированный с наличием у пациента политравмы. Использование моделей ИНС позволяет аппроксимировать взаимосвязь между предикторами, а также использовать их для персонализированного подхода к прогнозированию течения данных расстройств. Выводы 1. Персонализированный подход в оценке исходов острого периода ЧМТ может быть эффективно реализован за счет технологии ИНС, позволяющей аппроксимировать сложные взаимосвязи между предикторами и зависимой переменной, повысить чувствительность и специфичность в решении данной задачи. 2. Выделенные предикторы, определяющие особенности течения острого периода, подтверждают роль оценки уровня сознания пациентов, а также учета организационных факторов в определении исходов острого периода ЧМТ. 3. Внедрение потоковой модели оказания медицинской помощи пациентам с ЧМТ позволяет сместить акцент в выделенных предикторах с организационных на собственно клинические характеристики пациентов, что может быть одним из показателей эффективности оптимизирующих мероприятий. Исследование не имело спонсорской поддержки. Авторы заявляют об отсутствии конфликта интересов.

Об авторах

А. А. Косолапов

ГБУ РО «Областная клиническая больница»


В. А. Лукьянчиков

ФГБОУ ВО «Московский государственный медико-стоматологический университет имени А. И. Евдокимова»


Г. Б. Артемьева

ФГБОУ ВО «Рязанский государственный медицинский университет имени академика И. П. Павлова» Минздрава России


Р. А. Зорин

ФГБОУ ВО «Рязанский государственный медицинский университет имени академика И. П. Павлова» Минздрава России

Email: zorin.ra@gmail.com

В. А. Жаднов

ФГБОУ ВО «Рязанский государственный медицинский университет имени академика И. П. Павлова» Минздрава России


М. А. Курданов

ФГБОУ ВО «Рязанский государственный медицинский университет имени академика И. П. Павлова» Минздрава России


Г. А. Леонов

ФГБОУ ВО «Рязанский государственный медицинский университет имени академика И. П. Павлова» Минздрава России


А. О. Буршинов

ФГБОУ ВО «Рязанский государственный медицинский университет имени академика И. П. Павлова» Минздрава России


М. М. Лапкин

ФГБОУ ВО «Рязанский государственный медицинский университет имени академика И. П. Павлова» Минздрава России


Список литературы

  1. Коновалов А. Н., Лихтерман А. Б., Потапов А. А. Клиническое руководство по черепно-мозговой травме: В 3-х т. Т. 1. М.: Антитор; 1998.
  2. Lumenta C. B., Di Rocco C., Haase J., Mooij J. J. A. Neurosurgery: European Manual of Medicine. Berlin: Springer-Verlag; 2013. Vol. 1.
  3. Wang K. K. W. Neurotrauma: A Comprehensive Textbook on Traumatic Brain Injury and Spinal Cord Injury. Oxford: Oxford University Press; 2019.
  4. Nelson L. D., Furger R. E., Ranson J., Tarima S., Hammeke Th. A., Randolph C. Acute Clinical Predictors of Symptom Recovery in Emergency Department Patients with Uncomplicated Mild Traumatic Brain Injury or Non-Traumatic Brain Injuries. J. Neurotrauma. 2018;35(2):249-59. doi: 10.1089/neu.2019.6961
  5. Щедренок В. В., Аникеев Н. В., Симонова И. А., Могучая О. В. Организация консультативной помощи при нейротравме в регионах с различной плотностью населения. Российский нейрохирургический журнал им. проф. А. Л. Поленова. 2012;4(2):33-6.
  6. McLaughlin M., Garrett M. C., Emami L., Foss S. K., Klohn J. L., Martin N. A. Integrating risk management data in quality improvement initiatives within an academic neurosurgery department. J. Neurosurg. 2016;124(1):199-206. doi: 10.3171/2014.11.JNS132653
  7. Hale A. T., Stonko D. P., Lim J., Guillamondegui O. D., Shannon C. N., Patel M. B. Using an artificial neural network to predict traumatic brain injury. J. Neurosurg Pediatr. 2018;23(2):219-26. doi: 10.3171/2018.8.PEDS18370
  8. Rughani A. I., Dumont T. D., Lu Z., Bongard J., Horgan M. A., Penar P. L. Use of an artificial neural network to predict head injury outcome. J. Neurosurg. 2010;113(3):585-90. doi: 10.3171/2009.11.JNS09857
  9. Miner L., Bolding P., Hilbe J., Goldstein M., Hill T., Nisbet R. Practical Predictive Analytics and Decisioning Systems for Medicine. Informatics Accuracy and Cost-Effectiveness for Healthcare Administration and Delivery Including Medical Research. London: Academic Press; 2014.
  10. Миранда А. А., Зорин Р. А., Жаднов В. А. Прогнозирование развития эпилептического синдрома у больных опухолями головного мозга на основе комплекса нейрофизиологических показателей и логит-регрессионного анализа. Российский медико-биологический вестник им. академика И. П. Павлова. 2017;25(2):223-30. doi: 10.23888/PAVLOVJ20172223-236
  11. Меркулова М. А., Лапкин М. М., Зорин Р. А. Использование кластерного анализа и теории искусственных нейронных сетей для прогнозирования результативности целенаправленной деятельности человека. Наука молодых (Eruditio Juvenium). 2018;6(3):374-82. doi: 10.23888/HMJ201863374-382

Статистика

Просмотры

Аннотация - 93

Cited-By


PlumX

Dimensions


© АО "Шико", 2021

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Почтовый адрес

Адрес: 105064, Москва, ул. Воронцово Поле, д. 12

Email: ttcheglova@gmail.com

Телефон: +7 903 671-67-12

Редакция

Щеглова Татьяна Даниловна
Зав.редакцией
Национальный НИИ общественного здоровья имени Н.А. Семашко

105064, Москва, ул.Воронцово Поле, д.12


Телефон: +7 903 671-67-12
E-mail: redactor@journal-nriph.ru

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах