The modification of predictors of course of acute period of craniocerebral trauma under implementation of stream model of medical care support

  • Authors: Kosolapov A.A.1, Lukyanchikov V.A.2, Artemjeva G.B.3, Zorin R.A.3, Zhadnov V.A.3, Kurdanov M.A.3, Leonov G.A.3, Burshinov A.O.3, Lapkin M.M.3
  • Affiliations:
    1. The State Budget Institution of the Ryazan Oblast “The Oblast Clinical Hospital”
    2. The State Budget Educational Institution of Higher Professional Education “The A. E. Evdokimov Moscow State University of Medicine and Dentistry”
    3. The Federal State Budget Educational Institution of Higher Education “The Academician I. P. Pavlov Ryazan State Medical University” of Minzdrav of Russia
  • Issue: Vol 29, No 4 (2021)
  • Pages: 940-945
  • Section: Articles
  • URL: https://journal-nriph.ru/journal/article/view/655
  • DOI: https://doi.org/10.32687/0869-866X-2021-29-4-940-945
  • Cite item

Abstract


The specificity of course of acute period of craniocerebral injury and organization of medical care support are the factors determining outcomes for this category of patients. The purpose of the study is to investigate changes in predictors of course of acute period course of craniocerebral injury under implementation of stream model of medical care organization. The sampling included 150 patients with moderate and severe craniocerebral injury based on data obtained in 2013 and 2019, respectively. The clinical characteristics of patients (gender, age, level of consciousness, alcoholic intoxication, type of injury) and the characteristics of organization of medical care (mode of admission, qualification of hospital physician, time prior to surgery intervention) were evaluated. The selection of predictors significant for prognosis of outcomes of acute period of craniocerebral injury was implemented on the basis of logit-regression analysis and artificial neural network technology. The sampling of patients was divided into groups on the basis of outcomes of acute period of craniocerebral injury. The groups with relatively favorable and unfavorable course of acute period of craniocerebral injury were identified. It is demonstrated that prior to implementation of stream model of medical care provision, the most significant factors determining outcomes of the acute period of craniocerebral injury were characteristics of organization of medical care of these patients. After implementation of stream model the leading predictors became clinical characteristics of patients.

Full Text

Введение Качество медицинской помощи и клиническое течение острого периода черепно-мозговой травмы (ЧМТ) определяет функциональные возможности пациентов, качество жизни и в итоге исходы данной нозологической формы заболевания [1, 2]. Пациенты с ЧМТ представляют собой неоднородную группу. Гетерогенность данной группы отражает различия биомеханизмов ЧМТ, сочетание диффузных и локальных типов повреждений и патологических реакций, различный характер патоморфологического субстрата ЧМТ, а также индивидуальные особенности местных и системных реакций пациента на повреждение, что проявляется клинически различной степенью тяжести ЧМТ [3]. Несмотря на достижения современной медицины, прогноз тяжелой ЧМТ остается плохим. Среди факторов, определяющих течение острого периода ЧМТ, можно выделить, с одной стороны, клинические характеристики пациента, с другой - организационные факторы, характеризующие специфику диагностических и лечебных мероприятий [4-6]. В рамках персонализированного подхода предполагается выявление предикторов, позволяющих осуществить решение задачи прогнозирования течения острого периода различных нозологических форм, в том числе ЧМТ, при использовании алгоритмов, основанных на технологии машинного обучения [7-11]. Целью исследования стала оценка возможности изменения факторов (предикторов), влияющих на течение острого периода ЧМТ, при внедрении оптимизирующей организацию медицинской помощи потоковой модели. Для достижения цели были определены задачи: -выделить группы пациентов с различными исходами острого периода ЧМТ; -на основе метода логит-регрессионного анализа и технологии искусственных нейронных сетей выделить наиболее значимые предикторы для прогнозирования исходов острого периода ЧМТ; -оценить изменение значимости предикторов в решении данной задачи при внедрении потоковой модели, оптимизирующей оказание медицинской помощи пациентам в остром периоде ЧМТ. Материалы и методы Исследование проводилось на базе нейрохирургического отделения ГБУ Рязанской области «Областная клиническая больница» (ГБУ РО ОКБ). В исследование включено 150 пациентов с ЧМТ, находившихся на лечении в 2013 г., и 150 пациентов, находившиеся на лечении в отделении нейрохирургии в 2019 г. Среди обследованных пациентов 2013 г. - 120 мужчин и 30 женщин, 2019 г. - 119 мужчин и 31 женщина. Средний возраст пациентов составил 48,9 года (стандартная ошибка среднего - 2,28 года) в 2013 г. и 46,4 года (стандартная ошибка среднего - 2,33 года) в 2019 г. Критерии включения: наличие ЧМТ средней тяжести или тяжелой ЧМТ, предполагающей возможность нейрохирургического оперативного вмешательства, возраст пациентов от 18 до 75 лет. Критерии исключения: политравма с преобладанием повреждений, доминирующих над ЧМТ по степени тяжести, заболевания дыхательной и/или сердечно-сосудистой системы в стадии декомпенсации, травматический шок III степени, беременность, психические заболевания в анамнезе. Наблюдались пациенты с определенными клиническими формами ЧМТ с описанием конкретных патоморфологических субстратов (в первую очередь для травматического сдавления головного мозга). Структура клинических форм ЧМТ у включенных в исследование пациентов в 2013 г.: ушиб головного мозга средней степени тяжести - 10%, ушиб головного мозга тяжелой степени - 4%, травматическое сдавление головного мозга субдуральной гематомой - 30%, сочетание ушиба головного мозга с травматическим сдавлением вследствие эпидуральной гематомы - 56%. В 2019 г. данное распределение было следующим: ушиб головного мозга средней степени тяжести - 24%, ушиб головного мозга тяжелой степени - 2%, травматическое сдавление головного мозга субдуральной гематомой - 24%, сочетание ушиба головного мозга средней степени тяжести с травматическим сдавлением головного мозга вследствие эпидуральной гемтомы - 50%. В период 2014-2018 гг. в деятельность нейрохирургического отделения ГБУ РО ОКБ внедрена потоковая модель оптимизации оказания медицинской помощи пациентам с ЧМТ. Данная модель включала обязательное применение чек-листа диагностических и лечебных мероприятий, проводимых данной категории пациентов, обязательное проведение оценки уровня сознания по Шкале комы Глазго (ШКГ), а также рентгеновской компьютерной бесконтрастной томографии при подозрении на ЧМТ. Всех пациентов с политравмой, нестабильностью артериального давления и функции внешнего дыхания, тяжелой ЧМТ госпитализировали в отделение реанимации травматологического центра. Пациенты на основе динамики общего состояния и неврологического статуса были распределены в две группы: 1-ю группу составили пациенты с регрессом общемозговой и очаговой неврологической синдромологии, отсутствием витальных нарушений в острый период ЧМТ, во 2-ю группу вошли пациенты, погибшие в остром периоде ЧМТ, или с сохраняющимся угнетением сознания (ШКГ <9 баллов), грубой очаговой неврологической синдромологией. Количественные данные представлены в формате: медиана (Me), нижний и верхний квартили (LQ и UQ) соответственно. Попарные сравнения осуществлялись методами непараметрической статистики с применением критерия Манна-Уитни (U) для независимых выборок. Логит-регрессионный анализ был применен для распределения пациентов в вышеописанные группы. Уравнение регрессионного анализа представлено в виде: Y = b0 + b1 ∙ X1 + b2 ∙ X2… + bnXn, вероятность распределения пациентов в группы: P = 1/(1 + e^y), где Р=0 при распределении в группу с относительно благоприятным течением; P=1 при распределении в группу с неблагоприятным течением; порог классификации составил 0,5; b0 - константа; b1, b2 … bn - коэффициенты регрессии для независимых факторов; X1, X2 … Xn - независимые факторы. Применялся алгоритм Хука-Дживиса, оценка качества модели основывалась на критерии χ2, с оценкой статистической значимости отдельных параметров. Алгоритмы, основанные на технологии искусственных нейронных сетей (ИНС), позволили оценить комплексное взаимодействие показателей в определении исходов острого периода ЧМТ. Создание, обучение и тестирование ИНС осуществляли при помощи пакета программ Statistica 10.0 Ru; в качестве возможной архитектуры ИНС применялись многослойные персептроны (3 или 4 слоя нейронов в промежуточном слое) и сети, основанные на радиальных базисных функциях. Оценивались производительность работы ИНС на обучающей и тестовой выборках (процент верных решений), для характеристики качества модели на основе чувствительности и специфичности модели использовались кривые операциональных характеристик (receiver operational characteristic - ROC), определялись площадь под кривой, порог классификации. Статистический анализ полученных данных осуществлялся на основе пакета программ Statistica 10.0 Ru. В качестве группы предикторов использовали количественные, ранговые, категориальные показатели. Оценивали факторы, отражающие особенности организации диагностического и лечебного процесса (тип травматизма и обстоятельства получения травмы, способ доставки в медицинское учреждение, стаж врача, оказавшего медицинскую помощь, уровень квалификации лечащего врача, факт оказания медицинской помощи в условиях отделения интенсивной терапии, время до оперативного вмешательства) и клинические характеристики пациентов (пол, возраст, уровень сознания по ШКГ при поступлении, наличие алкогольного опьянения при поступлении). Результаты исследования Выявлен достоверно меньший уровень балльной оценкой ШКГ у пациентов с неблагоприятным течением острого периода ЧМТ: -в группе с благоприятным течением Me=12, LQ=11, UQ=14; -в группе с неблагоприятным течением Me=8, LQ=6, UQ=10 баллов; U=50,5; p=0,001. Вместе с тем достоверных различий по возрасту пациетов, времени до операции выявлено не было (для возраста U=177; p=0,585; для времени до операции U=52; p=0,500). По данным 2019 г. также выявлен достоверно меньший уровень балльной оценкой ШКГ у пациентов с неблагоприятным течением острого периода ЧМТ: -в группе с благоприятным течением Me=14, LQ=12, UQ=14; -в группе с неблагоприятным течением Me=11, LQ=7, UQ=12 баллов; U=57,5; p=0,004. Нами была предложена логит-регрессионная модель, позволяющая на основе данных 2013 г. распределять пациентов в группы с определенным исходом заболевания: благоприятным и неблагоприятным соответственно. Общие характеристики модели были следующими: χ2 - 17,1; p=0,0001; процент верных классификаций для модели в целом - 76%. ps202104.4htm00117.jpg В табл. 1 представлены характеристики данной модели. Таким образом, на основе данных, полученных в 2013 г., наибольшее значение в прогнозе благоприятного исхода острого периода заболевания имели организационные факторы: время до оперативного вмешательства (отношение шансов 0,9), меньшей значимостью обладали клинические показатели - уровень сознания, оцененный по ШКГ. При оценке качества данной модели при распределении пациентов в группы с известными клиническими характеристиками процент верных решений в 1-й группе (относительно благоприятное течение) составил 85, во 2-й группе (неблагоприятное течение) - 60. Таким образом, данная модель демонстрирует достаточно высокую специфичность в определении неблагоприятного исхода, но низкую чувствительность. Для оптимизации решения данной задачи нами была использована технология машинного обучения на основе алгоритмов ИНС. Из набора ИНС была отобрана сеть с оптимальными характеристиками: -данная ИНС представляла собой многослойный персептрон с 8 входными нейронами, 13 нейронами промежуточного слоя и 2 выходными нейронами (MLP 8:13:2); -производительность на основе обучающей выборки составила 100%, производительность тестовой выборки - 82%; -алгоритм обучения представлял собой BFGS 14, функция ошибки - энтропия, функция активации скрытых нейронов - экспонента, функция активации выходных нейронов - софтмакс. При работе ИНС на основе данных 2013 г. процент верных решений при распределении пациентов в группу с благоприятным исходом составил 100, в группу с неблагоприятным исходом - 71, общий процент верных распределений составил 86. Площадь ROC-кривой, характеризующая качество модели, составила 0,813, что соответствует хорошему качеству модели. Достаточно высокое качество модели позволило проанализировать значимость отдельных показателей (предикторов) в решении задачи классификации. ps202104.4htm00119.jpg В табл. 2 представлены ранги показателей и их чувствительность (значимость) в решении задачи классификации. Наибольшее значение для прогноза исхода острого периода ЧМТ, по данным 2013 г. (меньшее значение ранга отражает большую значимость модели), имели показатели, характеризующие организацию медицинской помощи пациентам в остром периоде ЧМТ (3 из 5 показателей с показателем чувствительности >1,0). Нами также были созданы ИНС, решающие задачи прогнозирования избирательно на основе клинических характеристик пациента (клинических данных) и факторов организации медицинской помощи. Модель, созданная на основе клинических данных, представляла собой многослойный персептрон 5:5:2 (5 входных нейронов, 5 нейронов промежуточного слоя, 2 выходных), производительность обучения составила 100%, тестовая производительность - 75%. Таким образом, модель продемонстрировала более низкую производительность по сравнению с ИНС 8:13:2. При этом процент верных решений в 1-й группе составил 100, во 2-й группе - 57. Наибольшее значение в решении задачи классификации (в порядке убывания) имели характеристики уровня сознания у пациентов, характер травматизма, пол, наличие алкогольного опьянения на момент поступления, возраст пациента. Модель, созданная на основе факторов, характеризующих особенности организации медицинской помощи, представляла собой многослойный персептрон с 5 входными нейронами, 3 промежуточными, 2 выходными. Данная модель имела 100% производительность обучения и 89% тестовую производительность, т. е. более высокую чувствительность в выделении группы с неблагоприятным течением. Наиболее значимыми предикторами прогноза течения острого периода ЧМТ на основе данной модели являлись время до проведения операции, стаж лечащего врача, способ доставки в стационар, уровень квалификации нейрохирурга и факт оказания помощи при поступлении в палате интенсивной терапии. Таким образом, прогнозирование исходов острого периода ЧМТ на основе данных 2013 г. и технологии ИНС предполагало большую значимость факторов, отражающих организационные аспекты оказания помощи данной группе пациентов. ps202104.4htm00121.jpg Аналогичные алгоритмы были применены для анализа данных 2019 г. Методика логит-регрессионного анализа позволила создать модель с характеристиками статистической значимости при учете двух независимых параметров - уровня сознания при балльной оценке по ШКГ и возраста пациента. Включение параметров, отражающих факторы организации медицинской помощи, не позволило создать адекватную модель на основе данных 2019 г. Значение показателей данной модели представлено в табл. 3. Следует отметить, что данная модель при удовлетворительной способности к классификации для 1-й группы (87% верных предсказаний) обладала низкой классификационной способностью для 2-й группы (лишь 40% верных решений), т. е., несмотря на высокую специфичность в выявлении неблагоприятного исхода, низкая чувствительность значительно снижает практическое применение данного алгоритма. При использовании технологии машинного обучения удалось создать модели с более высокой производительностью в обучающей и в тестовой выборках. В качестве оптимальной ИНС была выбрана сеть, представляющая собой многослойный персептрон с 9 входными нейронами, 13 нейронами промежуточного слоя и 2 выходными (MLP 9:13:2). Производительность обучения составила 100%, тестовая производительность - 81%. Алгоритм обучения представлял собой BGFS5, функция ошибки - энтропия, функция активации скрытых нейронов - логистическая, функция активации выходных нейронов - софтмакс. При тестировании ИНС процент верных решений в группе с благоприятным исходом составил 100, в группе с неблагоприятным исходом - 76 (общая доля верных решений - 85%). ps202104.4htm00123.jpg Данная модель позволила сочетать высокий уровень специфичности с удовлетворительными показателями чувствительности в выделении пациентов с неблагоприятным исходом. Площадь под ROC-кривой составила 0,850, что свидетельствует о хорошем качестве модели. В табл. 4 представлены ранжированный список показателей и характеристика их значимости для решения задачи классификации. Обращает на себя внимание преобладание среди наиболее значимых показателей клинических характеристик пациента. Также нами были разработаны модели ИНС, основывающиеся только на клинических данных пациента и характеристиках особенностей организации медицинской помощи данной группе пациентов. Модель, обеспечивающая прогнозирование на основе клинических данных, представляла собой MLP 5:10:2, производительность обучения составила 100%, тестовая производительность 80% (алгоритм обучения BGFS 23; функция ошибки - сумма квадратов, функция активации скрытых нейронов - экспонента, функция активации скрытых нейронов - экспонента, функция активации выходных нейронов - тождественная). В выборке 1 достигнута 100% точность прогноза, в выборке 2 - 80% (общая характеристика 90%). При этом наиболее значимыми показателями являлись уровень расстройства сознания по ШКГ (чувствительность 2,2), характер травматизма (2,1), алкогольное опьянение на момент поступления (1,74), пол (1,46), возраст (1,12) пациента. При создании модели, основанной на факторах организации диагностического и лечебного процесса, качество модели снизилось. Полученная модель представляла собой многослойный персептрон с 3 входными нейронами, 8 нейронами промежуточного слоя, 2 выходными нейронами. При 100% производительности обучения тестовая производительность снизилась до 70%. При этом наибольшее число ошибок совершено в 1-й группе (60% верных решений, 40% ошибочных). Значимость факторов (в порядке уменьшения) - стаж лечащего врача, организация доставки в стационар, уровень квалификации лечащего врача, время до операции (чувствительность показателей - 2,4; 1,3; 1,2; 1,1 соответственно). Обсуждение Очевидная неоднородность течения острого периода ЧМТ требует дифференцированного персонализированного подхода к тактике ведения пациентов на всех этапах оказания им медицинской помощи. При этом на этапе специализированной нейрохирургической помощи возможно применение алгоритмов, основанных на технологии машинного обучения или логит-регрессионного анализа. Метод логит-регрессионного анализа позволяет уменьшить сложность модели, технология ИНС за счет увеличения числа учитываемых параметров позволяет увеличить чувствительность и специфичность выявления различных типов течения. В связи с этим представляет особый интерес анализ наиболее значимых клинических предикторов, которыми являлись в первую очередь уровень угнетения сознания, характер травматизма. Среди организационных факторов наибольшее значение имели оказание помощи в условиях отделения интенсивной терапии (по материалам 2013 г.), способ поступления в стационар, уровень квалификации лечащего врача (по материалам 2019 г.). Более сложной задачей являлось определение пациентов с неблагоприятным течением заболевания, но по сравнению с моделью логит-регресссионного анализа классификационные способности ИНС были выше, при этом сохранялась высокая специфичность, но меньшая чувствительность в выделении пациентов с неблагоприятным течением заболевания. В целом внедрение потоковой модели для оптимизации оказания медицинской помощи пациентам нейротравматологического профиля позволило сместить предикторы с организационных на собственно клинические, при этом наиболее значимыми из них остаются выраженность общемозговой симптоматики (уровень угнетения сознания), отражающая как дисфункцию стволовых структур, так и многоочаговость/диффузность поражения головного мозга, а также характер травматизма, ассоциированный с наличием у пациента политравмы. Использование моделей ИНС позволяет аппроксимировать взаимосвязь между предикторами, а также использовать их для персонализированного подхода к прогнозированию течения данных расстройств. Выводы 1. Персонализированный подход в оценке исходов острого периода ЧМТ может быть эффективно реализован за счет технологии ИНС, позволяющей аппроксимировать сложные взаимосвязи между предикторами и зависимой переменной, повысить чувствительность и специфичность в решении данной задачи. 2. Выделенные предикторы, определяющие особенности течения острого периода, подтверждают роль оценки уровня сознания пациентов, а также учета организационных факторов в определении исходов острого периода ЧМТ. 3. Внедрение потоковой модели оказания медицинской помощи пациентам с ЧМТ позволяет сместить акцент в выделенных предикторах с организационных на собственно клинические характеристики пациентов, что может быть одним из показателей эффективности оптимизирующих мероприятий. Исследование не имело спонсорской поддержки. Авторы заявляют об отсутствии конфликта интересов.

About the authors

A. A. Kosolapov

The State Budget Institution of the Ryazan Oblast “The Oblast Clinical Hospital”


V. A. Lukyanchikov

The State Budget Educational Institution of Higher Professional Education “The A. E. Evdokimov Moscow State University of Medicine and Dentistry”


G. B. Artemjeva

The Federal State Budget Educational Institution of Higher Education “The Academician I. P. Pavlov Ryazan State Medical University” of Minzdrav of Russia


R. A. Zorin

The Federal State Budget Educational Institution of Higher Education “The Academician I. P. Pavlov Ryazan State Medical University” of Minzdrav of Russia

Email: zorin.ra@gmail.com

V. A. Zhadnov

The Federal State Budget Educational Institution of Higher Education “The Academician I. P. Pavlov Ryazan State Medical University” of Minzdrav of Russia


M. A. Kurdanov

The Federal State Budget Educational Institution of Higher Education “The Academician I. P. Pavlov Ryazan State Medical University” of Minzdrav of Russia


G. A. Leonov

The Federal State Budget Educational Institution of Higher Education “The Academician I. P. Pavlov Ryazan State Medical University” of Minzdrav of Russia


A. O. Burshinov

The Federal State Budget Educational Institution of Higher Education “The Academician I. P. Pavlov Ryazan State Medical University” of Minzdrav of Russia


M. M. Lapkin

The Federal State Budget Educational Institution of Higher Education “The Academician I. P. Pavlov Ryazan State Medical University” of Minzdrav of Russia


References

  1. Коновалов А. Н., Лихтерман А. Б., Потапов А. А. Клиническое руководство по черепно-мозговой травме: В 3-х т. Т. 1. М.: Антитор; 1998.
  2. Lumenta C. B., Di Rocco C., Haase J., Mooij J. J. A. Neurosurgery: European Manual of Medicine. Berlin: Springer-Verlag; 2013. Vol. 1.
  3. Wang K. K. W. Neurotrauma: A Comprehensive Textbook on Traumatic Brain Injury and Spinal Cord Injury. Oxford: Oxford University Press; 2019.
  4. Nelson L. D., Furger R. E., Ranson J., Tarima S., Hammeke Th. A., Randolph C. Acute Clinical Predictors of Symptom Recovery in Emergency Department Patients with Uncomplicated Mild Traumatic Brain Injury or Non-Traumatic Brain Injuries. J. Neurotrauma. 2018;35(2):249-59. doi: 10.1089/neu.2019.6961
  5. Щедренок В. В., Аникеев Н. В., Симонова И. А., Могучая О. В. Организация консультативной помощи при нейротравме в регионах с различной плотностью населения. Российский нейрохирургический журнал им. проф. А. Л. Поленова. 2012;4(2):33-6.
  6. McLaughlin M., Garrett M. C., Emami L., Foss S. K., Klohn J. L., Martin N. A. Integrating risk management data in quality improvement initiatives within an academic neurosurgery department. J. Neurosurg. 2016;124(1):199-206. doi: 10.3171/2014.11.JNS132653
  7. Hale A. T., Stonko D. P., Lim J., Guillamondegui O. D., Shannon C. N., Patel M. B. Using an artificial neural network to predict traumatic brain injury. J. Neurosurg Pediatr. 2018;23(2):219-26. doi: 10.3171/2018.8.PEDS18370
  8. Rughani A. I., Dumont T. D., Lu Z., Bongard J., Horgan M. A., Penar P. L. Use of an artificial neural network to predict head injury outcome. J. Neurosurg. 2010;113(3):585-90. doi: 10.3171/2009.11.JNS09857
  9. Miner L., Bolding P., Hilbe J., Goldstein M., Hill T., Nisbet R. Practical Predictive Analytics and Decisioning Systems for Medicine. Informatics Accuracy and Cost-Effectiveness for Healthcare Administration and Delivery Including Medical Research. London: Academic Press; 2014.
  10. Миранда А. А., Зорин Р. А., Жаднов В. А. Прогнозирование развития эпилептического синдрома у больных опухолями головного мозга на основе комплекса нейрофизиологических показателей и логит-регрессионного анализа. Российский медико-биологический вестник им. академика И. П. Павлова. 2017;25(2):223-30. doi: 10.23888/PAVLOVJ20172223-236
  11. Меркулова М. А., Лапкин М. М., Зорин Р. А. Использование кластерного анализа и теории искусственных нейронных сетей для прогнозирования результативности целенаправленной деятельности человека. Наука молодых (Eruditio Juvenium). 2018;6(3):374-82. doi: 10.23888/HMJ201863374-382

Statistics

Views

Abstract - 99

Cited-By


PlumX

Dimensions


Copyright (c) 2021 АО "Шико"

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Mailing Address

Address: 105064, Vorontsovo Pole, 12, Moscow

Email: ttcheglova@gmail.com

Phone: +7 903 671-67-12

Principal Contact

Tatyana Sheglova
Head of the editorial office
FSSBI «N.A. Semashko National Research Institute of Public Health»

105064, Vorontsovo Pole st., 12, Moscow


Phone: +7 903 671-67-12
Email: redactor@journal-nriph.ru

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies