On the issue of qualitative assessment of level of population commitment to vaccination
- Authors: Kaunina D.V1, Vasilieva T.P1,2, Russkikh S.V1,3,2, Chirkova O.Y.4
- Affiliations:
- N. A. Semashko National Research Institute of Public Health, 105064, Moscow, Russia
- The State Budget Institution of Moscow “The Research Institute of Health Care Organization and Medical Management” of the Moscow Health Care Department, 115088, Moscow, Russia
- The National Research University “The Higher School of Economic”, 101000, Moscow, Russia
- The State Budget Institution of the Moscow Oblast “The Khimki Oblast Hospital”, 141407, The Moscow Oblast, Khimki, Russia
- Issue: Vol 32, No 3 (2024)
- Section: Health and Society
- URL: https://journal-nriph.ru/journal/article/view/1481
- DOI: https://doi.org/10.32687/0869-866X-2024-32-3-383-390
- Cite item
Abstract
This article presents analysis of results of quantitative study “Level of Commitment to Vaccination” based on author's original methodology of survey. The main medical and social causes of decreasing of level of population commitment to vaccination are explained. The purpose of the study is to quantitatively assess commitment to vaccination, to establish both dependence of level of commitment on risk factors of population refusal to be vaccinated and medical and social causes of this phenomenon. Materials and methods. In April-June 2023, sociological survey of respondents (n=300) aged from 19 to 75 years using the author's methodology was implemented. The statistical processing of materials was carried out using statistical software SPSS Statistics 23.0 using correlation analysis and descriptive statistics. The results and discussion. Using correlation analysis (according r-Spearman), dependence of level of commitment on number of medical and social factors was established. The readiness to vaccination depends on degree of trust to medicine. The accessibility of information about National Vaccination Calendar, vaccination scheme and vaccine effectiveness directly impact decision to be vaccinated. Conclusion. The development of complex of measures (technologies) improving population literacy through organization of informational and educational environment will reduce the number of unjustified refusals and increase level of population commitment to vaccination in general.
Full Text
Введение
Согласно заявлению Всемирной организации здравоохранения (ВОЗ), охват иммунизацией до уровня 2019 г. (предпандемического) может вернуться только к 2027 г., поэтому 2023 г. обозначен как год интенсификации программы иммунизации всех стран [1].
В России централизация организации иммунопрофилактики инфекционных болезней означена в утвержденной распоряжением Правительства Российской Федерации от 18.09.2020 № 2390-р «Стратегии развития иммунопрофилактики инфекционных болезней на период до 2035 г.».
Вместе с тем многочисленные факторы или детерминанты: рост антипрививочного движения, снижение доверия граждан к традиционной медицине, органам общественного здравоохранения и безопасности вакцин — все негативнее влияют на принятие решения вакцинироваться [2—13].
Многие отечественные и зарубежные исследователи высказывают мнение о том, что тенденция недостаточной приверженности иммунопрофилактике объясняется низкой информированностью населения в вопросах вакцинации, невнимательным обращением со стороны медицинских работников и даже банальным нарушением режима работы пунктов вакцинации [14—17]. Некоторые пациенты сомневаются в качестве российских вакцин и опасаются осложнений, другие убеждены, что вакцинация — это лоббирование интересов фармацевтических компаний [18, 19].
К настоящему времени валидированных опросников для оценки отношения респондентов к вакцинации в целом не так много, в основном исследователи используют свои «не аттестованные» (без публикации об их надежности) опросники, разработанные для узкого исследования, например только для родителей маленьких детей или только по изучению приверженности респондентов какой-то конкретной вакцине. Для того чтобы понять причины снижения уровня приверженности вакцинации среди населения, необходимо уметь измерять этот показатель и отслеживать его изменения с последующей корректировкой и управлением его уровнем (табл. 1).
Материалы и методы
В рамках пилотного исследования апробации авторской методики в апреле — июне 2023 г. проведен социологический опрос с целью анализа медико-социальных факторов риска отказа населения от вакцинации репрезентативной выборки 300 человек (ДИ > 95%).
Анализ ответов осуществляли на персональном компьютере с использованием статистической программы обработки SPSS Statisticа 23.0 с применением методов корреляционного анализа и описательной статистики [36, 37]. Оценку достоверности различий проводили с использованием критерия Стьюдента.
В исследовании приняли участие 300 жителей России, из которых 219 (73%) составили москвичи, в том числе 217 (72,33%) женщин и 83 (27,67%) мужчины в возрасте от 19 до 75 лет. Характеристика респондентов представлена в табл. 2.
Опрос представляет собой онлайн-анкету на платформе Google, размещенную на сайте ФГБНУ «Национальный научно-исследовательский институт общественного здоровья имени Н. А. Семашко» Минобрнауки России (Москва), на сайте и в телеграм-канале ГАУЗ МО «Химкинская областная больница» Московской области.
Результаты исследования
При оценке результатов в общей выборке (n=300) был подсчитан уровень приверженности населения вакцинации (рис. 1), который оказался высоким у 112 (37,3%) респондентов, средним у 179 (59,7%), низким у 9 (3%) [38]. Каждый показатель представляет собой величину, вычисленную для конкретного респондента, выраженную в баллах. Показатель ниже 50% был определен как «низкий уровень», показатель от 50 до 70% — как «средний уровень», а показатель выше 75% — как «высокий уровень приверженности».
Число респондентов, не имевших детей, составило 35% в группе высокого уровня, 27% в группе среднего уровня и 22% в группе низкого уровня приверженности, что может говорить о наличии социальной ответственности с появлением детей и положительным изменением отношения к вакцинации при появлении детей в семье (рис. 1).
Среди респондентов с низким уровнем приверженности 44% указали на низкий уровень своего благосостояния (рис. 2), что может свидетельствовать о наличии ограничений на получение услуги по вакцинации (например, платная вакцинация иностранными вакцинами в частных клиниках).
Также респондентам предлагалось ответить на вопрос «Сколько раз в 2022 г. Вы перенесли острое респираторное заболевание, ОРВИ, грипп, ринит?». Если респондент не болел ни разу, уровень определялся как высокий, 1—3 раза в год — средний, 4 раза и более — низкий. По анализу ответов респондентов выявлена тенденция: чем ниже уровень неспецифической резистентности, тем ниже уровень приверженности иммунопрофилактике, что может свидетельствовать о влиянии уровня приверженности культуре здоровья на принятие решения вакцинироваться в целом (рис. 3).
Корреляционный анализ (коэффициент корреляции r Спирмена) ответов на вопросы методики показал следующие статистически значимые связи. Сильные корреляционные связи (0,783; р<0,0001) ответов на вопрос № 1 «Я положительно отношусь к вакцинации» и вопрос № 3 «Считаю, что вакцинацию нужно делать всем членам семьи» говорят об ответственности за здоровье своих близких, например пожилых родителей или детей, в момент принятия решения о вакцинации. Ранее нами уже была выявлена корреляционная связь между уровнем приверженности в целом респондентов и вопросом № 3 (0,181; р<0,002), что станет основой при формировании рекомендаций для семейного врача.
Между ответами на вопрос № 5 «При болезни я всегда обращаюсь к врачу» и вопросом № 6 «Я делаю все, чтобы сохранить свое здоровье» коэффициент корреляции составил 0,660 (р<0,0001), что свидетельствует об отождествлении респондентами своего уровня здоровья со степенью выполнения рекомендаций и назначения врача, т. е. приверженностью рекомендациям медицинского работника и доверием к нему, приверженностью культуре здоровья в целом.
Связь между вопросами № 13 «Всегда принимаю решение о вакцинации, опираясь на указание врача» и № 18 «Я делаю все прививки, которые мне назначает врач» (0,535; р<0,0001), а также между вопросами № 15 «В моей участковой поликлинике я знаю к кому обращаться в случае желания вакцинироваться» и № 16 «Я знаю режим работы и место нахождения пункта вакцинации» подтверждают высокое влияние авторитета медицинских сотрудников на принятие их пациентами решения вакцинироваться (0,764; р<0,0001).
Доступность информации о Национальном календаре прививок, схеме вакцинации и эффективности вакцин прямо влияет на принятие решения вакцинироваться в полном объеме в соответствии со своим возрастом (вопрос № 22), что подтверждают обнаруженные многочисленные корреляционные связи между ответами на вопросы «Шкалы грамотности в вопросах вакцинации». Также респонденты отвечали, что хотят получать больше информации о вакцинации. Сходный результат был получен в исследовании Е. Н. Каленик и А. А. Самылиной [39].
Обсуждение
Самостоятельный поиск на просторах интернет-пространств информации о вакцинах, осложнениях чаще приводит к дезинформации, неверному представлению об иммунизации в целом. С развитием сети Интернет упрощен доступ к ресурсам о вакцинах и их эффективности, однако переизбыток сведений в разных источниках затрудняет поиск достоверных данных. Зачастую пациенты не могут своевременно вакцинироваться, поскольку не знают, куда обратиться, как получить доступ к услугам, когда или какие вакцины должны быть сделаны, почему они важны. К последствиям низкой осведомленности можно отнести невозможность принимать правильные решения по поводу вакцинации, неиспользование населением возможностей иммунопрофилактики, увеличение риска смертности от инфекционных заболеваний и высокую их распространенность.
Вместе с тем полученные результаты свидетельствуют о высокой роли медицинских работников в принятии населением решения о вакцинировании. Немаловажно также наличие доступной регулярной информации от медицинского сообщества.
Общественное здоровье на сегодняшний день определено как медико-социальный ресурс и потенциал общества, противостоящий многочисленным вызовам (биологическим, техногенным, экологическим, военным) и способный обеспечить безопасность и целостность государства, его прогресс [40—42].
Пандемия COVID-19 продемонстрировала необходимость совершенствования методов оценки общественного здоровья и подходов к развитию системы мониторинга его состояния в Российской Федерации. Общественное здоровье выступает медико-социальным ресурсом общества, снижение которого негативно влияет на потенциал общества в предотвращении возникающих угроз [43]. Расширились объемы вакцинации, Национальный календарь прививок за счет появления новой инфекции COVID-19, в связи с чем для предотвращения человеческих потерь общественного здоровья нужно мотивировать население на иммунопрофилактику активно и как можно раньше, формируя превентивную приверженность населения вакцинации.
Выводы
Исследование показало, что высокий уровень приверженности вакцинации зафиксирован у 37,3% респондентов. Это крайне недостаточно, учитывая, что иммунная прослойка по охвату вакцинами из первой части Национального календаря прививок Российской Федерации составляет не менее 95%, охват вакцинации против гриппа, рекомендованный ВОЗ, составляет 75%.
Выявленные 59,7% группы респондентов со средним уровнем приверженности, а также корреляционная связь уровня приверженности с вопросом № 25 «Я хочу получить больше информации о вакцинации» (0,258; р<0,0001) говорят не о полном отказе, а о неуверенности, нерешительности и желании «развеять свои страхи» по поводу вакцинации, что требует в ближайшее время проведения комплекса просветительских мероприятий с данной группой лиц.
Уровень приверженности вакцинации не зависит от социодемографических характеристик, а является показателем доверия респондентов «официальной» медицине и отражает уровень приверженности культуре здоровья в целом.
По результатам опроса, входящего в «симптом-чекер» уровня популяционной приверженности вакцинации, позволяющего спрогнозировать вероятность реализации той или иной поведенческой стратегии в зависимости от результатов выявленной выраженности факторов, влияющих на принятие решения, авторы пришли к выводу о необходимости разработки комплекса мероприятий по повышению грамотности в вопросах иммунопрофилактики населения, а также повышения информированности через подключение к информационному цифровому онлайн-модулю «Школа вакцинации».
В настоящее время уровень приверженности иммунизации не подвергается постоянному мониторингу и редко используется в качестве основы для формирования эффективной коммуникационной программы, что требует изменения подходов к определению стратегии иммунопрофилактики.
About the authors
Daria V Kaunina
N. A. Semashko National Research Institute of Public Health, 105064, Moscow, Russia
Author for correspondence.
Email: dkaunina@yandex.ru
Tatyana P Vasilieva
N. A. Semashko National Research Institute of Public Health, 105064, Moscow, Russia;The State Budget Institution of Moscow “The Research Institute of Health Care Organization and Medical Management” of the Moscow Health Care Department, 115088, Moscow, Russia
Email: vasileva_tp@mail.ru
Sergey V Russkikh
N. A. Semashko National Research Institute of Public Health, 105064, Moscow, Russia;The National Research University “The Higher School of Economic”, 101000, Moscow, Russia;
The State Budget Institution of Moscow “The Research Institute of Health Care Organization and Medical Management” of the Moscow Health Care Department, 115088, Moscow, Russia
Email: russkikh1@mail.ru
Olga Yurievna Chirkova
The State Budget Institution of the Moscow Oblast “The Khimki Oblast Hospital”, 141407, The Moscow Oblast, Khimki, Russia
Email: not@provid.ed
References
- Message by the Director of the Department of Immunization, Vaccines and Biologicals at WHO. Departmental news. 6 December 2022. Available at: https://www.who.int/news/item/06-12-2022-message-bythe-director-of-the department-of-immunization—vaccines-and-biologicals-at-who-december-2022
- Kaljuzhnaja T. A., Fedoseenko M. V., Namazova-Baranova L. S., Gajvoronskaja A. G., Shahtahtinskaja F. Ch., Tkachenko N. E., Broeva M. I., Privalova T. E., Vishnjova E. A., Chemakina D. S., Kasatkina Ju. Ju., Gajvoronskaja K. M. Overcoming anti-vaccination scepticism: finding a solution to the current situation. Pediatricheskaja farmakologija. 2018;15(2):141–8. doi: 10.15690/pf.v15i2.1871 (in Russian).
- Dmitriev A. V. Adherence to vaccination among different segments of the population: results of a questionnaire survey. Detskie infekcii. 2019;18(4):32–7 (in Russian).
- Kusainova D. G., Shabanova A. A., Begatar A., Dzhamalov S. A., Shatyrhan A. U. Predictive evaluation of adherence to SARS-COV-2 vaccination among the population of Almaty city. Nauka i zdravoohranenie. 2021;23(2):6–12 (in Russian).
- Kulichenko T. V., Dymshits M. N., Lazareva M. A. Violation of the child vaccination calendar: the attitudes of doctors and parents. Pediatricheskaya farmakologiya = Pediatric pharmacology. 2015;12(3):330–4. doi: 10.15690/pf.v12i3.1361(in Russian).
- Kaunina D. V. Determinants of the organisation of immunoprophylaxis of infectious diseases. Bjulleten' Nacional'nogo nauchno-issledovatel'skogo instituta obshhestvennogo zdorov'ja imeni N. A. Semashko. 2023;(1):17–23. doi: 10.25742/NRIPH.2023.01.003 (in Russian).
- Galickaja M. G., Makarova S. G., Fisenko A. P. Vaccination adherence among modern parents: main trends, problems and solutions. Kremlevskaja medicina. Klinicheskij vestnik. 2023;(2):17-21. doi: 10.48612/cgma/2m56-5ftu-3deg (in Russian).
- Plakida A. V., Briko N. I., Namazova-Baranova L. S. Increasing vaccination uptake: an assessment and a systematic approach to implementation. Jepidemiologija i vakcinoprofilaktika. 2022;21(3):4–26. doi: 10.31631/2073-3046-2022-21-3-4-26 (in Russian).
- Thomson A., Robinson K., Vallée-Tourangeau G. The 5As: A practical taxonomy for the determinants of vaccine uptake. Vaccine. 2016 Feb 17;34(8):1018–24.
- Lee C., Whetten K., Omer S., Pan W., Salmon D. Hurdles to herd immunity: Distrust of government and vaccine refusal in the US, 2002–2003. Vaccine. 2016 Jul 25;34(34):3972–8.
- Freimuth V. S., Musa D., Hilyard K., Quinn S. C., Kim K. Trust During the Early Stages of the 2009 H1N1 Pandemic. J. Health Commun. 2014;19(3):321–39.
- Larson H. J., Clarke R. M., Jarrett C., Eckersberger E., Levine Z., Schulz W. S. Measuring trust in vaccination: A systematic review. Hum. Vaccines Immunother. 2018 May 10;14(7):1599–609.
- Dubé E., Gagnon D., MacDonald N., Bocquier A., Peretti-Watel P., Verger P. Underlying factors impacting vaccine hesitancy in high income countries: a review of qualitative studies. Expert. Rev. Vaccines. 2018;17(11):989–1004.
- Torubar O. V., Shestakova E. A., Orlova L. S. Analysing the reasons for vaccination refusals (including the new coronavirus infection) Modern Science. 2022;(5-2):194–7 (in Russian).
- Kriger E. A., Samodova O. V., Rogushina N. L., Borisova T. A. Parental attitudes towards vaccination of children and factors associated with refusal of vaccination. Pediatrija. Zhurnal im. G. N. Speranskogo. 2016;95(2):91–5 (in Russian).
- Quaiyum M. A. Programmatic aspects of dropouts in child vaccination in Bangladesh: findings from a prospective study. Asia Pacific J. Public Health. 2011;23(2):141–50.
- Macukatova B. O., Gumbatova Z. F., Aminova A. I., Procenko A. D., Platonova A. V. Results of public opinion research on vaccine prophylaxis using the questionnaire method. Voprosy prakticheskoj pediatrii. 2018;13(6):16–23 (in Russian).
- Lynova E. N., Il'chenko G. V. Current problems of vaccine prophylaxis. Sovremennye problemy nauki i obrazovanija. 2017;(4): Available at: https://www.science-education.ru/ru/article/view?id=26618 (in Russian).
- Markova E. N. The right to refuse compulsory vaccination in accordance with religious beliefs: pro et contra. Gosudarstvennaja vlast' i mestnoe samoupravlenie. 2019;(2):3–9. Available at: https://istina.msu.ru/publications/article/179091375/ (in Russian).
- Capodici A., Sanmarchi F., Bonaccorso N., Costantino C., Maietti E. The Willingness toward Vaccination: A Focus on Non-Mandatory Vaccinations. Vaccines (Basel). 2023;11(4):828. doi: 10.3390/vaccines11040828
- Ghazy R. M., Elkhadry S. W., Abdel-Rahman S., Taha S. H. N., Youssef N., Elshabrawy A., Ibrahim S. A., Al Awaidy S., Al-Ahdal T., Padhi B. K., Fadl N. External validation of the parental attitude about childhood vaccination scale. Front. Public Health. 2023;11:1146792. doi: 10.3389/fpubh.2023.1146792
- Sarathchandra D., Navin M. C., Largent M. A., McCright A. M. A survey instrument for measuring vaccine acceptance. Prev. Med. 2018;109:1–7. doi: 10.1016/j.ypmed.2018.01.006
- Betsch C., Schmid P., Heinemeier D., Korn L., Holtmann C., Böhm R. Beyond confidence: Development of a measure assessing the 5C psychological antecedents of vaccination. PLoS One. 2018;13(12):e0208601. doi: 10.1371/journal.pone.0208601
- Gilkey M. B., Magnus B. E., Reiter P. L., McRee A. L., Dempsey A. F., Brewer N. T. The Vaccination Confidence Scale: a brief measure of parents' vaccination beliefs. Vaccine. 2014;32(47):6259–65. doi: 10.1016/j.vaccine.2014.09.007
- Gilkey M. B., Reiter P. L., Magnus B. E., McRee A. L., Dempsey A. F., Brewer N. T. Validation of the Vaccination Confidence Scale: A Brief Measure to Identify Parents at Risk for Refusing Adolescent Vaccines. Acad Pediatr. 2016;16(1):42–9. doi: 10.1016/j.acap.2015.06.007
- Larson H. J., Jarrett C., Schulz W. S. Measuring vaccine hesitancy: The development of a survey tool. Vaccine. 2015;33(34):4165–75. doi: 10.1016/j.vaccine.2015.04.037
- Larson H. J., de Figueiredo A., Xiahong Z., Schulz W. S., Verger P., Johnston I. G., Cook A. R., Jones N. S. The State of Vaccine Confidence 2016: Global Insights Through a 67-Country Survey. EBioMedicine. 2016;12:295–301. doi: 10.1016/j.ebiom.2016.08.042
- Shapiro G. K., Tatar O., Dube E., Amsel R., Knauper B., Naz A., Perez S., Rosberger Z. The vaccine hesitancy scale: Psychometric properties and validation. Vaccine. 2018;36(5):660–7. doi: 10.1016/j.vaccine.2017.12.043
- Shapiro G. K., Perez S., Rosberger Z. Including males in Canadian human papillomavirus vaccination programs: a policy analysis. CMAJ. 2016 Sep 6;188(12):881–6. doi: 10.1503/cmaj.150451
- Frew P. M., Murden R., Mehta C. C. Development of a US trust measure to assess and monitor parental confidence in the vaccine system. Vaccine. 2019;37(2):325–32. doi: 10.1016/j.vaccine.2018.09.043
- Rasskazova E. I., Thostov A. Sh. Readiness for coronavirus vaccination as a measure of trust in official medical advice: the role of anxiety and perceptions. Nacional'nyj psihologicheskij zhurnal. 2021;41(1):76–90. doi: 10.11621/npj.2021.0107 (in Russian).
- Li Y., Guo Y., Wu X., Hu Q., Hu D. The Development and Preliminary Application of the Chinese Version of the COVID-19 Vaccine Literacy Scale. Int. J. Environ. Res. Public Health. 2022;19(20):13601. doi: 10.3390/ijerph192013601
- Kriger E. A., Samodova O. V., Pastbina I. M. Vaccine prophylaxis for infections in children: parental refusals and their causes. Voprosy prakticheskoj pediatrii. 2018;13(1):21–6. doi: 10.20953/1817-7646-2018-1-21-26 (in Russian).
- Ellingson M. K., Omer S. B., Sevdalis N., Thomson A. Validation of the Vaccination Trust Indicator (VTI) in a multi-country survey of adult vaccination attitudes. PLOS Glob. Public Health. 2023 Apr 12;3(4):e0001820. doi: 10.1371/journal.pgph.0001820
- Boisson A., Morgan C. E., Stover A., Ngimbi P., Mbonze N., Ntambua S., Matondo J., Parr J. B., Yotebieng M., Mwandagalirwa K., James L., Mampunza S., Thompson P. Changes in hepatitis B vaccine perception in response to the COVID-19 pandemic: Development of the Shift in vaccine confidence (SVC) survey tool. Vaccine. 2023 Jan 16;41(3):623–9. doi: 10.1016/j.vaccine.2022.12.028. Epub 2022 Dec 16.
- Maksimenko L. L., Hripunova A. A., Zafirova V. B., et al. Medical statistics in the practice of a doctor: educational and methodological manual [Meditsinskaya statistika v prakticheskoy deyatel'nosti vracha: uchebno-metodicheskoye posobiye]. Stavropol': Publishing house of StGMU; 2020. 129 p. (in Russian).
- Murav'eva V. N., Maksimenko L. L., Hripunova A. A. Organization of medical care in the Russian Federation: educational and methodological manual [Organizatsiya meditsinskoy pomoshchi v Rossiyskoy Federatsii: uchebno-metodicheskoye posobiye]. Stavropol': Publishing house of StGMU; 2017. 85 p (in Russian).
- Kaunina D. V., Vasil'eva T. P., Russkih S. V. Results of validation of the author's methodology «Level of adherence to vaccination». Zdorov'e naselenija i sreda obitanija. 2023;31(8):17-28. doi: 10.35627/2219-5238/2023-31-5-17-28 (in Russian).
- Kalenik E. N., Samylina A. A. Relationship between the level of the cognitive component of attitude towards health in students and refusal to vaccinate against COVID-19. Simbirskiy nauchnyy vestnik. 2021;44(2):31–7 (in Russian).
- Vasil'eva T. P., Larionov A. V., Russkih S. V., Zudin A. B., Vasjunina A. E., Vasil'ev M. D. Methodological approaches to measuring public health as a medical and social resource and potential of society. Voprosy upravlenija i social'noj gigieny. 2022;30(11):7–15. doi: 10.35627/2219-5238/2022-30-11-7-15 (in Russian).
- Vasil'eva T. P., Larionov A. V., Russkih S. V., Zudin A. B., Gorenkov R. V., Vasil'ev M. D., Kostrov A. A., Hapalov A. A. Methodological approach to the organisation of public health monitoring in the Russian Federation. Zdorov'e naselenija i sreda obitanija. 2022;30(7):7–17. doi: 10.35627/2219-5238/2022-30-7-7-17 (in Russian).
- Vasil'eva T. P., Larionov A. V., Russkih S. V., Zudin A. B., Vasjunina A. E., Vasil'ev M. D. Calculation of the public health index in the regions of the Russian Federation. Zdorov'e naselenija i sreda obitanija. 2022;30(12):7–16. doi: 10.35627/2219-5238/2022-30-12-7-18 (in Russian).
- Vasil'eva T. P., Larionov A. V., Russkih S. V., Zudin A. B., Vasjunina A. E., Vasil'ev M. D., Kaunina D. V. The state of public health in the subjects of the Russian Federation during a large-scale epidemiological challenge on the example of pandemic COVID-19. Zdorov'e naselenija i sreda obitanija. 2023;31(3):7–10. doi: 10.35627/2219- 5238/2023-31-3-7-10 (in Russian).