The evaluation of compliance of medical activity to established requirements: organizational and technological support

Abstract


The ongoing process of reforming national health care system determines associated search for systems of adequate decision-making based on comprehensive and objective analysis of activities of sector objects. The results of many years research demonstrate that one of the most effective such systems is system of assessing compliance of medical activities with established requirements. It is a methodology that permits to implement systematic comprehensive analysis of health care objects and make necessary decisions on its basis. This approach is extremely important for improving control and authorization-based mechanisms, justifying necessary resource support and developing comprehensive programs of development of isolated institutions, services and industry as whole.The term “conformity assessment” was introduced for the first time in the Federal Law № 184 of 27.12.2002 “On Technical Regulation”. The given law defines concept of conformity assessment as direct or indirect compliance with requirements imposed on the object. The concept presented in this law regulates industrial activity to objects and subjects of technical regulation. It is this ideology that became a basis of actual study, in which methodology and organizational technology was developed and experimentally tested to assess compliance of medical organizations and individual health services with requirements established by current legislation.Within study framework, development and experimental testing of system of assessing compliance of medical activities with requirements of regulatory documents was carried out. The object of the study was medical organizations and their structural divisions.The significant increase was established in specially developed integral compliance coefficients for studied objects for 2016-2020: from 76.5% to 82.0% for a number of medical profiles selected for the study and from 72.0% to 78.0% for medical organizations. The data obtained indicate that on the basis of a set of balanced indices, administration of monitoring objects made adequate management decisions.

Full Text

Введение C конца 1990-х годов в целях повышения качества и безопасности медицинской деятельности органами управления здравоохранением в нашей стране были предприняты попытки формирования систем оценки соответствия деятельности медицинских организаций нормативным требованиям. С этой целью в разных регионах разрабатывались и внедрялись методические рекомендации, содержащие такие требования. Это послужило предпосылкой для формирования методологии оценочной деятельности в здравоохранении с учетом отдельных профилей оказания медицинской помощи и медицинских организаций в целом [1]. В течение последующих лет происходило усовершенствование и развитие оценочных методик, направленных на повышение качества, доступности и безопасности медицинской деятельности [2, 3]. При этом наполнение предлагаемых методических подходов во многом определялось содержанием отраслевых реформ и преобразований, а также изменением действующего законодательства. Многообразие разработанных в разные годы систем, показателей и критериев анализа позволяло проводить оценку деятельности медицинских организаций, соответствующую требованиям законодательства каждого периода [4-6]. Однако их основной недостаток заключался в интеграции в системы оценки качества медицинской помощи без учета возможности системного управления деятельностью. Значительный вклад в совершенствование систем оценки качества медицинской помощи был внесен при появлении и законодательном закреплении в 2011 г. единых и обязательных для применения всеми медицинскими организациями порядков оказания медицинской помощи (ПОМП). Данные порядки - это универсальный инструмент для осуществления оценки соответствия деятельности медицинских организаций нормативным требованиям, однако и они не лишены недостатков. Это связано прежде всего с быстрой потерей их актуальности - устареванием и отставанием от появления новых медицинских технологий. На современном этапе основные точки приложения ПОМП - это лицензирование медицинской деятельности, лицензионный контроль и контроль качества и безопасности медицинской деятельности. Наши исследования показывают, что сфера применения ПОМП в здравоохранении может быть значительно расширена за счет внедрения систем оценки соответствия на организационном и отраслевом уровне [7, 8]. Цель исследования - разработка и апробация аналитической системы оценки соответствия медицинской деятельности ПОМП. Материалы и методы Объектом исследования стали медицинские организации Иркутской области и их структурные подразделения за 2016-2020 гг. В основу исследования были положены ПОМП, как универсальные инструменты, позволяющие моделировать оценку разных видов медицинской деятельности независимо от организационно-правовых форм и форм собственности медицинских организаций. Проведена экспертная оценка 31 официально утвержденного ПОМП по наиболее распространенным видам медицинской помощи. С этой целью на первом этапе исследования была разработана «Карта экспертной оценки ПОМП», которая позволила выявить основные недостатки ПОМП и оценить их потенциальную применимость на практике. Всего в исследовании было задействовано 310 экспертов. В качестве экспертов выступали специалисты, работающие по своей специальности не менее 10 лет и имеющие высшую квалификационную категорию. Согласованность экспертных мнений оценивали с помощью коэффициента конкордации Кэндала (W). Показатель коэффициента конкордации колеблется в диапазоне от 0 до 1, где 0 - нет согласованности в мнениях экспертов, 1 - наивысшая степень согласованности (единогласное мнение). Приемлемым критерием следует считать показатель 0,7 и выше, именно эти показатели учитывались в итоговой оценке [9]. На втором этапе был разработан ключевой инструмент исследования - технологическая карта (ТК), в основу которой положена иерархическая модель, базирующиеся на ПОМП и других нормативно-правовых требованиях. ТК состоит из оценочных блоков, включающих наборы оценочных критериев (см. рисунок), которые сформированы экспертным методом. Оценочными блоками в ТК являются кадровый потенциал, условия работы, техническое оснащение, показатели деятельности, диапазон применяемых методов диагностики, диапазон операций по степени сложности (для хирургических подразделений), экспертиза качества работы. ТК разработана на базе доступной программы Microsoft Exell, которая на основании внесенных формул позволяет в автоматическом режиме рассчитать коэффициенты соответствия (Кс) по всем блокам оценочных критериев, а далее формируется интегральный Кс, отражающий итоговую оценку деятельности медицинской организации или ее подразделения. Диапазон Кс определен от 0 до 1 в виде десятичной дроби, где 1 - это полное соответствие оценочным критериями и нормативным требованиям, а 0 - полное несоответствие. Например, Кс, равный 0,75, будет указывать на то, что оцениваемый объект соответствует заявленным требованиям на 75%. Интегральный Кс, а также Кс по отдельным оценочным блокам дают возможность определять динамическое состояние объекта, выявлять проблемные места в деятельности организации, оценивать качество и безопасность медицинской деятельности, планировать медицинскую помощь, организовывать медико-экономический мониторинг путем встраивания Кс в медицинские информационно-аналитические системы. Таким образом, интегральный Кс определяется набором оценок по отдельным критериям в блоках и их взаимосвязями, а также взаимодействием между оценочными блоками и изменениями в них [8]. Для экспериментальной апробации ТК в исследование были включены семь профилей оказания медицинской помощи: «офтальмология», «травматология», «нейрохирургия», «челюстно-лицевая хирургия», «оториноларингология», «терапия», «кардиология», а также пять многопрофильных медицинских организаций Иркутской области с периодом наблюдений с 2016 по 2020 г. Результаты исследования Результаты экспертной оценки ПОМП показали, что максимальное число баллов набрал ПОМП по профилю «ревматология» (9,2±0,18) 25, а минимальное - 7,2±0,21 по ПОМП «хирургия» 26. Диапазон колебаний по всем ПОМП составил 17,9%. Основными причинами низких оценок послужил раздел ПОМП, связанный со стандартом оснащения (7,8±0,27), правилами организации деятельности медицинской организации или ее структурного подразделения, врача (7,8±0,19) и рекомендованной штатной численностью персонала (8,01±0,17). Так, стандарт оснащения содержит в себе неиспользуемые либо отсутствующие элементы оснащения для современной медицинской помощи, на что указали 74,8% экспертов; 67,9% экспертов сошлись во мнении о том, что этапы оказания медицинской помощи не конкретизированы либо не соответствуют реальным условиям. В то же время содержание раздела ПОМП, связанного с рекомендуемыми штатными нормативами, 48,7% экспертов оценили как завышенные и 34,2% - как заниженные. Некоторые (11,9%) эксперты отметили, что штатные нормативы носят рекомендательный характер, в связи с чем руководство медицинских организаций принимает локальные акты исходя из плановых объемов оказания медицинской помощи. В ходе исследования было установлено, что наиболее проблемными элементами ПОМП, требующими их систематического пересмотра и совершенствования, являются требования к оснащению медицинских организаций и рекомендуемые штатные нормативны медицинского персонала. ps202106.4htm00157.jpg На третьем этапе исследования с помощью метода экспертных оценок была произведена оценка разработанной ТК (табл. 1). Результаты исследования показали, что по всем оцениваемым блокам ТК были получены согласованные мнения экспертов, о чем свидетельствует уровни коэффициентов конкордации Кэндала. Это дало основание считать структуру и содержание ТК приемлемой с точки зрения цели и задач исследования. При этом были рассчитаны коэффициенты ранговой корреляции по Спирмену, которые показали корреляционную связь между блоками «кадровый потенциал» и «условия деятельности» (ρ=0,63), «техническое оснащение» (ρ=0,68), «диапазон операций по степени сложности» (ρ=0,68), «экспертиза качества работы» (ρ=0,47). Для апробации ТК были выбраны семь наиболее востребованных ПОМП и тождественных им профилей оказания медицинской помощи (табл. 2). Результаты исследования демонстрируют, что в 2016 г. интегральные Кс имели следующие уровни: офтальмология - 0,74, травматология и ортопедия - 0,78, нейрохирургия - 0,79, челюстно-лицевая хирургия - 0,76, оториноларингология - 0,73, терапия - 0,78, кардиология - 0,78. По представленным профилям оказания медицинской помощи были рассчитаны средние Кс в динамике за 5 лет (табл. 3). Данные табл. 3 отражают положительную динамику средних Кс за весь период по всем блокам. Максимальное изменение Кс было получено в блоке «техническое оснащение» (0,14, или 14%). Минимальное изменение Кс установлено в блоке «диапазон применяемых методов лечения» (0,02, или 2%). Среднее изменение Кс в блоках за данный период составило 0,06 (6%). Учитывая, что исследуемая группа признаков была небольшой, до 30, и распределение признаков было неправильным, то для статистической обработки данных был использован критерий Манна-Уитни в пакете Statistica, при этом оценивалось процентное распределение по качественным признакам. Уровень значимости в блоках «условия осуществления деятельности» и «техническое оснащение» составил p=0,01, в блоке «показатели деятельности» - p=0,04, в блоке «экспертиза качества деятельности» - p=0,02. ps202106.4htm00159.jpg ps202106.4htm00161.jpg Динамика интегрального Кс в 2015-2016 гг. практически отсутствовала, составив 0,01 (1%), однако при проведении замеров с 2016-2019 гг. интегральный Кс продемонстрировал положительную тенденцию к увеличению на 0,05 (5%), при этом общая динамика Кс за весь период исследования составила практически 6%. ps202106.4htm00163.jpg На четвертом этапе с помощью ТК были исследованы пять многопрофильных медицинских организаций Иркутской области: Иркутская городская больница № 6 (ИГБ), Осинская районная больница (ОРБ), Слюдянская районная больница (СРБ), Тайшетская районная больница (ТРБ), Железногорская районная больница (ЖРБ). Данные медицинские организации имеют практически одинаковую мощность и набор видов оказания медицинской помощи. В первом замере 2016 г. представлены исходные Кс по блокам ТК и интегральные Кс (табл. 4). Полученные на четвертом этапе исследования Кс по оцениваемым блокам имеют максимальное значение в блоке «кадровый потенциал» 0,7 в ИГБ и минимальное значение Кс 0,67 в СРБ, а в блоке «техническое оснащение» максимальное значение Кс имеет СРБ - 0,72, а минимальное ИГБ - 0,6. В то же время максимальный Кс по всем оцениваемым блокам был определен у СРБ - 0,81 («диапазон применяемых методов диагностики» и «экспертиза качества деятельности»). Представленные значения интегрального Кс, который имеет колебания от максимального до минимального значения в 0,05, или 5%, указывают на то, что соответствие данных медицинских организаций на начало исследования составляло в среднем 72% и находилось практически на одинаковом уровне. ps202106.4htm00165.jpg Рассмотрим интегральные Кс по исследуемым медицинским организациям за весь период наблюдения (табл. 5). Изменения интегрального Кс в 2017 г. по отношению к 2016 г. практически отсутствуют либо слабо выражены. Значимые изменения интегрального Кс наблюдаются с 2017 г. и имеют тенденцию к росту до 2020 г. (завершение исследования). Рост интегральных Кс за весь период исследования составил в ИГБ 0,06; в ОРБ - 0,08; в СРБ - 0,06; в ТРБ - 0,06; в ЖРБ - 0,06. Выявленная динамика интегральных Кс обусловлена ростом Кс в оценочных блоках. Максимальные изменения Кс были достигнуты в блоках «условия осуществления деятельности» - 0,07 (7%), «техническое оснащение» - 0,1 (10%), «показатели деятельности» - 0,06 (6%) «экспертиза качества деятельности» - 0,09 (9%), что свидетельствует о системном подходе к совершенствованию внутренних процессов в организации. Минимальные изменения Кс были определены в блоках «диапазон применяемых методов диагностики» (5,6%), «диапазон применяемых методов лечения» (5,6%), «диапазон операций по степени сложности» (7%). Эти изменения подтверждаются как статистически значимые в блоках «кадровый потенциал» (p=0,01), «условия осуществления деятельности» (p=0,02), «техническое оснащение» (p=0,01), «показатели деятельности» (p=0,01) и «экспертиза качества деятельности» (p=0,02). Для сравнения показателей Кс в динамике использовался непараметрический метод Манна-Уитни в пакете Statistica. Обсуждение Предложенная аналитическая система оценки соответствия и результаты наблюдений позволяют определить ПОМП как универсальный инструмент, используемый в медицинских организациях и системе здравоохранения в целом, независимо от формы собственности, для оценки качества и доступности медицинской помощи. Результаты исследования демонстрируют, что ПОМП в области стандарта оснащения могут быть некорректными, что подтвердили 74,8% респондентов. С нашей точки зрения, причиной такой оценки послужили требования к медицинскому оборудованию, указанные в ПОМП, которое практически не используется в современных методах диагностики и лечения. В то же время снижению оценок в данном разделе ПОМП способствовало отсутствие применяемого в диагностике и лечении современного медицинского оборудования. Рекомендованная штатная численность в ПОМП была определена респондентами как завышенная в 48,7% случаев и как заниженная в 34,2%. Это обстоятельство указывает на то, что штатные нормативы персонала определены исходя из планово-экономических потребностей и государственного задания конкретной медицинской организации. Разработанная ТК позволила провести оценку соответствия по семи профилям в пяти медицинских организациях. Была выявлена закономерность в том, что на первом году исследования практически отсутствовали какие-либо изменения [10, 11]. Динамика интегрального Кс по семи исследуемым профилям изменений составила 1%, а в пяти медицинских организациях - 2,5%. Такая динамика может быть объяснена тем, что отдельные изменения в регулировании медицинской деятельности трудно предвидеть, направленность и величина последствий данных изменений зачастую непредсказуемы в связи с нарушениями баланса взаимодействия отдельных элементов системы. Результаты исследования демонстрируют, что руководству медицинских организаций и их структурных подразделений зачастую крайне сложно реализовать требования нормативно-правовых документов в условиях ограниченности ресурсов. Для сохранения баланса существующих взаимосвязей и ограничения изменений в уравновешенной деятельности медицинских организаций руководители медицинских организаций и их структурных подразделений с осторожностью использовали данный инструмент в виде аналитической системы оценки соответствия [11]. За 5-летний период в семи исследуемых профилях следует отметить рост Кс в оценочных блоках ТК «условия осуществления деятельности» на 0,07 (7%), «техническое оснащение» на 13 (13%), «показатели деятельности» на 0,06 (6%) и «экспертиза качества деятельности» на 0,07 (7%), что, на наш взгляд, является существенным. В то же время динамика в блоках «показатели деятельности» 0,06 (6%) и «экспертиза качества деятельности» 0,08 (8%) указывает на системный подход к управлению процессами организации медицинской помощи в исследуемых медицинских организациях. Полученные данные позволили руководству скорректировать стратегию развития медицинских организаций и отдельных структурных подразделений, сформировать более устойчивое положение в условиях ограниченных ресурсов. Результаты, полученные в пяти медицинских организациях, при первом замере (2016) не выявили ощутимых изменений в Кс. На это указывают интегральные Кс, диапазон которых составил в среднем 1,5%. Оценка и динамика в блоке «кадровый потенциал» (8,3%) в изучаемых учреждениях складывается из всех полученных значений по оценочным критериям отдельных подразделений, затем формируется общее число медицинского персонала и его квалификационные категории. При этом изменения произошли в основном не за счет введения в штат новых сотрудников (4 - врачей и 7 - среднего медицинского персонала), а за счет повышения категории медицинского персонала и увеличения стажа работы. Наиболее значительные изменения за весь период исследования наблюдались в оценочных блоках «условия осуществления деятельности» (11%), «техническое оснащение» (16,8%) и «экспертиза качества работ» (12%). На основании полученных данных можно сделать вывод о том, что применение объективной информации, прошедшей интегральную обработку в рамках предложенной модели, позволило руководству исследуемых медицинских организаций принять управленческие решения, направленные на повышение Кс в данных оценочных блоках. Например, доукомплектовать необходимым медицинским оборудованием структурные подразделения, провести плановый ремонт помещений, задействованных в оказании медицинской помощи, в соответствии с требованием СНиПов и организовать работу структурных подразделений со снижением количества управляемых ошибок (обоснованных жалоб). Заключение Разработанная методика оценки соответствия с входящей в нее ТК, блоками и критериями оценки позволяет провести сбор и анализ состояния исследуемых объектов системы здравоохранения, а также в автоматизированном режиме рассчитать интегральные Кс для принятия на их основе управленческих решений. Полученные в результате применения методики Кс по различным оценочным блокам позволяют определить проблемные зоны в деятельности медицинской организации и принять обоснованные управленческие решения, направленные на устранение выявленных проблем и повышение качества медицинской деятельности. Следует отметить, что проблема кадрового дефицита по результатам полученных Кс в сопоставлении с ПОМП на всех этапах исследования не получила значительных изменений. Это связано с тем, что она не может быть решена на уровне руководителей медицинских организаций, требует системного подхода и государственного регулирования. Утвержденные ПОМП по изучаемым профилям медицинской помощи в разделе «стандарт оснащения» требуют регулярного пересмотра в связи с изменением медицинских технологий, по нашему мнению, не реже 1 раза в 5 лет. Предложенная методика оценки соответствия может использоваться при подготовке медицинских организаций к процедуре лицензирования, что значительно ее упрощает. Использование методики оценки соответствия на уровне регионального органа управления здравоохранением дает возможность определить фактическое состояние подведомственных объектов и раскрывает причины нарушений в их деятельности, а также позволяет руководителям здравоохранения различного уровня заниматься стратегическим планированием и принимать управленческие решения на основании интегральной оценки большого объема данных и расчета Кс. Исследование не имело спонсорской поддержки. Авторы заявляют об отсутствии конфликта интересов.

About the authors

P. V. Zapevalin

The Irkutsk State Medical Academy of Postgraduate Education - the Branch of the Federal State Budget Educational Institution of Additional Professional Education The Russian Medical Academy of Continuous Professional Education of Minzdrav of Russia

Email: zapevalin_pv@igmapo.ru

I. S. Kitsul

The Irkutsk State Medical Academy of Postgraduate Education - the Branch of the Federal State Budget Educational Institution of Additional Professional Education The Russian Medical Academy of Continuous Professional Education of Minzdrav of Russia


A. M. Vinokurova

The Irkutsk State Medical Academy of Postgraduate Education - the Branch of the Federal State Budget Educational Institution of Additional Professional Education The Russian Medical Academy of Continuous Professional Education of Minzdrav of Russia


References

  1. Выписка из протокола № 5 коллегии Госстандарта от 03.03.1999 г. «Об итогах деятельности Госстандарта России в 1998 г. и задачах на 1999 г.». Постановление Правительства РФ № 113 от 02.02.1998 г. «О некоторых мерах, направленных на совершенствование систем обеспечения качества продукции и услуг».
  2. Стародубов В. И., Сидоров К. В., Зарубина Т. В., Швырев С. Л, Королева Ю. И., Раузина С. Е. Методика оценки уровня информатизации медицинской организации. Менеджер здравоохранения. 2017;(8):39-52.
  3. Кицул И. С., Пивень Д. В. Новые критерии оценки качества медицинской помощи: комментарии экспертов. Заместитель главного врача. 2016;(11):22-7.
  4. Smits H., Supachutikul A., Mate K. S. Hospital accreditation: lessons from low- and middle-income countries. Global Health. 2014;10:65-72.
  5. WHO 2000. Режим доступа: https://www.who.int/whr/2000/en/whr00_ru.pdf?ua=1
  6. Старченко А. А. Диалектическое взаимодействие стандартов медицинской помощи и клинических рекомендаций. Менеджер здравоохранения. 2014;(12):44-7.
  7. Запевалин П. В., Таевский Б. В., Кицул И. С. Оценка соответствия порядку оказания медицинской помощи по профилю «нейрохирургия» на примере Иркутской области. Международный научный журнал. 2017;202(56):23-6.
  8. Запевалин П. В., Кицул И. С. Методические подходы к оценке соответствия деятельности медицинских организаций порядкам оказания медицинской помощи. Менеджер здравоохранения. 2019;(1):15-23.
  9. Кендэл М. Ранговые корреляции. М.: Статистика; 1975. 216 с.
  10. Кицул И. С., Пивень Д. В. Порядки оказания медицинской помощи в контексте соблюдения новых требований к качеству и безопасности медицинской деятельности. Заместитель главного врача. 2013;5(84):58-65.
  11. Запевалин П. В., Кицул И. С. Технологическая карта оценки соответствия порядку оказания медицинской помощи по профилю «нейрохирургия»: Свидетельство о регистрации программы для ЭВМ RU 2020610153 от 10.01.2020 г.

Statistics

Views

Abstract - 70

Cited-By


PlumX

Dimensions


Copyright (c) 2021 АО "Шико"

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Mailing Address

Address: 105064, Vorontsovo Pole, 12, Moscow

Email: ttcheglova@gmail.com

Phone: +7 903 671-67-12

Principal Contact

Tatyana Sheglova
Head of the editorial office
FSSBI «N.A. Semashko National Research Institute of Public Health»

105064, Vorontsovo Pole st., 12, Moscow


Phone: +7 903 671-67-12
Email: redactor@journal-nriph.ru

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies