Медицинская литература. Новинки

 

 

 

 

 

 

Применение ROC-анализа для оценки результатов работы систем поддержки принятия врачебных решений на примере цифровых маммографических изображений

Вы можете загрузить полный текст статьи в формате pdf

В настоящее время идет активное внедрение искусственного интеллекта (ИИ), а также систем поддержки принятия врачебных решений (СППВР) в здравоохранение. Лучевая диагностика занимает лидирующие позиции по использованию подобных технологий. В представленной работе описан метод оценки эффективности работы СППВР, в том числе программного обеспечения (ПО) на основе технологий искусственного интеллекта (ПО на основе ТИИ), подходящий любой медицинской организации, перед которой стоит задача оценки применимости подобного ПО.Цель исследования: наглядно продемонстрировать применение веб-инструмента для ROC-анализа для оценки результатов работы СППВР на примере цифровых маммографических изображений.Материал и методы. Был использован ретроспективный набор данных маммографических исследований с результатами отчета калибровочного тестирования при смене версионности одного из сервисов ИИ, участника Московского эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения. Версии ИИ-сервиса от 15.02.2023 и 30.05.2023. Объем выборки – 100 исследований. В данной публикации для оценки результатов работы ИИ-сервиса использован ROC-анализ, который был реализован с помощью веб-инструмента для ROC-анализа.Результаты. Продемонстрирована работа веб-инструмента для ROC-анализа на примере оценки результатов работы ПО на основе ТИИ для обработки цифровых маммографических изображений.Заключение. Благодаря использованию представленного веб-инструмента для ROC анализа при необходимости может быть реализована проверка любой СППВР, в том числе ПО на основе ТИИ, а также оценка его производительности без применения дополнительных инструментов.

Ключевые слова:
лучевая диагностика, искусственный интеллект, маммография, ROC-кривая, чувствительность, специфичность, системы поддержки принятия врачебных решений, AUC, X-rays, mammography, ROC curve, sensitivity and specificity, clinical decision support systems, AUC

Литература:
1.Четвериков С.Ф., Арзамасов К.М., Андрейченко А.Е. Подходы к формированию выборки для контроля качества работы систем искусственного интеллекта в медико-биологических исследованиях. Современные технологии в медицине. 2023; 2: 19–27.
2.Говорухина В.Г., Семенов С.С., Гележе П.Б., Диденко В.В., Морозов С.П., Андрейченко А.Е. Роль маммографии в радиомике рака молочной железы. Digital Diagnostics. 2021; 2 (2): 185?199. https://doi.org/10.17816/DD70479
3.Алексеева М.Г., Зубов А.И., Новиков М.Ю. Искусственный интеллект в медицине. Международный научно-исследовательский журнал. 2022; 7: 10?13. https://doi.org/10.23670/IRJ.2022.121.7.038
4.Ройтберг П.Г., Блинов Д.С., Черемисин В.М. Технологии искусственного интеллекта в автоматизации выполнения стандартных задач врача-рентгенолога. Проблемы стандартизации в здравоохранении. 2020; 9 (10): 29?33. https://doi.org/10.26347/1607-2502202009-10029-033
5.Rodriguez-Ruiz A., Lang K., Gubern-Merida A. et al. Stand-Alone Artificial Intelligence for Breast Cancer Detection in Mammography: Comparison With 101 Radiologists. J. Natl. Cancer Inst. 2019; 111 (9): 916?922. https://doi.org/10.1093/jnci/djy222
6.Шарова Д.Е., Зинченко В.В., Ахмад Е.С., Мокиенко О.А., Владзимирский А.В., Морозов С.П. К вопросу об этических аспектах внедрения систем искусственного интеллекта в здравоохранении. Digital Diagnostics. 2021; 3: 356?368.
7.Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кляшторный В.Г., Федулова И.А., Власенков Л.А. Искусственный интеллект в скрининге рака легкого: оценка диагностической точности алгоритма для анализа низкодозовых компьютерных томографий. Туберкулез и болезни легких. 2020; 8: 24?31.
8.Васильев Ю.А., Владзимирский А.В., Шарова Д.Е. Клинические испытания систем искусственного интеллекта (лучевая диагностика). В кн.: Лучшие практики лучевой и инструментальной диагностики. 2-е изд., перераб. и доп. М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2023. 40 с.
9.Park S.H., Goo J.M., Jo C.H. Receiver Operating Characteristic (ROC) Curve: Practical Review for Radiologists. Korean J. Radiol. 2004; 5 (1): 11?18. https://doi.org/10.3348/kjr.2004.5.1.11
10.Junge M.R., Dettori J.R. ROC Solid: Receiver Operator Characteristic (ROC) Curves as a Foundation for Better Diagnostic Tests. Global Spine J. 2024; 8 (4): 424–429. https://doi.org/10.1177/2192568218778294
11.Мирошниченко И.И. Мониторинг эффективности антипсихотической терапии. Психиатрия. 2022; 20: 128?138.
12.Davis J., Goadrich M. The relationship between Precision-Recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning. 2006; 6: 233?240. https://doi.org/10.1145/1143844.1143874
13.Солодкий В.А., Каприн А.Д., Нуднов Н.В. и др. Современные системы поддержки принятия врачебных решений на базе искусственного интеллекта для анализа цифровых маммографических изображений. Вестник рентгенологии и радиологии. 2023; 2: 151?162.
14.Kumar R., Indrayan A. Receiver Operating Characteristic (ROC) Curve for Medical Researchers. Indian pediatr. 2011; 48: 277?287. https://doi.org/10.1007/s13312-011-0055-4
15.Fawcett T. ROC Graphs: Notes and Practical Considerations for Researchers. Machine Learning. 2004; 31: 1?38.
16.Ковалев А.А., Кузнецов Б.К., Ядченко А.А., Игнатенко В.А. Оценка качества бинарного классификатора в научных исследованиях. Проблемы здоровья и экологии. 2020; 4: 105?113.
17.Корнеенков А.А., Рязанцев С.В., Вяземская Е.Э. Вычисление и интерпретация показателей информативности диагностических медицинских технологий. Медицинский Совет. 2019; 20: 45?51. https://doi.org/10.21518/2079-701X-2019-20-45-51
18.Electronic resource: Web tool for ROC analysis. https://roc-analysis.mosmed.ai.
19.Efron B., Tibshirani R. The Bootstrap Method for Assessing Statistical Accuracy. Behaviormetrika. 1985; 12: 1–35. https://doi.org/10.2333/bhmk.12.17_1
20.Васильев Ю.А., Тыров И.А., Владзимирский А.В., Арзамасов К.М., Шулькин И.М., Кожихина Д.Д. и др. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований. Digital Diagnostics.2023; 2: 93–104.

ROC analysis for clinical decision support systems (CDSS) results in digital mammography images

Artificial intelligence and clinical decision support systems (CDSS) are being actively implemented in healthcare. Radiology is at the forefront of the use of such technologies. In this article, we describe a method for evaluating the performance of CDSS, including software based on artificial intelligence technologies (AI-based software), which is suitable for any medical organization that needs to assess the applicability of such software.Purpose: The purpose of this study is to demonstrate the use of a web-based ROC analysis tool for evaluating the performance of clinical decision support systems (CDSS) using digital mammography images as an example.Materials and methods: A retrospective dataset of mammography studies was used, based on the results of the calibration test report during the version change of one of the AI service participating in the Experiment on the use of innovative computer vision technologies for medical image analysis and subsequent applicability in the healthcare system of Moscow, with versions of the AI service dated 15.02.2023 and 30.05.2023. The sample size consisted of 100 trials. In this publication, ROC analysis implemented using a web-based tool will be used to evaluate the results of the AI service.Results: The functionality of a web-based tool for ROC analysis was demonstrated using the example of evaluating the performance of AI-based software for processing digital mammography images.Conclusion: By using the presented web-based ROC analysis tool, the verification of СDSS, including AI-based software, as well as the assessment of its performance, can be performed without the need for additional tools if necessary.

Keywords:
лучевая диагностика, искусственный интеллект, маммография, ROC-кривая, чувствительность, специфичность, системы поддержки принятия врачебных решений, AUC, X-rays, mammography, ROC curve, sensitivity and specificity, clinical decision support systems, AUC