Разработка алгоритмов сегментации патологических изменений сетчатки пациентов с диабетической ретинопатией с помощью нейронной сети

    Актуальность

    Диабетическая ретинопатия (ДР) является серьезной проблемой для здравоохранения во всем мире [1–3], диагностика которой основывается на исследованиях глазного дна с помощью офтальмоскопии и цифровых фундус-камер. Из-за ручного исследования изображений сетчатки выявление различных морфологических аномалий является сложным и трудоемким процессом [4]. Кроме того, офтальмоскопические методы исследования глазного дна – трудоемкие процедуры, выполняемыми вручную, а результаты субъективны и зависят от опыта врача, что формирует некоторую потенциальную предвзятость [5]. Автоматизированные системы могут не только облегчить процесс диагностики, но и спрогнозировать развитие заболевания, помогая офтальмологам принимать клинические решения на основе объективных данных. В частности, использование методов глубокого обучения в анализе патологий сетчатки способствует созданию более точных моделей стратификации риска и персонализированного подхода к лечению пациентов с ДР.

    Одним из ключевых направлений в автоматическом анализе патологий сетчатки является применение методов глубокого обучения для детекции и классификации ДР [6]. Одной из перспективных моделей машинного обучения является комбинация из сверточной нейронной сети CNN512 и архитектуры You Only Look Once (YOLO-v3) [6], которая позволяет не только классифицировать изображения по стадиям заболевания, но и выявлять участки поражения. Предсказания CNN512 и YOLOv3 усредняются, что позволяет наиболее точно поставить диагноз и определить его стадию. Чтобы решить задачу отслеживания динамики развития заболевания у пациента, необходимо проводить сегментацию патологий, которая позволяет отслеживать изменения площади пораженных участков с течением времени. Исследование, направленное на применение современных моделей YOLO для автоматической сегментации поражений, показало высокую точность [7]. Авторы статьи сравнили две архитектуры YOLOv8 и YOLOv9, которые не требуют сложного кодирования или предварительной обработки для изображений. Данный подход оказался перспективным решением для клинического применения, так как модели не нуждаются в больших вычислительных ресурсах и углубленной подготовке.

    Цель

    Разработка алгоритмов сегментации патологических изменений сетчатки пациентов с диабетической ретинопатией с помощью нейронной сети.

    Задачи исследования: отобрать фотографии глазного дна пациентов с диабетической ретинопатией, произвести предобработку изображений, выполнить аугментацию данных, обучить нейронную сеть.

    Материал и методы

    Для обучения нейронной сети был сделан отбор изображений глазного дна пациентов офтальмологической клиники Сибирского государственного медицинского университета, отобранные по одному или обоим из следующих критериев: пациенты с диабетом 1-го или 2-го типов обоего пола в возрасте 18–90 лет, впервые направленные на исследование глазного дна с целью идентификации патологических изменений сетчатки; пациенты с наличием в анамнезе установленной стадии диабетической ретинопатии. Все изображения были получены с широкоугольной ретинальной камеры CenterVue EIDON (Франция). Выборка составила 134 изображения. Датасет был разделен на обучающую выборку (128 изображений) и валидационную выборку (6 изображений).

    Предобработку изображений проводили в несколько этапов. Размер исходных изображений составлял 3126 × 2136 пикселей. Так как изображения содержали большое количество пикселей черного фона по ширине, не несущего полезной информации, было удалено по 504 пикселя слева и справа. Также были добавлены по 36 рядов черных пикселей сверху и снизу. В результате получены изображения размером 2208 × 2208 пикселей, удовлетворяющие требованиям для обучения нейронной сети.

    После получения оптимального соотношения сторон и размеров были применены алгоритмы предобработки для улучшения качества исследуемых объектов, снижения шума и удаления ненужной информации. В первую очередь была проведена гамма-коррекция, которая позволяет нелинейным образом изменить яркость, улучшая видимость мелких деталей в темных участках. Следом был применен метод CLAHE (Contrast Limited Adaptive Histogram Equalization) на L-канале в LAB-пространстве.

    После обработки L-канала изображение вновь было собрано и переведено обратно в BGR-формат. Применение CLAHE позволило улучшить локальный контраст, повысить четкость и равномерно проявить детали. Так как CLAHE может усиливать шум на изображении, был применен метод Fast Non-local Means Denoising. Правильный подбор параметров позволил эффективно подавить шум, сохраняя важные детали.

    После проведенных этапов предобработки на изображениях оставался остаточный темный фон, что негативно влияло на обучение модели, который удалили с использованием библиотеки Rembg.

    Так как задача сегментации требует большого количества обучающих данных, а исходный датасет содержал 134 изображения, была проведена аугментация данных для увеличения объема обучающей выборки. В ходе работы использованы следующие методы трансформации: повороты изображений, отражение по вертикали, сдвиги по горизонтали и вертикали, масштабирование изображений, изменение оттенка (Hue), изменение насыщенности (Saturation), изменение яркости (Value).

    Обучение проводилось на 130 эпохах. В качестве модели обучения была выбрана версия yolov8n-seg.pt – самая маленькая версия из семейства YOLOv8.

    Достоверность работы алгоритмов подтверждалась идентификацией патологии, а также разметкой изображений врачом-офтальмологом. Каждая патология глазного дна вручную была размечена в ранее разработанном приложении для вычисления площади патологии.

    Одним из результатов работы в данном приложении является изображения маски патологии для каждого фото глазного дна. Далее рассматриваемая площадь патологии, размеченная вручную врачом, сравнивалась с сегментацией, полученной автоматически с помощью обученной модели нейросети. Для каждого снимка вычисляли точность автоматической сегментации. В дальнейшем собирали суммарную статистику по всем снимкам и вычисляли среднюю ошибку.

    Результаты и обсуждение

    На рисунке 1 приведены два изображения до и после предобработки по удалению черных пикселей темного фона, а также после применения CLAHE и метода Fast Non-local Means Denoising. На рисунке видно, что использование Contrast Limited Adaptive Histogram Equalization и Fast Non-local Means Denoising позволило улучшить локальный контраст, повысить четкость и равномерно проявить детали.

    На рисунке 2 приведены изображения последовательной аугментации данных, где видны поворот изображений до ± 40 градусов, отражение по вертикали с вероятностью 0,5, сдвиг до 10% по горизонтали и вертикали, масштабирование с коэффициентом до 0,5, изменение оттенка (Hue) до 0,1, насыщенности (Saturation) до 0,5, яркости (Value) до 0,3.

    На рисунке 3 показаны графики ошибки обучения. Видно, что после 100 эпох ошибка минимальна. Ошибка в предсказании координат ограничивающих прямоугольников составила 1,72. Ошибка определения формы объекта – 2,5. Ошибка классификации объектов составила 1, dfl_loss, ошибка прогноза распределения вероятностей на координаты – 1,1.

    Точность по предсказанным прямоугольникам получили 0,25, точность по предсказанным маскам сегментации составила 0,35. Метрика AUC – ROC 0,64. Данная точность – это процент площади несегментированной в автоматическом режиме по сравнению с ручной сегментацией, произведенной врачом-офтальмологом. Данная потеря связана прежде всего с недостаточным объемом выборки и низким качеством исходных изображений, полученных на широкоугольной ретинальной камере CenterVue EIDON. Зачастую качество снимков зависит от освещенности, настройки камеры и времени, которое тратится на подготовку снимков. Все эти факторы зависят от человека, который получает данные фотографии. Данные метрики можно считать очень хорошими на столь малой выборке. В дальнейшем планируется увеличить объем обучающей выборки и улучшить точность.

    Заключение

    Показано, что даже на такой малой выборке (134 изображения) сегментация патологий на изображений глазного дна с диабетической ретинопатией производится с достаточно хорошей точностью, которая достигнута благодаря использованию предобученной модели из семейства YOLOv8. В дальнейшем планируется увеличить объем обучающей выборки и улучшить точность.

    Благодарности: Работа выполнена при финансовой поддержке Российского научного фонда, проект № 25-25-00113, https://rscf.ru/project/25-25-00113/