Дополненная реальность в микроскопии

Гистологическое исследование является первостепенным методом диагностики в онкологии. Необходимо учитывать, что данный метод субъективен, то есть целиком и полностью зависит от исследователя, смотрящего в окуляр. Именно поэтому столь заманчива идея подключения в тандем гистолог-биоптат еще одного участника — искусственный интеллект.

Внедрение ИИ связано с очень серьезными экономическими трудностями, вызванными необходимостью оцифровывать аналоговое изображение с микроскопа, а также устанавливать и обслуживать дорогостоящее оборудование. Цена вопроса в этом случае исчисляется сотнями тысяч долларов, что является непозволительной роскошью для большинства лечебных центров.

Рисунок 1. Принцип работы.

Для решения этой проблемы Чен и его коллеги предлагают использовать ИИ в качестве микроскопа дополненной реальности (рис. 1). Алгоритм его работы заключается в следующем: изображения поля зрения непрерывно захватываются камерой, с последующей передачей информации в виде тепловой карты в нейронную сеть. Нейронная сеть посредством глубинного обучения обсчитывает все поля изображения с определением и оценкой участка ткани, который, по ее мнению, патологически изменен. Результат ее работы выводится исследователю в виде подсветки, не затеняя исходное изображение (рис. 2).

Рисунок 2. Количественная оценка прогестероновых рецепторов (а), подсчет митоза (б) и подсчет клеток (в). обнаружение Mycobacterium tuberculosis в мазке мокроты (d) и
Helicobacter pylori в разрезе ткани(е) .(f) возможность изображения уведомлений. (g) возможность использования нескольких цветов для обозначения “подозрительных зон” (h) классификация ткани, например по Глиссону 3,4 и 5.

Данный подход не требует больших затрат и дополнительного обучения персонала. В качестве нейронной сети Ченом была выбрана InceptionV3 (от компании Google), которая после запуска в 2014 году дает всего 4,2 % классификационных ошибок на Imagenet (критерий оценки работы нейронной сети, участвующей в анализе графического изображения). InceptionV3 продемонстрировала эффективность на примере метастазов в лимфатические узлы из опухоли молочной железы, а также рака простаты (рис. 2).

Кроме того, программу можно использовать и для других целей гистологического исследования (рис. 3), что делает данный подход перспективным для медицинского сообщества.

Рисунок 3. Слева-направо: Лимфатический узел-Лимфатический узел-Простатический узел-Простатический узел