CRIS: самоконтролируемый метод изотропной реконструкции анизотропных 3D-изображений без эталонных данных

Исследователи представили CRIS (Cross-Plane Self-Supervised Isotropic Restoration) — метод, который восстанавливает изотропное разрешение в анизотропных объёмных изображениях, используя только самоконтроль. Это означает, что для обучения не требуются пары изотропных и анизотропных данных, что упроща

Исследователи представили CRIS (Cross-Plane Self-Supervised Isotropic Restoration) — метод, который восстанавливает изотропное разрешение в анизотропных объёмных изображениях, используя только самоконтроль. Это означает, что для обучения не требуются пары изотропных и анизотропных данных, что упрощает применение в реальных задачах. Работа опубликована на arXiv и привлекла внимание специалистов по обработке медицинских изображений и микроскопии.

Почему анизотропия — проблема в 3D-изображениях

Анизотропные объёмные данные — обычное дело в клинической МРТ и объёмной электронной микроскопии (vEM). В таких данных разрешение по оси Z часто хуже, чем в плоскости XY, что ухудшает качество ортогональных реформатов и последующий анализ. Например, при МРТ головного мозга толщина среза может составлять 1-2 мм, а внутриплоскостное разрешение — 0,5 мм. Это приводит к размытию изображений при просмотре в сагиттальной или корональной проекции. Аналогичная ситуация в vEM, где анизотропия может достигать 8-кратной разницы.

Существующие методы реконструкции изотропных данных либо требуют парных изотропных эталонов, которые трудно получить, либо переобучаются под конкретную конфигурацию анизотропии. CRIS решает обе проблемы: он работает без эталонов и адаптируется к разным степеням анизотропии.

Как работает CRIS: самоконтроль через ортогональные срезы

CRIS формулирует 3D-реставрацию как задачу заполнения 2D-полос на ортогональных реформатах изотропной сетки. На этапе обучения высококачественные срезы из анизотропного объёма синтетически деградируются (например, добавляется шум или понижается разрешение) и периодически маскируются. Модель учится восстанавливать пропущенные срезы по соседним, используя информацию из разных плоскостей.

На этапе вывода пустые срезы определяют изотропную сетку, два ортогональных реформата (например, аксиальный и сагиттальный) восстанавливаются независимо, а затем предсказания объединяются мультивью-усреднением. Это повышает стабильность и качество результата.

Какие результаты показал CRIS на МРТ и микроскопии

Метод протестирован на двух когортах МРТ и двух наборах данных микроскопии с анизотропией до 8x. На МРТ мозга CRIS достиг PSNR 32.921 ± 0.436 дБ и SSIM 0.963 ± 0.003, превзойдя интерполяцию, ECLARE, SMORE4, SIMPLE, SA-INR и ATME. На бесреференсной МРТ брюшной полости CRIS снизил FID/KID до 48.71/0.023, что указывает на более реалистичную текстуру.

На данных vEM при 4x анизотропии получены PSNR 29.100 дБ и SSIM 0.830, при 8x — 26.874 дБ и 0.722. Эти результаты показывают, что метод сохраняет структуру даже при сильной анизотропии. Код доступен на GitHub, что позволяет воспроизвести эксперименты.

Может ли CRIS работать с данными с шумом или артефактами?

В текущей публикации не указано, как метод ведёт себя на данных с сильным шумом или артефактами движения. Синтетическая деградация на этапе обучения может не полностью покрывать реальные искажения. Однако самоконтролируемый подход потенциально устойчив к шуму, если он присутствует в обучающих срезах. Дополнительные исследования на клинических данных с артефактами помогут оценить робастность.

Кому пригодится CRIS

Метод полезен для радиологов, нейробиологов и специалистов по микроскопии, работающих с анизотропными данными. Разработчики алгоритмов обработки изображений могут интегрировать CRIS в свои пайплайны для улучшения качества реконструкции. Например, в клинической МРТ изотропные данные позволяют точнее сегментировать опухоли или оценивать анатомические структуры. В микроскопии — улучшить визуализацию синапсов или клеточных органелл.

Что остаётся неясным

Не исследовано влияние CRIS на клиническую диагностику: улучшает ли он точность постановки диагноза или сокращает время анализа. Также не изучена производительность на данных с нерегулярной анизотропией (например, разное разрешение по всем осям). Будущие работы могут расширить применение метода на мультимодальные данные или видео.

Заключение

CRIS — перспективный самоконтролируемый метод для изотропной реконструкции анизотропных 3D-изображений. Он не требует эталонных данных, работает с разной степенью анизотропии и показывает высокие метрики на МРТ и микроскопии. Открытый код ускорит внедрение в исследовательские и клинические пайплайны.