TACoS: новый метод сегментации 2D-материалов с точностью 96% при 0,6% размеченных данных

Исследователи представили фреймворк TACoS для слабо контролируемой сегментации изображений двумерных материалов, который достигает точности более 96% от уровня полностью контролируемого обучения, используя лишь точечные аннотации. Это позволяет сократить затраты на разметку данных более чем на 99%,

Исследователи представили фреймворк TACoS для слабо контролируемой сегментации изображений двумерных материалов, который достигает точности более 96% от уровня полностью контролируемого обучения, используя лишь точечные аннотации. Это позволяет сократить затраты на разметку данных более чем на 99%, открывая новые возможности для автоматизации анализа микроскопических изображений.

Как работает TACoS

Фреймворк TACoS состоит из двух ключевых компонентов: модуля согласования распределений слабых и сильных аугментаций на неразмеченных данных с косинусными ограничениями согласованности и модуля регуляризации с использованием минимальных остовных деревьев для установления связей между пикселями и генерации структурно-осознанных мягких псевдометок. Также применяется асимметричное региональное контрастное обучение: высокоуверенные предсказания из ветви слабой аугментации объединяются с аннотациями-каракулями, формируя улучшенные метки, на основе которых строятся прототипы классов. Контрастные ограничения фокусируются на сложных пикселях на границах и в неразмеченных областях, улучшая внутриклассовую компактность и межклассовую разделимость.

Почему сегментация 2D-материалов так сложна?

Точная сегментация хлопьев 2D-материалов, таких как графен и дисульфид молибдена (MoS2), необходима для автоматического высокопроизводительного скрининга. Однако традиционные методы требуют плотной попиксельной разметки, что дорого и трудоёмко. TACoS предлагает эффективное и масштабируемое решение, снижая потребность в аннотированных данных более чем на 99%. Эксперименты на собранных датасетах графена и MoS2 показали, что TACoS превосходит существующие методы слабо контролируемой сегментации и демонстрирует превосходную структурную связность и стабильность границ, особенно на изображениях с низкоконтрастными краями и сложным фоном.

Кого затронет новая технология

Разработчиков алгоритмов компьютерного зрения, работающих в области материаловедения, а также исследователей, занимающихся автоматизацией анализа микроскопических изображений 2D-материалов. Метод может быть интегрирован в существующие пайплайны для ускорения открытия новых материалов.

Какие ограничения остаются?

Пока не сообщается о планах по открытию исходного кода или интеграции метода в коммерческие системы. Также не уточняется, насколько метод устойчив к другим типам дефектов или неоднородностей, не рассмотренным в статье. Дальнейшие исследования должны подтвердить применимость TACoS к более широкому кругу материалов и условий съёмки.