SonoRank: ультразвук распознает сгибание пальцев без калибровки — прорыв в протезировании

Исследователи разработали метод SonoRank, который позволяет распознавать сгибание пальцев по ультразвуковым видеозаписям предплечья без предварительной калибровки под конкретного пользователя. Это достижение может кардинально упростить управление миоэлектрическими протезами рук, сделав их более доступными и удобными. В основе метода лежит ранжирование пар ультразвуковых последовательностей по величине относительного движения для каждого из пяти пальцев, что позволяет системе адаптироваться к анатомическим особенностям человека без индивидуальной настройки.

Как работает SonoRank

SonoRank использует ультразвуковую сономиографию — метод визуализации мышц в реальном времени. В отличие от поверхностной электромиографии (sEMG), которая фиксирует электрическую активность мышц, ультразвук показывает непосредственно движения мышечных волокон, что даёт более точную картину. Однако до сих пор ультразвуковые системы требовали длительной калибровки для каждого пользователя, что ограничивало их коммерческое применение.

Разработчики SonoRank предложили двухэтапный подход. Сначала нейросеть обучается ранжировать пары ультразвуковых последовательностей: для каждого пальца она определяет, в какой из двух записей движение выражено сильнее. Это позволяет модели улавливать относительные различия в активности мышц, не привязываясь к абсолютным значениям. На втором этапе полученные представления дообучаются для классификации — система определяет, активно ли сгибается каждый палец, используя состояние покоя в начале работы в качестве референса.

Почему это важно для протезирования

Современные протезы рук часто отторгаются пользователями именно из-за ограниченной функциональности. Большинство коммерческих протезов используют sEMG, которая позволяет управлять лишь одним-двумя движениями, например, открытием и закрытием кисти. Ультразвуковая сономиография потенциально способна распознавать движения каждого пальца по отдельности, что даёт гораздо больше степеней свободы. Но до сих пор этот подход требовал калибровки под каждого пользователя, что делало его непрактичным для массового рынка.

SonoRank решает эту проблему. В экспериментах с участием 12 испытуемых метод показал улучшение F1-меры на 28% по сравнению с прямыми методами классификации, которые пропускают этап ранжирования. При этом система не требовала предварительной настройки под каждого добровольца — она обучалась на общих данных и затем применялась к новым пользователям. Это означает, что в будущем протезы на основе SonoRank смогут работать сразу после надевания, без долгой адаптации.

Какие технологии лежат в основе SonoRank

Метод опирается на глубокое обучение и обработку ультразвуковых видеопоследовательностей. Исследователи использовали 12-кратную кросс-валидацию, чтобы оценить устойчивость алгоритма. Данные включали синхронизированную кинематику пальцев, что позволило точно сопоставлять ультразвуковые записи с реальными движениями. Ключевая инновация — обучение ранжированию, которое позволяет модели игнорировать индивидуальные различия в анатомии и расположении датчика.

Кого затронет новая разработка

В первую очередь SonoRank интересен разработчикам протезов рук и исследователям в области биомедицинской инженерии. Метод может ускорить появление коммерческих ультразвуковых протезов, которые не требуют калибровки. Потенциальные пользователи — люди с ампутациями верхних конечностей, которые сейчас вынуждены мириться с ограниченной функциональностью sEMG-протезов. Кроме того, технология может найти применение в реабилитации после инсультов и травм, где требуется точный контроль движений пальцев.

Какие ограничения остаются

Несмотря на впечатляющие результаты, SonoRank пока не протестирован в реальном времени на портативных ультразвуковых устройствах. Эксперименты проводились на стационарном оборудовании, и неизвестно, как метод поведёт себя при смещении датчика или в условиях повседневного использования. Также требуется валидация на более крупных и разнообразных выборках, включая людей с разной толщиной предплечья и мышечной массой. Исследователи отмечают, что для коммерциализации необходимо решить вопросы миниатюризации ультразвуковых датчиков и энергопотребления.

Перспективы развития

SonoRank — это шаг к калибровочно-свободному управлению протезами. В будущем метод может быть интегрирован в компактные ультразвуковые системы, которые крепятся на предплечье как браслет. Это позволит пользователям управлять каждым пальцем протеза интуитивно, без обучения. Разработчики планируют продолжить исследования, чтобы повысить устойчивость к помехам и расширить набор распознаваемых движений, включая сгибание в суставах и вращение кисти.

Технология также может быть адаптирована для других задач, где требуется неинвазивное отслеживание движений, например, в виртуальной реальности или для управления экзоскелетами. Однако пока основное внимание уделяется протезированию, где потребность в таких решениях наиболее остра.

Заключение

SonoRank демонстрирует, что ультразвук может эффективно распознавать движения пальцев без калибровки, что открывает путь к более функциональным и удобным протезам рук. Хотя до коммерческого внедрения ещё предстоит преодолеть технические барьеры, предложенный метод уже показывает значительное преимущество перед существующими подходами. Если разработчикам удастся решить проблемы миниатюризации и устойчивости, в ближайшие годы мы можем увидеть протезы, которые понимают намерения пользователя без долгой настройки.