GrowFields: нейросетевой метод для 4D-моделирования роста растений с изменяющейся топологией

Новый метод GrowFields, основанный на композиционных динамических нейронных полях, позволяет восстанавливать 4D-модели роста растений по разреженным данным лазерного сканирования или фотограмметрии. Это первый подход, который эффективно справляется с изменяющейся топологией растений — появлением новых листьев, стеблей и других органов в процессе роста. В отличие от традиционных методов, GrowFields разделяет глобальное движение растения и внутренние процессы роста отдельных органов, что обеспечивает высокую точность и временную согласованность.

Почему традиционные методы не подходят для моделирования растений

Растения представляют собой сложные объекты для компьютерного зрения и графики из-за нежёстких деформаций, появления новых органов и отсутствия явных временных соответствий между последовательными наблюдениями. Традиционные подходы, такие как оптический поток или нежёсткая регистрация, часто терпят неудачу, поскольку не могут учесть изменение топологии — например, когда новый лист вырастает из стебля. GrowFields решает эти проблемы, предлагая представление, которое разделяет глобальное движение растения и внутренние процессы роста отдельных органов.

Как работает GrowFields

Метод разлагает растение на составляющие органы и выравнивает каждый орган в его собственное каноническое координатное пространство. Это позволяет изолировать внутренние паттерны роста от общего движения. Затем обучается общее непрерывное нейронное поле деформации, моделирующее временную динамику всех органов, с учётом обучаемых латентных кодов для каждого органа, которые кодируют идентичность и характеристики роста. Такой подход обеспечивает точное отслеживание каждого органа во времени, даже при появлении новых структур.

Какие данные нужны для обучения модели?

GrowFields работает с разреженными данными, полученными с помощью лазерного сканирования или фотограмметрии. Для обучения достаточно последовательности 3D-сканов растения в разные моменты времени. Метод не требует плотного временного разрешения или ручной аннотации — он автоматически выявляет соответствия между органами на разных кадрах. В экспериментах использовались последовательности роста четырёх видов растений, что подтверждает универсальность подхода.

Результаты и преимущества

GrowFields протестирован на последовательностях роста четырёх видов растений; оценка геометрического соответствия и точности отслеживания органов проводилась с использованием вручную аннотированных траекторий кончиков листьев. Результаты показывают улучшение пространственной точности, временной согласованности и морфологической достоверности по сравнению с существующими подходами, такими как динамические нейронные поля или нежёсткая регистрация. Метод позволяет не только реконструировать форму растения в каждый момент времени, но и моделировать непрерывный процесс роста, что важно для ботанических исследований и агротехнологий.

Кого затронет новая технология

Разработчиков в области компьютерного зрения, компьютерной графики и агротехнологий, а также исследователей в ботанике и сельском хозяйстве, занимающихся количественным анализом роста растений. GrowFields может быть использован для автоматического анализа фенотипа растений, мониторинга здоровья культур и создания цифровых двойников растений. В перспективе метод может быть интегрирован в системы умного земледелия для оптимизации условий выращивания.

Что пока неизвестно

Не сообщается о доступности исходного кода или обученных моделей. Также неясно, насколько метод устойчив к сильному зашумлению данных или частичной окклюзии. Дополнительные исследования потребуются для оценки его применимости в полевых условиях, где качество данных может быть ниже лабораторного. Тем не менее, GrowFields представляет собой значительный шаг вперёд в моделировании роста растений с изменяющейся топологией.