Гибридная система LiDAR и fisheye-камеры для обнаружения динамических объектов на стройплощадках

Ученые разработали новый метод обнаружения и отслеживания динамических объектов на строительных площадках, интегрируя LiDAR и направленную вверх fisheye-камеру на четвероногом роботе. Система позволяет в реальном времени идентифицировать движущиеся объекты в облаке точек, присваивать им семантические метки и отслеживать траектории с помощью фильтра Калмана. Этот подход решает ключевую проблему безопасности на стройплощадках, где роботы должны взаимодействовать с людьми и техникой в постоянно меняющейся среде.

Строительные площадки представляют собой сложные и динамичные среды, где роботам необходимо безопасно взаимодействовать с людьми и техникой. Традиционные методы, основанные на предобученных нейросетях, требуют дополнительной постобработки и не всегда эффективны. Предложенный подход сочетает точность LiDAR с семантической информацией RGB-изображений, обеспечивая высокую точность и устойчивость даже при переходах объектов между статическим и динамическим состояниями. Это особенно важно, когда, например, человек останавливается или начинает движение, и система должна корректно обрабатывать такие изменения.

Как работает гибридная система обнаружения

Робот оснащен LiDAR-сенсором и направленной вверх fisheye-камерой. Облако точек регистрируется, затем движущиеся объекты выделяются. Для присвоения семантических меток 3D-координаты проецируются на 2D-цилиндрическую панораму, которая выравнивается с детекциями на изображениях в реальном времени. Обновление фильтра Калмана происходит на основе этих данных. Система продемонстрировала высокую точность и робастность, особенно при обработке объектов, меняющих состояние (например, остановившийся человек).

Ключевое преимущество метода заключается в интеграции данных от двух разных сенсоров. LiDAR обеспечивает точное трехмерное позиционирование, но не дает семантической информации. Fisheye-камера, в свою очередь, предоставляет цветное изображение с широким углом обзора, что позволяет распознавать объекты. Объединение этих данных через проекцию на цилиндрическую панораму позволяет эффективно сопоставлять точки облака с пикселями изображения, даже при сильных искажениях fisheye-объектива.

Какие преимущества дает использование fisheye-камеры?

Использование направленной вверх fisheye-камеры позволяет роботу видеть объекты, находящиеся выше уровня его сенсоров, например, краны или подъемные механизмы. Это расширяет поле зрения и повышает безопасность. Кроме того, fisheye-камера захватывает больше контекста сцены, что улучшает семантическую классификацию. В сочетании с LiDAR система может точнее определять границы объектов и отслеживать их движение даже при частичном перекрытии.

Почему это важно для строительной робототехники

Разработка автономных роботов для строительства требует надежного восприятия окружающей среды. На стройплощадках постоянно перемещаются люди, транспортные средства и оборудование. Ошибки в обнаружении могут привести к авариям. Предложенная система повышает безопасность, обеспечивая точное отслеживание динамических объектов в реальном времени. Это открывает путь к более широкому внедрению роботов для таких задач, как мониторинг, доставка материалов или инспекция.

Традиционные методы, основанные только на камерах или LiDAR, имеют ограничения. Камеры чувствительны к освещению и не дают точной глубины. LiDAR, напротив, точен, но не различает объекты по типу. Гибридный подход решает обе проблемы. Более того, система способна обрабатывать переходы объектов из статического в динамическое состояние и наоборот, что критично для реальных условий, где люди могут останавливаться или начинать движение.

Кого затронет эта технология

Разработчиков робототехнических систем для строительной отрасли, инженеров по автоматизации, исследователей в области сенсорного фьюжн и компьютерного зрения, а также компании, внедряющие автономных роботов на стройплощадках. Технология может быть интегрирована в существующие платформы, такие как Boston Dynamics Spot или другие четвероногие роботы, что ускорит ее коммерциализацию.

Что пока неизвестно

В аннотации не указаны конкретные показатели точности (например, mAP или FPS) и не приведены сравнительные результаты с другими методами. Также неясно, проводилось ли тестирование в реальных условиях стройки или только в симуляции. Для полной оценки необходимо увидеть данные о производительности в различных сценариях, включая плохую погоду, пыль и вибрации. Будущие исследования могут включать интеграцию с другими сенсорами, такими как радары или тепловизоры, для повышения надежности.