Local Linear Transformer: новый подход к решению PDE с линейной сложностью

Исследователи представили Local Linear Transformer (LLT) — нейросетевой оператор, предназначенный для обучения решению уравнений в частных производных (PDE). Эта архитектура решает две ключевые проблемы стандартных трансформеров: квадратичную сложность внимания и отсутствие локального смещения. LLT сочетает глобальную линейную attention с локальным пространственным смешиванием, что позволяет эффективно обрабатывать как долгосрочные зависимости, так и локальные взаимодействия в вычислительной области.

Почему трансформеры важны для PDE Трансформерные операторы привлекают внимание благодаря способности attention-механизма обучать долгосрочные зависимости. Однако для PDE стандартное внимание масштабируется квадратично с числом узлов сетки, что делает его непрактичным для крупных задач. Кроме того, внимание не имеет явного смещения к локальным взаимодействиям, которые критичны для многих физических процессов. LLT предлагает эффективную альтернативу, объединяя глобальную линейную attention с локальным смешиванием, что позволяет модели одновременно учитывать как дальние, так и ближние связи.

Как устроен Local Linear Transformer Архитектура LLT включает два основных компонента: глобальную линейную attention и локальное пространственное смешивание. Линейное внимание снижает вычислительную сложность с квадратичной до линейной, что критично для больших сеток. Локальное смешивание, в свою очередь, обеспечивает учет пространственной близости точек, что важно для PDE. Модель также использует информацию о координатах и геометрии, что улучшает ее способность обобщать на различные дискретизации. В результате LLT может обрабатывать как структурированные, так и неструктурированные сетки.

Какие задачи решает LLT Модель протестирована на широком спектре задач: эластичность, пластичность, обтекание крыла, течение в трубе и поток Дарси. Эталонные данные получены методами конечных элементов, конечных объемов и конечных разностей. Сравнение с другими нейросетевыми операторами и трансформерами, включая Transolver, показало, что LLT демонстрирует конкурентную или меньшую относительную ошибку L2. На согласованных структурированных дискретизациях время одного шага обучения сокращено в 1.8–2.5 раза по сравнению с Transolver. Модель также протестирована на трехмерном наборе данных обтекания автомобиля с 32 186 неструктурированными точками на образец.

Каковы преимущества LLT перед другими методами? Главное преимущество LLT — сочетание глобальной и локальной обработки при линейной сложности. В отличие от стандартных трансформеров, которые требуют квадратичного времени, LLT масштабируется линейно, что позволяет работать с большими сетками. Кроме того, локальное смешивание обеспечивает более точное моделирование физических процессов, где важны ближние взаимодействия. По сравнению с Transolver, LLT не только быстрее, но и показывает сопоставимую или лучшую точность на тестовых задачах.

Кого затронет новая архитектура Разработчиков методов машинного обучения для PDE, инженеров, использующих численное моделирование, и исследователей в области вычислительной гидродинамики, механики твердого тела и мультифизики. LLT может ускорить решение задач, требующих многократных вычислений, например, в оптимизации или параметрических исследованиях.

Что пока неизвестно о LLT В статье отсутствуют результаты сравнения с последними SOTA-моделями за пределами указанных, а также не указано, насколько хорошо LLT обобщается на задачи с существенно разными граничными условиями или нестационарные PDE. Дальнейшие исследования должны прояснить эти аспекты.