Глубокое обучение с подкреплением для многокритериальной оптимизации портфеля с учётом надёжности

Современные финансовые рынки требуют от инвесторов не только максимизации доходности, но и тщательного контроля рисков, особенно в условиях кризисов. Группа исследователей представила фреймворк MORP-DRL (Multi-Objective Reliability based Portfolio Optimization using Deep Reinforcement Learning), который использует алгоритм Proximal Policy Optimization (PPO) для оптимизации портфеля с учётом надёжности. Этот подход одновременно максимизирует ожидаемую доходность и минимизирует риск, применяя три дополнительные меры риска: дисперсию, условную стоимость под риском (CVaR) и энтропийную стоимость под риском (EVaR). В отличие от традиционных статических моделей, MORP-DRL предлагает динамическую стратегию, адаптирующуюся к изменяющимся рыночным условиям.

Почему традиционные методы не справляются

Традиционные подходы к оптимизации портфеля, такие как модель Марковица, часто статичны и не учитывают последовательный характер принятия решений. Они игнорируют хвостовые риски — экстремальные потери, которые происходят редко, но могут быть катастрофическими. Кроме того, рыночные трения, такие как транзакционные издержки, обычно не включаются в модель, что делает её менее реалистичной. MORP-DRL решает эти проблемы, предлагая динамическую стратегию, которая адаптируется к изменяющимся рыночным условиям и лучше защищает от экстремальных потерь во время кризисов.

Как MORP-DRL учитывает неопределённость рынка?

Для моделирования неопределённости и тяжелохвостого поведения рынка авторы использовали комбинацию GARCH(1,1), теории экстремальных значений и t-копулы. GARCH(1,1) позволяет моделировать волатильность, которая меняется во времени, что характерно для финансовых временных рядов. Теория экстремальных значений фокусируется на редких, но значительных событиях, таких как рыночные крахи. t-копула помогает улавливать зависимости между активами в хвостах распределения, что важно для диверсификации. Реалистичные сценарии генерировались с помощью квази-Монте-Карло симуляции, что обеспечивает более точную оценку рисков.

Детали реализации фреймворка

Фреймворк MORP-DRL использует алгоритм Proximal Policy Optimization (PPO), который является одним из самых популярных методов глубокого обучения с подкреплением. PPO обучает агента принимать решения о распределении капитала между активами на каждом шаге, учитывая текущее состояние рынка и портфеля. Стратегия включает транзакционные издержки и ограничения портфеля, такие как запрет на короткие продажи или лимиты на концентрацию. Это делает модель применимой на реальных рынках.

Для оценки эффективности MORP-DRL сравнивался с генетическим алгоритмом NSGA-II на данных десяти глобальных фондовых индексов за три периода: до COVID, во время COVID и после COVID. Результаты показали, что MORP-DRL достигает конкурентоспособного соотношения риск-доходность, снижает риск падения в стрессовых рыночных условиях и масштабируется на высокоразмерные портфели. В частности, во время кризиса COVID-19 фреймворк показал значительно меньшие потери по сравнению с традиционными методами.

Какие преимущества даёт использование PPO в портфельной оптимизации?

PPO позволяет агенту учиться на последовательности решений, а не на отдельных точках. Это важно для портфельной оптимизации, где решения принимаются последовательно во времени. Алгоритм устойчив к изменениям рыночных условий и может адаптироваться к новым данным без полного переобучения. Кроме того, PPO эффективен с точки зрения вычислительных ресурсов по сравнению с другими методами глубокого обучения с подкреплением.

Кого затронет эта технология

Разработчиков алгоритмических торговых систем, количественных аналитиков, управляющих активами и исследователей в области финансов и машинного обучения. Для практиков MORP-DRL предлагает готовый инструмент для построения адаптивных инвестиционных стратегий, которые могут автоматически реагировать на рыночные изменения. Исследователи могут использовать фреймворк как основу для дальнейших экспериментов с другими методами обучения с подкреплением или мерами риска.

Что пока неизвестно

Не указано, как фреймворк ведёт себя на вневыборочных данных за пределами рассмотренных периодов и какова его вычислительная сложность при большом количестве активов. Хотя авторы утверждают о масштабируемости, конкретные показатели производительности для портфелей из сотен активов не приведены. Кроме того, не исследовано влияние различных гиперпараметров PPO на качество оптимизации. Будущие работы могут пролить свет на эти аспекты, а также сравнить MORP-DRL с другими современными методами, такими как SAC или TD3.

В целом, MORP-DRL представляет собой значительный шаг вперёд в области многокритериальной оптимизации портфеля, объединяя глубокое обучение с подкреплением и современные меры риска. Этот подход открывает новые возможности для создания устойчивых к кризисам инвестиционных стратегий, что особенно актуально в условиях нестабильной экономики.