Während Self-Attention- und Transformer-Architekturen die Sprachverarbeitung revolutioniert haben, stoßen sie im kontinuierlichen quantitativen Finanzwesen an fundamentale Grenzen. Finanzzeitreihen weisen multiskalige Abhängigkeiten auf: Makroökonomische Regimewechsel erstrecken sich über Tausende Handelstage, während Mikrovolatilitätscluster innerhalb von Minuten entstehen.
In diesem Beitrag untersuchen wir, warum Selektive Zustandsraummodelle (SSMs)—insbesondere die Mamba-Architektur—ein überlegenes Paradigma für quantitative Volatilitätsprognosen und Marktregime-Identifikation darstellen.
1. Der quadratische Flaschenhals von Finanz-Transformern
Für eine Sequenzlänge $L$ berechnet Standard-Self-Attention eine dichte Ähnlichkeitsmatrix über alle Zeitpunkte:
$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \implies \mathcal{O}(L^2) \text{ Zeit- und Speicheraufwand}$$Bei hochaufgelösten Tick-Daten ($L = 100,000$ Ticks) erfordert eine $L \times L$ Matrix untragbare VRAM-Kapazitäten, was zur willkürlichen Kürzung von Analysefenstern zwingt.
2. Zeitkontinuierliche Zustandsraummodelle & Diskretisierung
Ein kontinuierliches Zustandsraummodell bildet ein Eingangssignal $u(t) \in \mathbb{R}$ über einen latenten Zustand $x(t) \in \mathbb{R}^N$ auf eine Ausgabe $y(t) \in \mathbb{R}$ ab:
$$\dot{x}(t) = \mathbf{A}x(t) + \mathbf{B}u(t)$$$$y(t) = \mathbf{C}x(t) + \mathbf{D}u(t)$$Zur Verarbeitung diskreter Finanzdaten im Intervall $\Delta$ nutzen wir die exakte Zero-Order Hold (ZOH)-Diskretisierung:
$$\overline{\mathbf{A}} = \exp(\Delta \mathbf{A}), \quad \overline{\mathbf{B}} = (\Delta \mathbf{A})^{-1}\left(\exp(\Delta \mathbf{A}) - \mathbf{I}\right) \cdot \Delta \mathbf{B}$$Dies ergibt eine diskrete Rekurrenz mit linearer $\mathcal{O}(L)$ Komplexität:
$$x_k = \overline{\mathbf{A}}x_{k-1} + \overline{\mathbf{B}}u_k, \quad y_k = \mathbf{C}x_k$$2.1 Der Selektionsmechanismus in Mamba
Mamba macht die Matrizen $\mathbf{B}$, $\mathbf{C}$ sowie den Zeitschritt $\Delta$ eingangsabhängig. Dadurch kann das Modell selektiv relevante Marktinformationen filtern und irrelevantes Rauschen verwerfen.