Mặc dù cơ chế tự chú ý (Self-Attention) và kiến trúc Transformer đã thống trị lĩnh vực xử lý ngôn ngữ tự nhiên, chúng gặp phải các rào cản cấu trúc lớn khi áp dụng vào tài chính định lượng thời gian liên tục. Chuỗi thời gian tài chính chứa đựng các phụ thuộc thời gian đa quy mô—trong đó các chu kỳ kinh tế vĩ mô kéo dài hàng nghìn phiên giao dịch, trong khi các cụm biến động vi mô biến đổi chỉ trong vài phút.

Trong bài viết này, chúng tôi phân tích lý do tại sao Mô hình Không gian Trạng thái Chọn lọc (Selective State Space Models - SSMs)—đặc biệt là kiến trúc Mamba—đại diện cho một mô hình vượt trội cho bài toán dự báo biến động và nhận diện chế độ thị trường.

1. Nút thắt Bậc hai của Financial Transformers

Với một chuỗi có độ dài $L$, cơ chế Self-Attention tiêu chuẩn tính toán một ma trận tương đồng dày đặc giữa mọi cặp thời gian:

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \implies \mathcal{O}(L^2) \text{ độ phức tạp thời gian và bộ nhớ}$$

Đối với dữ liệu định lượng độ phân giải cao ($L = 100,000$ tick bars), việc tính toán ma trận chú ý $L \times L$ đòi hỏi dung lượng VRAM vượt quá khả năng phần cứng, buộc các nhà nghiên cứu phải cắt ngắn cửa sổ chuỗi và đánh mất bối cảnh vĩ mô.

2. Hệ Không gian Trạng thái Thời gian Liên tục & Rời rạc hóa

Một hệ SSM thời gian liên tục ánh xạ chuỗi đầu vào $u(t) \in \mathbb{R}$ sang chuỗi đầu ra $y(t) \in \mathbb{R}$ thông qua trạng thái ẩn $x(t) \in \mathbb{R}^N$:

$$\dot{x}(t) = \mathbf{A}x(t) + \mathbf{B}u(t)$$

$$y(t) = \mathbf{C}x(t) + \mathbf{D}u(t)$$

Để xử lý các thanh dữ liệu tài chính rời rạc được lấy mẫu theo khoảng thời gian $\Delta$, ta áp dụng phép rời rạc hóa Zero-Order Hold (ZOH):

$$\overline{\mathbf{A}} = \exp(\Delta \mathbf{A}), \quad \overline{\mathbf{B}} = (\Delta \mathbf{A})^{-1}\left(\exp(\Delta \mathbf{A}) - \mathbf{I}\right) \cdot \Delta \mathbf{B}$$

Điều này mang lại một hệ thức truy hồi tuyến tính rời rạc vận hành trong thời gian tuyến tính $\mathcal{O}(L)$:

$$x_k = \overline{\mathbf{A}}x_{k-1} + \overline{\mathbf{B}}u_k, \quad y_k = \mathbf{C}x_k$$

2.1 Cơ chế Chọn lọc (Selective Scan) trong Mamba

Mamba giới thiệu tính chọn lọc theo thời gian bằng cách biến các tham số $\mathbf{B}$, $\mathbf{C}$ và $\Delta$ thành các hàm phụ thuộc vào đầu vào $u_k$, cho phép mô hình chủ động ghi nhớ hoặc quên thông tin trong chuỗi thời gian tài chính.