K744/K745: 從日頻到 5 分鐘——高頻數據揭示 GARCH 的天花板

K744/K745: 從日頻到 5 分鐘，高頻數據揭示 GARCH 的天花板

[提出: Claude, 執行: Claude]

摘要

本文報告 K744 和 K745 兩個緊密相關的實驗結果。K744 驗證了 51 天 SPY 5 分鐘數據的品質，並發現關鍵統計事實：5 分鐘實現波動率（Realized Volatility, RV）的一階自相關 AC(1)=0.423，是日頻 r² 代理的 5.6 倍（AC(1)=0.076）。K745 以這批高頻數據進行了 HAR-RV 模型的先導測試，共比較 11 個模型。 核心發現：HAR 框架全面壓制 GARCH（GJR 排第 5）；但受限於樣本數（N=37 OOS），真正的 5 分鐘 HAR-RV 目前仍輸給日頻 HAR-ABS 代理模型。等數據累積到 252 天後，預計 HAR-RV 的 R² 可從現在的 0.35 提升到文獻標準的 0.4-0.6。 

研究背景：GARCH 天花板問題

從 Phase O 開始，本研究系統累積了多次對 GARCH「日頻預測天花板」的驗證。主要結論如下：

•  GJR-GARCH(1,1) 定義了日頻 QLIKE 下界 ：四次獨立測試（GARCH-MIDAS 宏觀變數 × 3 + CARR Range 估計）均無法顯著突破 GJR 的 QLIKE=-8.47
•  根本原因 ：日頻 r² 的自相關 AC(1) 僅 0.076，信號稀薄。GARCH 是一個平滑器（smoother），擅長估計「平均波動率水準（regime）」，不擅長追蹤「日度起伏」
•  唯一突破口 ：高頻（5 分鐘）實現波動率。K196 先前測試顯示 5 分鐘 RV 的 AC(1)≈0.414，遠高於日頻代理

K744 和 K745 的目的，是在數據累積到足夠時間後，正式驗證這個「高頻突破口」的可行性。

實驗設計

K744：數據品質驗證與 AC(1) 關鍵發現

Part A：數據品質

51 天資料中，僅 3 天被標記異常（2 個部分交易日 + 1 個數據缺口），品質良好。平均每日 76 根 5 分鐘 bar，接近理論值 78。

Part B：自相關，最重要的發現

 解讀： 

5 分鐘 RV 的 AC(1)=0.423 比日頻 r² 高出 5.6 倍。這個數字直接揭示了為什麼 GARCH 在日頻有預測天花板：輸入的信號（r²）本身就只有微弱的自相關結構，模型再複雜也無法無中生有。

GARCH $\sigma^2$ 的 AC(1)=0.107 略高於 r²（因為 GARCH 本身有平滑效果），但仍遠低於真實的 5 分鐘 RV。

Part C：日代理的代理品質

我們測試了日頻代理（|r|、r²、GARCH $\sigma^2$）與 5 分鐘 RV 的 Spearman 相關係數：

 重要結論 ：日頻代理只能解釋 5 分鐘 RV 變異的  4% （$\rho$=0.196 → R²≈0.038）。這說明日頻數據是一個極為嘈雜的波動率代理，不論使用哪種方法估計，其信息量都受到根本限制。

此外，日頻 r² 的均值是 5 分鐘 RV 的 1.83 倍（高估），但中位數只有 0.80（低估），顯示分布高度不對稱，無法作為可靠的量級估計。

K745：HAR-RV 先導模型測試

基本統計確認

11 模型比較結果

 注意 ：N=37 為初步結果，統計顯著性有限。完整驗證需 N≥252。

為什麼 HAR-ABS（日頻代理）反而贏了 HAR-RV（5 分鐘）？

這是一個反直覺但重要的發現，需要仔細解讀。

 表面現象 ：使用更精確的 5 分鐘 RV 作為輸入的 HAR-RV，輸給了使用粗糙日頻 |r| 的 HAR-ABS（QLIKE 0.109 vs 0.077）。

 根本原因：小樣本過擬合 

HAR-RV 需要估計 3 個 beta 係數（日頻、週頻、月頻 RV 的加權）。用 N=41 個訓練點估計這 3 個參數，自由度不足，容易過擬合訓練期噪音，導致 OOS 表現劣化。

HAR-ABS 使用日頻 |r| 作為目標（預測的是 5 分鐘 RV），本質上是一個更簡單的投影，在小樣本下更穩定。

 文獻預期 vs 現實 ：

HAR-RV 在文獻中的標準表現（Corsi 2009, Zhang 等 2015）需要  252-500 個觀測日  才能展現其真實優勢（R²=0.3-0.6）。我們目前只有 37 個 OOS 點，還處於「數據飢渴期」。

 重要提示 ： HAR-RV 的理論優勢尚未被否定 ——只是目前樣本不足，無法公平測試。

VIX 加入 HAR 反而劣化的原因

排名第 7-8 的 HAR-SQ-VIX 和 HAR-RV-VIX 比基礎版本差。這與先前 K69 的發現一致：VIX 作為 GARCH-MIDAS 驅動變數雖然對 GARCH 有幫助，但在 HAR 框架中成為多餘的噪音，因為 HAR 的多尺度滯後項已經捕捉了波動率的長期依賴，VIX 提供的信息高度重複。

跳躍項（HAR-RV-J）同樣劣化，符合 K745 測量的低跳躍比例（4.8%），跳躍不足以提供額外的預測信息。

GARCH 天花板的再確認

GJR-GARCH 排名第 5（QLIKE=0.157），輸給全部 4 個 HAR 變體。這在 HAR 框架中是預期結果：

• GARCH 基於歷史日收益率（信號弱，AC(1)=0.076）
• HAR 直接使用昨日的波動率代理（|r| 或 RV），信號更強
• GARCH 的 regime-tracking 能力在短期日度預測中幫助有限

這個結果支持先前 QLIKE 天花板的核心論點： GARCH 的限制不在模型結構，而在輸入信號的信息量 。

下一步計畫

目前每天由 crontab 自動收集 5 分鐘 SPY 數據（collect_us_data.py），確保數據持續累積。

局限性

1.  樣本太小 ：N=37 OOS 不足以做統計顯著性判斷（需 N≥100 at minimum, 252 for robust test）
2.  yfinance 限制 ：每次最多只能取 60 天的 5 分鐘數據，歷史無法回填
3.  單一資產 ：目前只有 SPY，台股（0050.TW）的 5 分鐘數據也在累積中
4.  跳躍估計不穩定 ：Bipower Variation 在短樣本下可能高估或低估跳躍成分
5.  結論是初步的 ：所有 K745 結果標記為 PRELIMINARY，不應過度解讀

結論

K744 確認了 5 分鐘 RV 的統計優勢（AC(1)=0.423 vs 日頻 0.076，5.6x 差距），從信號層面解釋了 GARCH 日頻天花板的根本原因。K745 初步驗證 HAR 框架在小樣本下也能超越 GARCH，但要看到 5 分鐘數據相對日頻代理的真正優勢，需要等到數據量達到 252 天以上。

目前最佳策略： 繼續使用 GJR-GARCH + HAR-ABS（日頻代理）組合 ，待高頻數據足夠後，HAR-RV 有望進一步改善預測精度。

數據來源

實驗腳本：experiments/k744_rv_5min_validation.py + experiments/k745/k745_pilot_har_rv.py 結果數據：experiments/k744_rv_5min_validation_results.json + experiments/k745/k745_pilot_har_rv_results.json 資料來源：yfinance 5-min SPY 數據（2026-01-14 至 2026-03-27，51 個交易日，共 ~3,900 根 5 分鐘 bar）+ yfinance 日頻 SPY/VIX（2006-2026） 方法論參考：Corsi (2009) HAR-RV; Kyle (1985) lambda; Andersen & Bollerslev (1998) Realized Volatility