K1880 實證:滾動命中率降級規則的誤判率,真實命中率 0.55 的指標一年內被誤降級 0.719 至 0.823
讀者互動
登入會員可按讚與收藏。
持續追蹤這項研究
收藏、追蹤與明日提醒只保存必要識別資料,可在會員中心檢視或刪除。
研究資訊不構成個人投資建議;提醒僅代表研究更新,不代表交易訊號。
用滾動窗口的成績決定預測指標去留,是評分系統的常見設計:方向預測看最近 60 筆的命中率,區間預測(VaR)看最近 250 筆的 Kupiec 檢定,條件連續成立數日就降級。K1880 問的是這類規則會把真正有用的指標誤判到什麼程度。結論先行:基準方向組規則對真實命中率 0.55 的指標,一年內至少誤降級一次的機率在四個對錯序列模型下是 0.719 至 0.823;規則每日重看一次,連續 10 日的門檻擋不住多重檢視。
先看結論
- 方向組。 窗口 60、門檻 0.50、連續 10 日的降級規則(基準規則),對真實命中率 0.55 的指標,一年內誤降級機率 0.719 至 0.823,一年內被誤下架(降級後 60 個交易日內未回升)0.380 至 0.470。單日最近 60 筆命中率低於 0.50 的機率本身就有 0.182(精確二項)。
- 校準組。 250 筆 Kupiec p 低於 0.05、連續 10 日的規則,對正確設定且滾動估計的 GARCH-t VaR,一年內最壞誤降級 0.275;沒有估計誤差的 oracle 也有 0.255。誤降級主要來自 Kupiec 在 250 筆下的離散性與每日重看;估計誤差的增量小(估計模型 0.275、oracle 0.255)。
- 探索性候選。 方向組窗口 250、門檻 0.48、連續 60 日,校準組 Kupiec p 低於 0.01、連續 40 日,在搜尋路徑上把最壞誤降級壓到 0.0396 與 0.0425。獨立種子保留模擬的最壞誤降級是 0.0375 與 0.0360,但抓出無用指標的機率由 0.9707 降到 0.2844、由 0.8635 降到 0.4815。這是取捨,不是免費的改善。
規則與模擬設計
方向組規則。 指標有三個狀態。降級條件 D1:最近 60 筆命中率低於 0.50,連續 10 個交易日。回升條件 U1:最近 60 筆命中率不低於 0.55,連續 10 個交易日。觀察期上限 D2:進入觀察後 60 個交易日內未觸發 U1 就下架。 校準組規則。 D1 是最近 250 筆的 Kupiec 檢定 p 低於 0.05,連續 10 日。
方向組資料生成。 真實命中率 p 取 0.45、0.50、0.53、0.55、0.58、0.60。對錯序列用四種模型:M0 每日獨立;序列一至三以三條真實方向預測訊號的歷史對錯序列做 stationary bootstrap(平均區塊長度 10),再用與時間無關的隨機翻轉把期望命中率調到 p。每個情境 20,000 條路徑,一年 252 個交易日,監看開始時窗口已滿、狀態為作用中。
| 序列 | 期間 | 筆數 | 全期命中率 | 原序列一階自相關 | 模擬序列一階自相關(p = 0.55) |
|---|---|---|---|---|---|
| 一:美股隔夜報酬預測台股漲跌 | 2009-01-05 至 2026-09-21 | 4,337 | 0.620 | -0.005 | -0.003 |
| 二:VIX 警示預測台股漲跌 | 2009-01-05 至 2026-09-21 | 4,337 | 0.547 | -0.003 | -0.004 |
| 三:VIX 期限結構預測美股波動方向 | 2011-04-05 至 2026-09-21 | 3,888 | 0.524 | 0.369 | 0.298 |
序列三用五日重疊的預測,相依最強。隨機翻轉把期望命中率調到 p 的同時稀釋了相依,序列三的一階自相關由 0.369 降到 0.298,所以序列三的誤降級可能被低估。
校準組資料生成。 以 GARCH-t 為資料生成過程,參數配適自 SPY 對數報酬 2005-01-04 至 2026-09-21 共 5,462 筆(ARCH 係數 0.142、GARCH 係數 0.851、t 自由度 5.46)。VaR 分位水準 0.025 與 0.05,四種模型:O 是真參數的 oracle;E 是正確設定、以 2000 日窗口滾動估計並每 21 日重估;A1 誤設為常態;A2 是 E 的 VaR 乘以 0.8,區間過窄。每條路徑監看 252 日,400 條路徑,估計不收斂 0 次。
規則空間:方向組網格是窗口 60、120、250 × 門檻 0.50、0.48、0.45 × 連續 10、20、40、60 日,共 36 條規則;校準組網格是 Kupiec 水準 0.05、0.01、0.001 × 連續 10、20、40 日,共九條。好指標定義為方向組 p = 0.55、校準組的 E 模型;誤降級是一年內至少一次 D1。判準事前寫定:最壞誤降級不超過 0.05 的規則算可行,可行規則中選抓出 p = 0.50 無用指標機率最高者。
結果
方向組:基準規則
每格為「一年內至少一次 D1/一年內被下架」的機率。
| 序列模型 | p = 0.45 | p = 0.50 | p = 0.53 | p = 0.55 | p = 0.58 | p = 0.60 |
|---|---|---|---|---|---|---|
| M0 獨立 | 0.999/0.991 | 0.973/0.848 | 0.861/0.583 | 0.719/0.380 | 0.439/0.143 | 0.266/0.063 |
| 序列一 | 1.000/0.991 | 0.971/0.844 | 0.867/0.590 | 0.730/0.390 | 0.453/0.154 | 0.276/0.064 |
| 序列二 | 0.999/0.990 | 0.971/0.842 | 0.864/0.590 | 0.725/0.390 | 0.439/0.148 | 0.261/0.059 |
| 序列三 | 0.999/0.979 | 0.978/0.828 | 0.912/0.632 | 0.823/0.470 | 0.620/0.234 | 0.449/0.127 |

p = 0.55 的指標,首次 D1 的時間中位數是第 81、79、79、66 個交易日(M0、序列一至三)。四個模型下最壞誤降級是 0.823,出現在序列三;抓出 p = 0.50 無用指標的機率最差模型下為 0.971。基準 U1 也寬鬆:進入觀察後,p = 0.50 的無用指標在 60 日內被升回的機率是 0.407 至 0.477,p = 0.45 的是 0.132 至 0.211。
方向組:規則網格
36 條規則中有 7 條把四個模型下的最壞誤降級壓在 0.05 以下。偵測力是最差模型下 p = 0.50 的一年內 D1 機率。
| 窗口 | 門檻 | 連續日 | 最壞誤降級(p = 0.55) | 偵測力(p = 0.50) | 備註 |
|---|---|---|---|---|---|
| 60 | 0.50 | 10 | 0.8233 | 0.971 | 基準規則 |
| 250 | 0.48 | 60 | 0.0396 | 0.285 | 探索性候選 |
| 250 | 0.45 | 10 | 0.0311 | 0.185 | |
| 250 | 0.45 | 20 | 0.0211 | 0.141 | |
| 60 | 0.45 | 60 | 0.0430 | 0.125 | |
| 120 | 0.45 | 60 | 0.0292 | 0.114 | |
| 250 | 0.45 | 40 | 0.0111 | 0.089 | |
| 250 | 0.45 | 60 | 0.0058 | 0.060 |

可行規則的偵測力都不高於 0.285。在這組規則空間裡,壓低誤降級與抓出壞指標是同一條取捨線上的移動。
校準組
單日 Kupiec 檢定(滿 250 筆窗口)的拒絕率,名目水準 0.05:
| 分位水準 | 模型 | 違約率 | 拒絕率(p < 0.05) |
|---|---|---|---|
| 0.025 | O | 0.0251 | 0.0750 |
| 0.025 | E | 0.0256 | 0.0756 |
| 0.025 | A1 | 0.0274 | 0.0791 |
| 0.025 | A2 | 0.0468 | 0.4940 |
| 0.05 | O | 0.0497 | 0.0563 |
| 0.05 | E | 0.0504 | 0.0645 |
| 0.05 | A1 | 0.0451 | 0.0756 |
| 0.05 | A2 | 0.0823 | 0.5650 |
分位水準 0.025 時,oracle 的拒絕率 0.0750 與以二項分布精確計算的 0.0744 相符;它高於名目 0.05,是 Kupiec 在 250 筆下只取離散值造成的。估計模型與 oracle 的拒絕率差距在 0.025 時為 0.0006,遠小於單格蒙地卡羅標準誤 0.0084,看不出估計誤差的增量。在 0.05 時差距為 0.0082,與單格標準誤 0.0074 同量級;oracle 與估計模型跑在同一批路徑上,結果檔沒有報告配對差的標準誤,所以這一格的增量是否為零無法判斷。A2(VaR 過窄)的拒絕率升到 0.4940 與 0.5650,單日檢定抓得到誤設,但只有約一半的機率。
| Kupiec 水準 | 連續日 | 最壞誤降級(E) | A2 平均偵測力 | 備註 |
|---|---|---|---|---|
| 0.05 | 10 | 0.2750 | 0.8663 | 基準規則 |
| 0.05 | 20 | 0.2150 | 0.8138 | |
| 0.05 | 40 | 0.1525 | 0.7350 | |
| 0.01 | 10 | 0.0950 | 0.6313 | |
| 0.01 | 20 | 0.0700 | 0.5800 | |
| 0.01 | 40 | 0.0425 | 0.4825 | 探索性候選 |
| 0.001 | 10 | 0.0250 | 0.3900 | |
| 0.001 | 20 | 0.0150 | 0.3288 | |
| 0.001 | 40 | 0.0050 | 0.2488 |
九條規則中 4 條把最壞誤降級壓在 0.05 以下,同樣以 A2 的偵測力為代價。基準規則在 oracle 模型、分位水準 0.025 下的一年內誤降級是 0.255,估計模型是 0.275。
獨立種子保留模擬
探索性候選是在同一批搜尋路徑上選出的,所以另以獨立種子重新產生路徑,只評估基準規則與候選,不再搜尋。方向組 20,000 條路徑,校準組 1,000 條。判準:最壞誤降級的單邊 95% 上界(點估加 1.645 倍標準誤)不超過 0.05,才算保留模擬支持低於 0.05。
| 組別 | 規則 | 最壞誤降級 | 標準誤 | 單邊 95% 上界 | 偵測力 | 判定 |
|---|---|---|---|---|---|---|
| 方向組 | 窗口 60、門檻 0.50、連續 10 日(基準) | 0.8222 | 0.0027 | 0.8266 | 0.9707 | 不支持 |
| 方向組 | 窗口 250、門檻 0.48、連續 60 日(候選) | 0.0375 | 0.0013 | 0.0397 | 0.2844 | 支持低於 0.05 |
| 校準組 | Kupiec p 低於 0.05、連續 10 日(基準) | 0.3050 | 0.0146 | 0.3289 | 0.8635 | 不支持 |
| 校準組 | Kupiec p 低於 0.01、連續 40 日(候選) | 0.0360 | 0.0059 | 0.0457 | 0.4815 | 支持低於 0.05 |
方向組的最壞值出現在序列三,校準組出現在 E 模型、分位水準 0.025。基準規則在保留模擬中的最壞誤降級(0.8222、0.3050)與搜尋路徑上的值(0.8233、0.2750)相近。
能說與不能說
能說的。 在這組資料生成過程下,窗口 60、門檻 0.50、連續 10 日的規則會把真實命中率 0.55 的指標在一年內誤降級的機率推到 0.719 至 0.823;250 筆 Kupiec 加連續 10 日的規則會把正確設定的 VaR 誤降級 0.275。校準組的誤降級主要不是估計誤差造成的,oracle 就有 0.255(估計模型 0.275)。
不能說的。 第一,不能說探索性候選是好規則。保留模擬只確認它們在模擬資料生成過程下誤降級低於 0.05,同時偵測力大幅下降。第二,不能把模擬的誤降級率當作任何一組實際指標的實際誤判率;它取決於對錯序列的相依結構與 GARCH-t 這個資料生成過程。第三,基準規則不是無用:它抓出 p = 0.50 無用指標的機率是 0.971,誤降級是這個偵測力的代價。
限制
- 只改降級條件。 方向組網格只改 D1,回升 U1 與觀察期 D2 維持原設定;校準組只報降級,沒有改回升規則。
- 相依結構被稀釋。 隨機翻轉稀釋了命中序列的相依(序列三的一階自相關由 0.369 降到 0.298),序列三的誤降級可能被低估,探索性候選在序列三的最壞值也最接近 0.05。
- 校準組資料生成單一。 只有 SPY 的 GARCH-t,沒有涵蓋 HAR 分位迴歸這類模型的誤設形態;為了運算量,每 21 日重估一次,不是每日重估。
- Escanciano–Olmo 解析修正未實作。 以模擬的 LR 分位數代替,沒有用導數項的解析公式。
- 預註冊非盲。 凍結前已看過三個方向訊號的全期命中率與兩個 VaR 模型的近期命中率,但沒有看過任何模擬輸出。保留模擬的設計寫於看過搜尋結果之後,不是盲測。
- 保留模擬沿用同一資料生成過程。 只去除在同一批路徑上選參數再報告的選擇偏誤,不驗證資料生成過程本身;候選規則在真實指標資料上沒有驗證。
資料與方法
- 方向組:四個對錯序列模型 × 六個真實命中率,每格 20,000 條路徑;序列一至三為歷史對錯序列的 stationary bootstrap(Politis 與 Romano 提出的重抽樣法),平均區塊長度 10。
- 校準組:GARCH-t 資料生成過程,配適窗口 2005-01-04 至 2026-09-21;VaR 的 Kupiec 無條件覆蓋檢定;估計誤差對回測的影響參考 Escanciano 與 Olmo 對估計風險下 VaR 回測的分析。
- 模擬器驗證:p = 0.55 時單日命中率低於 0.50 的頻率與精確二項值 0.182 一致;oracle 的單日 Kupiec 拒絕率與精確二項值 0.0744 一致。
相關文章
先讀正式關聯,若無則使用標籤與主題相似度補齊