← 研究動態
研究2026/11/02 上午11:00

K1880 實證:滾動命中率降級規則的誤判率,真實命中率 0.55 的指標一年內被誤降級 0.719 至 0.823

Kupiec命中率預測評估VaR回測蒙地卡羅模擬

讀者互動

登入會員可按讚與收藏。

分享到:LINEFacebookX / Twitter

持續追蹤這項研究

收藏、追蹤與明日提醒只保存必要識別資料,可在會員中心檢視或刪除。

研究資訊不構成個人投資建議;提醒僅代表研究更新,不代表交易訊號。

訂閱研究摘要

研究摘要與新文章,不轉售、不寄廣告,隨時可退訂。

用滾動窗口的成績決定預測指標去留,是評分系統的常見設計:方向預測看最近 60 筆的命中率,區間預測(VaR)看最近 250 筆的 Kupiec 檢定,條件連續成立數日就降級。K1880 問的是這類規則會把真正有用的指標誤判到什麼程度。結論先行:基準方向組規則對真實命中率 0.55 的指標,一年內至少誤降級一次的機率在四個對錯序列模型下是 0.719 至 0.823;規則每日重看一次,連續 10 日的門檻擋不住多重檢視。

先看結論

  •  方向組。  窗口 60、門檻 0.50、連續 10 日的降級規則(基準規則),對真實命中率 0.55 的指標,一年內誤降級機率 0.719 至 0.823,一年內被誤下架(降級後 60 個交易日內未回升)0.380 至 0.470。單日最近 60 筆命中率低於 0.50 的機率本身就有 0.182(精確二項)。
  •  校準組。  250 筆 Kupiec p 低於 0.05、連續 10 日的規則,對正確設定且滾動估計的 GARCH-t VaR,一年內最壞誤降級 0.275;沒有估計誤差的 oracle 也有 0.255。誤降級主要來自 Kupiec 在 250 筆下的離散性與每日重看;估計誤差的增量小(估計模型 0.275、oracle 0.255)。
  •  探索性候選。  方向組窗口 250、門檻 0.48、連續 60 日,校準組 Kupiec p 低於 0.01、連續 40 日,在搜尋路徑上把最壞誤降級壓到 0.0396 與 0.0425。獨立種子保留模擬的最壞誤降級是 0.0375 與 0.0360,但抓出無用指標的機率由 0.9707 降到 0.2844、由 0.8635 降到 0.4815。這是取捨,不是免費的改善。

規則與模擬設計

 方向組規則。  指標有三個狀態。降級條件 D1:最近 60 筆命中率低於 0.50,連續 10 個交易日。回升條件 U1:最近 60 筆命中率不低於 0.55,連續 10 個交易日。觀察期上限 D2:進入觀察後 60 個交易日內未觸發 U1 就下架。 校準組規則。  D1 是最近 250 筆的 Kupiec 檢定 p 低於 0.05,連續 10 日。

 方向組資料生成。  真實命中率 p 取 0.45、0.50、0.53、0.55、0.58、0.60。對錯序列用四種模型:M0 每日獨立;序列一至三以三條真實方向預測訊號的歷史對錯序列做 stationary bootstrap(平均區塊長度 10),再用與時間無關的隨機翻轉把期望命中率調到 p。每個情境 20,000 條路徑,一年 252 個交易日,監看開始時窗口已滿、狀態為作用中。

序列期間筆數全期命中率原序列一階自相關模擬序列一階自相關(p = 0.55)
一:美股隔夜報酬預測台股漲跌2009-01-05 至 2026-09-214,3370.620-0.005-0.003
二:VIX 警示預測台股漲跌2009-01-05 至 2026-09-214,3370.547-0.003-0.004
三:VIX 期限結構預測美股波動方向2011-04-05 至 2026-09-213,8880.5240.3690.298

序列三用五日重疊的預測,相依最強。隨機翻轉把期望命中率調到 p 的同時稀釋了相依,序列三的一階自相關由 0.369 降到 0.298,所以序列三的誤降級可能被低估。

 校準組資料生成。  以 GARCH-t 為資料生成過程,參數配適自 SPY 對數報酬 2005-01-04 至 2026-09-21 共 5,462 筆(ARCH 係數 0.142、GARCH 係數 0.851、t 自由度 5.46)。VaR 分位水準 0.025 與 0.05,四種模型:O 是真參數的 oracle;E 是正確設定、以 2000 日窗口滾動估計並每 21 日重估;A1 誤設為常態;A2 是 E 的 VaR 乘以 0.8,區間過窄。每條路徑監看 252 日,400 條路徑,估計不收斂 0 次。

規則空間:方向組網格是窗口 60、120、250 × 門檻 0.50、0.48、0.45 × 連續 10、20、40、60 日,共 36 條規則;校準組網格是 Kupiec 水準 0.05、0.01、0.001 × 連續 10、20、40 日,共九條。好指標定義為方向組 p = 0.55、校準組的 E 模型;誤降級是一年內至少一次 D1。判準事前寫定:最壞誤降級不超過 0.05 的規則算可行,可行規則中選抓出 p = 0.50 無用指標機率最高者。

結果

方向組:基準規則

每格為「一年內至少一次 D1/一年內被下架」的機率。

序列模型p = 0.45p = 0.50p = 0.53p = 0.55p = 0.58p = 0.60
M0 獨立0.999/0.9910.973/0.8480.861/0.5830.719/0.3800.439/0.1430.266/0.063
序列一1.000/0.9910.971/0.8440.867/0.5900.730/0.3900.453/0.1540.276/0.064
序列二0.999/0.9900.971/0.8420.864/0.5900.725/0.3900.439/0.1480.261/0.059
序列三0.999/0.9790.978/0.8280.912/0.6320.823/0.4700.620/0.2340.449/0.127

圖 1:基準方向組規則下,不同真實命中率的指標一年內至少被降級一次的機率,四個對錯序列模型

p = 0.55 的指標,首次 D1 的時間中位數是第 81、79、79、66 個交易日(M0、序列一至三)。四個模型下最壞誤降級是 0.823,出現在序列三;抓出 p = 0.50 無用指標的機率最差模型下為 0.971。基準 U1 也寬鬆:進入觀察後,p = 0.50 的無用指標在 60 日內被升回的機率是 0.407 至 0.477,p = 0.45 的是 0.132 至 0.211。

方向組:規則網格

36 條規則中有 7 條把四個模型下的最壞誤降級壓在 0.05 以下。偵測力是最差模型下 p = 0.50 的一年內 D1 機率。

窗口門檻連續日最壞誤降級(p = 0.55)偵測力(p = 0.50)備註
600.50100.82330.971基準規則
2500.48600.03960.285探索性候選
2500.45100.03110.185
2500.45200.02110.141
600.45600.04300.125
1200.45600.02920.114
2500.45400.01110.089
2500.45600.00580.060

圖 2:36 條方向組規則的最壞誤降級與抓出無用指標的機率,基準規則與探索性候選標示

可行規則的偵測力都不高於 0.285。在這組規則空間裡,壓低誤降級與抓出壞指標是同一條取捨線上的移動。

校準組

單日 Kupiec 檢定(滿 250 筆窗口)的拒絕率,名目水準 0.05:

分位水準模型違約率拒絕率(p < 0.05)
0.025O0.02510.0750
0.025E0.02560.0756
0.025A10.02740.0791
0.025A20.04680.4940
0.05O0.04970.0563
0.05E0.05040.0645
0.05A10.04510.0756
0.05A20.08230.5650

分位水準 0.025 時,oracle 的拒絕率 0.0750 與以二項分布精確計算的 0.0744 相符;它高於名目 0.05,是 Kupiec 在 250 筆下只取離散值造成的。估計模型與 oracle 的拒絕率差距在 0.025 時為 0.0006,遠小於單格蒙地卡羅標準誤 0.0084,看不出估計誤差的增量。在 0.05 時差距為 0.0082,與單格標準誤 0.0074 同量級;oracle 與估計模型跑在同一批路徑上,結果檔沒有報告配對差的標準誤,所以這一格的增量是否為零無法判斷。A2(VaR 過窄)的拒絕率升到 0.4940 與 0.5650,單日檢定抓得到誤設,但只有約一半的機率。

Kupiec 水準連續日最壞誤降級(E)A2 平均偵測力備註
0.05100.27500.8663基準規則
0.05200.21500.8138
0.05400.15250.7350
0.01100.09500.6313
0.01200.07000.5800
0.01400.04250.4825探索性候選
0.001100.02500.3900
0.001200.01500.3288
0.001400.00500.2488

九條規則中 4 條把最壞誤降級壓在 0.05 以下,同樣以 A2 的偵測力為代價。基準規則在 oracle 模型、分位水準 0.025 下的一年內誤降級是 0.255,估計模型是 0.275。

獨立種子保留模擬

探索性候選是在同一批搜尋路徑上選出的,所以另以獨立種子重新產生路徑,只評估基準規則與候選,不再搜尋。方向組 20,000 條路徑,校準組 1,000 條。判準:最壞誤降級的單邊 95% 上界(點估加 1.645 倍標準誤)不超過 0.05,才算保留模擬支持低於 0.05。

組別規則最壞誤降級標準誤單邊 95% 上界偵測力判定
方向組窗口 60、門檻 0.50、連續 10 日(基準)0.82220.00270.82660.9707不支持
方向組窗口 250、門檻 0.48、連續 60 日(候選)0.03750.00130.03970.2844支持低於 0.05
校準組Kupiec p 低於 0.05、連續 10 日(基準)0.30500.01460.32890.8635不支持
校準組Kupiec p 低於 0.01、連續 40 日(候選)0.03600.00590.04570.4815支持低於 0.05

方向組的最壞值出現在序列三,校準組出現在 E 模型、分位水準 0.025。基準規則在保留模擬中的最壞誤降級(0.8222、0.3050)與搜尋路徑上的值(0.8233、0.2750)相近。

能說與不能說

 能說的。  在這組資料生成過程下,窗口 60、門檻 0.50、連續 10 日的規則會把真實命中率 0.55 的指標在一年內誤降級的機率推到 0.719 至 0.823;250 筆 Kupiec 加連續 10 日的規則會把正確設定的 VaR 誤降級 0.275。校準組的誤降級主要不是估計誤差造成的,oracle 就有 0.255(估計模型 0.275)。

 不能說的。  第一,不能說探索性候選是好規則。保留模擬只確認它們在模擬資料生成過程下誤降級低於 0.05,同時偵測力大幅下降。第二,不能把模擬的誤降級率當作任何一組實際指標的實際誤判率;它取決於對錯序列的相依結構與 GARCH-t 這個資料生成過程。第三,基準規則不是無用:它抓出 p = 0.50 無用指標的機率是 0.971,誤降級是這個偵測力的代價。

限制

  •  只改降級條件。  方向組網格只改 D1,回升 U1 與觀察期 D2 維持原設定;校準組只報降級,沒有改回升規則。
  •  相依結構被稀釋。  隨機翻轉稀釋了命中序列的相依(序列三的一階自相關由 0.369 降到 0.298),序列三的誤降級可能被低估,探索性候選在序列三的最壞值也最接近 0.05。
  •  校準組資料生成單一。  只有 SPY 的 GARCH-t,沒有涵蓋 HAR 分位迴歸這類模型的誤設形態;為了運算量,每 21 日重估一次,不是每日重估。
  •  Escanciano–Olmo 解析修正未實作。  以模擬的 LR 分位數代替,沒有用導數項的解析公式。
  •  預註冊非盲。  凍結前已看過三個方向訊號的全期命中率與兩個 VaR 模型的近期命中率,但沒有看過任何模擬輸出。保留模擬的設計寫於看過搜尋結果之後,不是盲測。
  •  保留模擬沿用同一資料生成過程。  只去除在同一批路徑上選參數再報告的選擇偏誤,不驗證資料生成過程本身;候選規則在真實指標資料上沒有驗證。

資料與方法

  • 方向組:四個對錯序列模型 × 六個真實命中率,每格 20,000 條路徑;序列一至三為歷史對錯序列的 stationary bootstrap(Politis 與 Romano 提出的重抽樣法),平均區塊長度 10。
  • 校準組:GARCH-t 資料生成過程,配適窗口 2005-01-04 至 2026-09-21;VaR 的 Kupiec 無條件覆蓋檢定;估計誤差對回測的影響參考 Escanciano 與 Olmo 對估計風險下 VaR 回測的分析。
  • 模擬器驗證:p = 0.55 時單日命中率低於 0.50 的頻率與精確二項值 0.182 一致;oracle 的單日 Kupiec 拒絕率與精確二項值 0.0744 一致。

相關文章

先讀正式關聯,若無則使用標籤與主題相似度補齊

📄
K1706:2016 年美國 tick size pilot 把報價跳動放大五倍,只有改制前價差窄於 10 美分的股票日內振幅變大(+19.70 bps,隨機化 p=0.002)
研究問題:把最小報價單位從 1 美分改成 5 美分,會讓股票每天的價格擺幅變大嗎?如果會,效果落在哪一類股票? 這個問題對兩種人有用。做中小型股的交易者,要知道報價格子變粗之後,日內停損和限價單要不要放寬。做市場結構研究的人,要知道這類政策的效果是否只在「格子真的卡住報價」的股票上出現。 設計 美國證券交易委員會在 2016 年 10 月起實施 tick size pilot,處理組的最小報價跳動…
→
📄
K1999:49 個產業的最大 Sharpe 組合,預知期望報酬、波動與相關各值多少?完美預知的 Shapley 分解
建構產業層級的最佳化組合時,預測的力氣可以放在期望報酬、波動或相關。若相關的影響最大,改進相關模型就是投入的方向;若期望報酬的影響最大,相關模型做得再細,對 Sharpe 比率的幫助也有限。 Roy、Motson 與 Thomas(2026)以美國前 1,000 大股、50 年的資料報告:在最大 Sharpe 組合中,相關結構遠比報酬預測或波動估計更主導最高效率組合的建構。 K1999 在 Ken…
→
📄
K1933:美國非農公布後,台指期夜盤的波動效果有多少延續到前 30 分鐘之後?三個 30 分鐘窗的估計、敏感度與檢定力
美國就業報告(非農)在美東 08:30 公布,正好落在台指期夜盤:夏令時間是台北 20:30,冬令時間是台北 21:30。若要在夜盤的日內波動模型裡替非農夜加入事件項,先要知道:公布後的波動放大有多大,以及放大在公布後多久之內還看得到。本文用描述性事件研究回答這些問題,並逐項列出同一組估計在換對照組、換取樣頻率、換取價慣例之後怎麼移動,以及這個設計在事前能鑑別多小的差距。 這不是預測訊號。研究沒有…
→
K1880 實證:滾動命中率降級規則的誤判率,真實命中率 0.55 的指標一年內被誤降級 0.719 至 0.823 | VolPred