美國股票： 關於優化後過擬合方案的後續問題的探討

 上次我的博客談到機器優化後的策略，因為有太多的100%贏率，和現實不符合。比如QQQ在用過去18年的數據，模型的預測成功率是96%，這個很難說服我自己。世界上沒有這麽好的事吧。

所以就再加了一次篩選，目的是降低成功率， 目標是把交易的成功率控製再90% 以下。理想的成功率在 75%-90%。 也解決過擬合的問題。方法是二級聚類。下麵談談我的感想，歡迎批評指正。

二級聚類提升勝率的複雜性與投資組合管理的簡化之道

您敏銳地指出，在  模塊中使用二級聚類級別雖然可以通過高質量二級級別帶來的額外交易倉位來提高勝率，但其對風險回報、夏普比率、資金效率和整體基金風險管理的更廣泛影響卻引入了顯著的複雜性。這些指標深受具體股票特性、投資組合層麵的決策以及風險管理約束（如基金在生產中（積極交易）的百分比和作為保證金後備（儲備資本）持有的百分比）的影響。讓我們深入探討這種複雜性，重點關注二級級別邏輯如何與這些因素相互作用以及為何會感覺複雜，然後為在這種背景下簡化資金效率和風險管理提出一種方法。

複雜性的分解

您的觀察強調了幾個相互關聯的因素，這些因素使得在投資組合環境中評估二級級別的影響變得具有挑戰性。讓我們分解每個組成部分及其與二級聚類級別邏輯的關係：

1. 二級級別提高勝率

• 為何有效： 當二級聚類級別與一級不同（即非默認）時，它會增加符合嚴格勝率標準的交易倉位（二級- ）：
  • 目標交易：  ，確保二級交易至少與一級交易一樣有效。
  • 反向交易：  ，確保二級交易與傾向於非目標倉位的策略一致。
  • 該模塊的綜合勝率  對二級交易的權重為 2（一級交易為 1），這反映了當存在二級級別時，對其貢獻的更高信心。
• 對於像 Ticker B（具有二級級別）這樣的股票： 這些額外的交易可以增加盈利交易的數量，從而提高勝率，與 Ticker A（沒有二級級別，所有都是一級交易）相比。
• 來自邏輯的證據： 如果 Ticker B 的二級級別的勝率等於或優於一級的勝率（例如，目標交易中兩者均為 80%），則二級交易有助於提高勝率，而不會降低質量。
• 示例： 如果一級交易 10 個倉位，勝率為 80%（8 勝），而二級增加 5 個倉位，勝率為 80%（4 勝），則綜合勝率為 12/15 = 80%，如果一級交易數量較少或成功率較低，則可能高於僅一級交易。
• 注意事項： 勝率的提高取決於二級級別的交易倉位是否與一級倉位明顯不同且沒有過度重疊。重疊會降低增量收益，因為交易可能是冗餘的。

2. 風險回報和夏普比率的挑戰

• 風險回報：
  • 定義： 風險回報率比較每筆交易的預期回報與潛在損失（例如，交易盈利時的利潤與失敗時的損失）。
  • 二級級別的影響： 對於 Ticker B，二級交易（當二級級別發生變化時規模為 2，否則為 1）與一級交易（規模為 1）相比，增加了資本敞口。這放大了潛在的利潤和損失。
  • 示例： 一筆規模為 2 的二級交易可能產生 200 美元的利潤（盈利）或 200 美元的損失（虧損），而規模為 1 的一級交易則為 100 美元。如果勝率相等（例如 80%），則每單位的風險回報率相似，但較大的規模增加了絕對風險。
  • Ticker A 的固定規模為 3 的交易，每筆交易的敞口更高，可能會扭曲風險回報的比較。如果 A 的一級級別的勝率略低於 B 的（例如 75% 對 80%），那麽盡管資本更多，其風險回報可能更差。
  • 問題： 可變的交易規模（A：3，B：1 或 2）和二級級別的存在使得難以標準化不同股票的風險回報。二級交易的較高權重（以及變化時的規模 2）可能導致 Ticker B 的回報波動性更高。
• 夏普比率：
  • 定義： 夏普比率 = (投資組合回報 - 無風險利率) / 投資組合標準差，衡量每單位風險的回報。
  • 二級級別的影響： 二級交易增加了交易次數，如果它們與一級交易不相關，則可能平滑回報，從而提高夏普比率。
  • 然而，較大的交易規模（B 的規模 2，A 的規模 3）會增加波動性（標準差），尤其是在二級變化不頻繁或二級交易具有更高的方差（例如，由於較低級別的模式更簡單）的情況下。
  • 如果一級級別的勝率不太穩定，Ticker A 的一致規模為 3 的交易可能會導致更高的波動性，而 B 的規模組合（1 和 2）則會產生與二級變化相關的可變波動性。
  • 問題： 比較夏普比率很複雜，因為：
    • Ticker A 的較高敞口（規模 3）放大了風險，如果回報沒有成比例地增加，則可能降低夏普比率。
    • Ticker B 的可變規模和二級驅動的交易使其風險狀況更難以預測，需要針對具體股票進行波動性計算。
    • 投資組合的整體夏普比率取決於 A 和 B 之間的資本分配，而這又受到二級級別存在的影響。

3. 與股票相關的資金效率

• 定義： 資金效率可能指的是在考慮資本利用率、交易頻率和風險敞口的情況下，最大化每單位分配資本的回報。
• 特定股票的問題：
  • Ticker A（無二級）： 固定交易規模 3 意味著每筆交易的資本較高，如果勝率和回報都很高，則可能有效率。然而，沒有二級級別限製了交易機會，如果觸發的交易較少（例如，一級級別倉位很少），則可能導致資本利用不足。高敞口（規模 3）占用了資本，降低了分配給其他股票的靈活性。
  • Ticker B（有二級）： 可變規模（通常為 1，二級變化時為 2）優化了常規交易的資本（規模 1），但在二級變化時增加了敞口（規模 2）。更多的交易倉位（一級 + 二級）提高了資本利用率，但如果二級變化不可預測，則會引入可變性。效率取決於二級級別的頻率和質量（例如，如果二級交易持續以 80% 的勝率盈利，則效率很高）。
• 問題： 效率因股票而異，因為二級級別的存在（或不存在）驅動了交易頻率和規模。如果勝率較低或交易不頻繁，Ticker A 的高固定規模可能效率較低。Ticker B 的效率隨二級變化而波動，難以預測資本需求或與 A 進行比較。

4. 基金風險管理的複雜性

• 投資組合約束：
  • 基金在生產中的百分比： 積極交易的總資本的比例（例如，70% 交易，30% 儲備）。這決定了分配給像 A 和 B 這樣的股票的資本量。
  • 作為保證金後備的百分比： 用於追加保證金、意外損失或新機會的儲備資本（例如，20% 作為後備）。這限製了可用於交易的資本。
• 二級邏輯的影響：
  • Ticker A： 大交易規模（3）消耗了更多的生產資本，減少了分配給其他股票的資本。如果基金的 70% 用於生產（例如 100 萬美元中的 70 萬美元），而 A 的每筆交易為 3000 美元，則 100 筆交易 = 30 萬美元，剩下 40 萬美元用於其他股票。沒有二級級別限製了交易頻率，可能導致資本利用不足。
  • Ticker B： 可變規模（1 或 2）使得資本分配更難以預測。如果二級變化很少發生，則大多數交易規模為 1，使用的資本較少（例如，100 筆交易，每筆 1000 美元 = 10 萬美元）。當二級變化觸發規模 2 時，資本使用量會激增（例如，10 筆交易，每筆 2000 美元 = 額外 2 萬美元），從而擠壓生產資本或動用保證金後備。
  • 保證金後備： 高交易規模（A 的 3，B 的變化時的 2）增加了需要動用儲備的損失風險，尤其是在模塊輸出中的最大連續虧損較高的情況下。如果二級交易處於較低級別，則 Ticker B 的二級交易可能具有更高的方差（更簡單的模式），從而增加了對後備資本的需求。
• 問題： 二級級別的存在和交易規模規則在不同股票之間造成了不均衡的資本需求，從而使生產和儲備計劃變得複雜。投資組合的風險狀況（例如，最大回撤、波動性）隨二級驅動的交易而變化，難以設定穩定的生產或保證金百分比。

5. 為何感覺複雜

• 相互依賴性： 二級級別提高勝率，但影響交易頻率、規模和風險，這些因素會連鎖影響投資組合指標（夏普比率、效率、資本分配）。
• 特定股票的輸出（A：無二級，B：具有可變規模的二級） 需要在匯總到投資組合層麵指標之前進行股票層麵的分析。
• 可變輸入： 模塊的輸出取決於 input_string，該字符串因股票和時間而異。二級級別的存在和變化是數據驅動的，引入了不可預測性。
• 交易規模規則（A：3，B：1 或 2，取決於變化） 是模塊外部的，增加了投資組合特定邏輯的層次。
• 投資組合約束： 生產和保證金後備百分比限製了資本靈活性，而二級驅動的交易（尤其是規模 2）可能會擾亂這些限製。
• 比較效率需要標準化交易規模、勝率和風險，當不同股票遵循不同的規則時，這很複雜。
• 風險管理： 平衡勝率（由二級提高）與風險（由較大規模或更多交易放大）需要權衡，這取決於投資組合的目標（例如，最大化回報與最小化回撤）。

簡化方法

為了在利用二級級別提高勝率的優勢的同時降低這種複雜性，讓我們考慮一種簡化的方法，該方法將股票層麵的交易與投資組合層麵的風險管理和資金效率相結合。目標是簡化交易規模、標準化效率指標並與生產/保證金約束對齊。

1. 簡化交易規模規則

• 當前問題： Ticker A 的固定規模 3 與 Ticker B 的 1 或 2（取決於二級變化）造成了不一致的資本分配。
• 解決方案： 采用基於模塊權重的統一交易規模規則：
  • 一級交易： 規模 1（所有股票）。
  • 二級交易： 規模 2（所有具有二級級別的股票，應用於所有二級交易，而不僅僅是變化時）。
  • 無二級（例如 Ticker A）： 所有交易規模為 1（或 1.5 以平衡敞口）。
• 原因： 反映了模塊的邏輯（二級交易權重為 2，一級為 1），確保與勝率貢獻的一致性。消除了“二級變化”觸發器，降低了可變性並簡化了資本規劃。使效率具有可比性：Ticker A 的每單位（規模 1 或 1.5）回報與 Ticker B 的（一級為 1，二級為 2）回報進行比較。
• 示例：
  • Ticker A：10 筆一級交易，規模為 1 = 10 個單位。
  • Ticker B：8 筆一級交易，規模為 1 + 4 筆二級交易，規模為 2 = 8 + 8 = 16 個單位。
  • 標準化效率：利潤 / 總單位（A：利潤/10，B：利潤/16）。

2. 限製每隻股票的資本

• 當前問題： Ticker A 的規模 3 交易消耗更多資本，而 B 的可變規模使分配不可預測。
• 解決方案： 設定每隻股票每期的最大資本分配（例如，生產資本的 10%）。
• 示例： 基金 = 100 萬美元，70% 用於生產 = 70 萬美元，每隻股票 10% = 7 萬美元。
  • Ticker A：7 萬美元 / 每筆交易 1 千美元（規模 1）= 最多 70 筆交易。
  • Ticker B：7 萬美元 /（1 千美元一級 + 2 千美元二級）= 例如，50 筆一級 + 10 筆二級 = 7 萬美元。
• 原因： 確保資本在不同股票之間均勻分配，防止 A 過度分配。限製 B 因二級交易引起的敞口峰值，與保證金後備需求保持一致。簡化效率：比較每隻股票 7 萬美元上限內的回報。
• 風險管理： 使用模塊中的 max_consecutivelose 來估計上限內的潛在損失（例如，5 筆連續虧損，規模為 1 = 5 千美元風險）。根據投資組合波動性調整儲備保證金後備（例如，20% = 20 萬美元）。

3. 標準化基金效率指標

• 當前問題： 可變的交易規模和二級級別的存在使得難以比較效率。
• 解決方案： 使用每單位資本的回報作為主要的效率指標：
  • 對於每隻股票： 利潤 / (一級交易 * 規模 1 + 二級交易 * 規模 2)。
• 示例：
  • Ticker A 利潤 = 5 千美元，10 筆交易，規模為 1 → 5 千美元 / 10 = 每單位 500 美元。
  • Ticker B 利潤 = 8 千美元，8 筆一級，規模為 1 + 4 筆二級，規模為 2 = 16 個單位 → 8 千美元 / 16 = 每單位 500 美元。
• 原因： 標準化了交易規模差異，實現了直接比較。考慮了二級交易的更高貢獻（規模 2），而無需複雜的調整。可以聚合到投資組合層麵：總利潤 / 總分配單位。
• 夏普比率： 計算股票層麵的夏普比率：（每單位回報 - 無風險利率）/ 每單位波動率。每單位波動率：按交易規模標準化的回報標準差。通過按分配的資本權重股票來聚合到投資組合夏普比率（例如，每隻股票 7 萬美元）。

4. 與生產和保證金後備對齊

• 當前問題： 二級交易和較大規模的交易會擠壓生產資本和保證金儲備。
• 解決方案： 根據風險和效率設定生產和保證金百分比：
  • 生產資本： 將 70%（100 萬美元中的 70 萬美元）分配給交易，在不同股票之間平均分配（例如，10 隻股票 = 每隻 7 萬美元）。
  • 保證金後備： 儲備 20%（20 萬美元）用於彌補回撤，其中 10%（10 萬美元）作為新機會的緩衝。
  • 根據股票風險進行調整： 使用模塊中的 max_consecutivelose 和勝率來估計每隻股票的最大回撤（例如，5 筆連續虧損，規模為 1 = 5 千美元風險）。確保 20 萬美元足以覆蓋所有股票的風險。
• 原因： 限製生產資本以防止過度分配（例如，Ticker A 的規模 3 交易）。確保保證金後備足以覆蓋最壞情況的損失，尤其是 B 的二級交易。簡化計劃：每隻股票都在 7 萬美元內運作，並有儲備應對波動性。
• 動態調整： 每周/每月根據效率重新分配生產資本（例如，如果 Ticker B 的每單位回報更高，則轉移 1 萬美元）。如果二級交易增加了投資組合波動性（例如，由於頻繁的二級變化），則增加保證金後備。

5. 監控二級影響

• 當前問題： 二級級別提高勝率，但使風險和效率複雜化。
• 解決方案： 記錄二級級別對評估其價值的貢獻：跟蹤每隻股票的一級交易和二級交易的勝率、利潤和損失。
• 示例： Ticker B：一級勝率 = 80%，二級勝率 = 82%，二級交易 = 總交易的 20%。如果二級交易持續優於一級交易（例如，更高的勝率或每單位利潤），則證明其規模 2 的分配是合理的。如果二級交易增加了波動性而沒有提高效率，則考慮限製二級交易（例如，最多占股票總交易的 20%）。
• 原因： 量化了二級的收益，有助於判斷複雜性是否值得。為風險管理提供信息：較高的二級勝率支持較大的規模，但較高的方差可能需要更多的保證金後備。

投資組合示例

讓我們模擬一個簡化的投資組合來說明：

• 基金：100 萬美元，70% 生產（70 萬美元），20% 保證金後備（20 萬美元），10% 緩衝（10 萬美元）。
• 股票：A（無二級），B（有二級），8 隻其他股票（每隻 7 萬美元）。

歡迎批評指正，任何建議，批評都非常感謝。二級聚類 是在下研究結果。