取引回数が少ないバックテストを信用してはいけない理由 — 28回のPF5.5より631回のPF1.5
取引回数が少ないバックテストを信用してはいけない理由
EAのバックテストを見るとき、多くの人が最初にプロフィットファクターや年利を見ます。しかし、その数字を信じてよいかどうかを決めるのは、取引回数です。取引回数が少なければ、どんなに派手なプロフィットファクターも、単なる偶然かもしれません。
PF5.56でも取引28回なら、それは運かもしれない
具体例で考えます。あるビットコインのD1(日足)トレンドEAは、8年間の実ティック検証でこういう数字でした。
- プロフィットファクター 5.56
- 最大ドローダウン わずか3.2%
- 取引回数 28回
PF5.56は素晴らしい数字です。多くの人はここで飛びつきます。しかし、8年間でたった28回という取引回数を見た瞬間に、評価は一変します。年に3〜4回しか取引しないなら、そのうち数回が大勝ちしただけで、全体の数字は劇的に良く見えます。28回のうち3回が偶然の大勝ちだったら? その3回を除くと、エッジは消えるかもしれません。
一方、あるUSDJPYのトレンドEAは、9.4年で631回の取引、プロフィットファクター1.50、勝率34.5%。PFは地味ですが、631回という回数は、その1.50が偶然ではないことを強く示唆します。631回のうち数回を除いても、結果はほとんど変わりません。
地味だが取引回数の多いPF1.5は、派手だが取引回数の少ないPF5.5より、はるかに信頼できる。
なぜ回数が効くのか — コイン投げの例
コインを3回投げて3回表が出たら、「このコインは表が出やすい」と言えるでしょうか。言えません。3回連続は、普通のコインでも8分の1の確率で起きます。
同じことがEAでも起きます。取引回数が少ないと、「たまたま良い相場に当たっただけ」と「本物のエッジ」を区別できません。回数が増えるほど、偶然では説明できなくなり、数字が本物である確率が上がります。統計ではこれを「サンプルサイズ」と呼びます。
目安:どれくらいあれば信用できるか
厳密な閾値はありませんが、実務的な目安は次の通りです。
| 取引回数 | 評価 |
|---|---|
| 〜30回 | 統計的にほぼ無意味。偶然と区別できない |
| 30〜100回 | 参考程度。方向性は見えるが結論は出せない |
| 100〜500回 | 一定の信頼性。ただし相場局面の偏りに注意 |
| 500回以上 | 統計的に意味のある水準。複数の相場を通過している |
さらに重要なのは、検証期間と組み合わせて見ることです。500回の取引が1年に集中しているなら、それは1つの相場局面しか見ていません。500回以上が、リーマン・コロナ・利上げ局面など複数のレジームにまたがっているとき、はじめて頑健と言えます。
少ない取引回数を隠すトリック
販売ページは、取引回数の少なさを隠すためにいくつかの手を使います。
- 複利で純益額を膨らませる:「+5,000%」のような数字は、取引回数ではなく複利の掛け算で作られます。回数が少なくても純益額は巨大に見せられる。
- プロフィットファクターだけを大きく見せる:PF5.56(28回)のように、回数を書かずにPFだけ強調する。
- 年利だけを出す:年利は取引回数を隠すのに便利です。
だから、バックテストを見るときは必ず取引回数を探してください。書いていなければ、それ自体が警告です。
自分で確かめる
私たちの無料EA(クローズドバーのDonchianブレイクアウト)は、ソース公開・実ティック検証済みで、USDJPY H1で631回の取引実績があります。バックテストを走らせれば、取引回数・プロフィットファクター・年別損益をすべて自分の目で確認できます。「回数が多く、複数の相場を通過している」EAが、統計的にどう見えるかの実例として使えます。
Donchian Trend Engine(無料EA)の詳細
有料製品も同じ基準で、全製品の取引回数・検証期間・実データを公開しています。取引回数が数十回しかない製品は、たとえPFが高くても主力には置きません。
まとめ
- バックテストの信頼性は**取引回数(サンプルサイズ)**で決まる
- 28回のPF5.56より、631回のPF1.50のほうが信頼できる
- 目安は500回以上かつ複数のレジームを通過していること
- 複利・PF単独・年利は、少ない取引回数を隠すのに使われる
- 取引回数が書いていないバックテストは疑う
関連記事:MT5バックテストレポートの読み方・同じEAが実ティックとOHLCで正反対の結果になる理由・カーブフィッティングの見分け方
関連記事
📧 5日間メール講座(無料)
FX自動売買の本質、バックテストの正しい見方、ブローカー選びのコツを毎日1通お届けします。
※ プライバシーは厳守。配信解除はいつでも可能です。