取引回数が少ないバックテストを信用してはいけない理由

EAのバックテストを見るとき、多くの人が最初にプロフィットファクターや年利を見ます。しかし、その数字を信じてよいかどうかを決めるのは、取引回数です。取引回数が少なければ、どんなに派手なプロフィットファクターも、単なる偶然かもしれません。

PF5.56でも取引28回なら、それは運かもしれない

具体例で考えます。あるビットコインのD1（日足）トレンドEAは、8年間の実ティック検証でこういう数字でした。

• プロフィットファクター 5.56
• 最大ドローダウン わずか3.2%
• 取引回数 28回

PF5.56は素晴らしい数字です。多くの人はここで飛びつきます。しかし、8年間でたった28回という取引回数を見た瞬間に、評価は一変します。年に3〜4回しか取引しないなら、そのうち数回が大勝ちしただけで、全体の数字は劇的に良く見えます。28回のうち3回が偶然の大勝ちだったら？ その3回を除くと、エッジは消えるかもしれません。

一方、あるUSDJPYのトレンドEAは、9.4年で631回の取引、プロフィットファクター1.50、勝率34.5%。PFは地味ですが、631回という回数は、その1.50が偶然ではないことを強く示唆します。631回のうち数回を除いても、結果はほとんど変わりません。

なぜ回数が効くのか — コイン投げの例

コインを3回投げて3回表が出たら、「このコインは表が出やすい」と言えるでしょうか。言えません。3回連続は、普通のコインでも8分の1の確率で起きます。

同じことがEAでも起きます。取引回数が少ないと、「たまたま良い相場に当たっただけ」と「本物のエッジ」を区別できません。回数が増えるほど、偶然では説明できなくなり、数字が本物である確率が上がります。統計ではこれを「サンプルサイズ」と呼びます。

目安：どれくらいあれば信用できるか

厳密な閾値はありませんが、実務的な目安は次の通りです。

さらに重要なのは、検証期間と組み合わせて見ることです。500回の取引が1年に集中しているなら、それは1つの相場局面しか見ていません。500回以上が、リーマン・コロナ・利上げ局面など複数のレジームにまたがっているとき、はじめて頑健と言えます。

少ない取引回数を隠すトリック

販売ページは、取引回数の少なさを隠すためにいくつかの手を使います。

• 複利で純益額を膨らませる：「+5,000%」のような数字は、取引回数ではなく複利の掛け算で作られます。回数が少なくても純益額は巨大に見せられる。
• プロフィットファクターだけを大きく見せる：PF5.56（28回）のように、回数を書かずにPFだけ強調する。
• 年利だけを出す：年利は取引回数を隠すのに便利です。

だから、バックテストを見るときは必ず取引回数を探してください。書いていなければ、それ自体が警告です。

自分で確かめる

私たちの無料EA（クローズドバーのDonchianブレイクアウト）は、ソース公開・実ティック検証済みで、USDJPY H1で631回の取引実績があります。バックテストを走らせれば、取引回数・プロフィットファクター・年別損益をすべて自分の目で確認できます。「回数が多く、複数の相場を通過している」EAが、統計的にどう見えるかの実例として使えます。

Donchian Trend Engine（無料EA）の詳細

有料製品も同じ基準で、全製品の取引回数・検証期間・実データを公開しています。取引回数が数十回しかない製品は、たとえPFが高くても主力には置きません。

まとめ

• バックテストの信頼性は**取引回数（サンプルサイズ）**で決まる
• 28回のPF5.56より、631回のPF1.50のほうが信頼できる
• 目安は500回以上かつ複数のレジームを通過していること
• 複利・PF単独・年利は、少ない取引回数を隠すのに使われる
• 取引回数が書いていないバックテストは疑う

関連記事：MT5バックテストレポートの読み方・同じEAが実ティックとOHLCで正反対の結果になる理由・カーブフィッティングの見分け方