Kenapa Jangan Percaya Backtest dengan Transaksi Sedikit

Alasan Mengapa Anda Tidak Boleh Percaya Backtest dengan Jumlah Transaksi Sedikit

Saat melihat backtest sebuah EA, kebanyakan orang pertama-tama melihat profit factor atau imbal hasil tahunan. Namun, yang menentukan apakah angka tersebut layak dipercaya adalah jumlah transaksi. Jika jumlah transaksinya sedikit, sehebat apa pun profit factor yang ditampilkan, itu bisa jadi hanya kebetulan.

PF5.56 dengan 28 Kali Transaksi Bisa Jadi Hanya Keberuntungan

Mari kita lihat contoh konkret. Sebuah EA tren Bitcoin D1 (timeframe harian) menunjukkan angka berikut dalam verifikasi tick riil selama 8 tahun.

• Profit factor 5.56
• Drawdown maksimum hanya 3.2%
• Jumlah transaksi 28 kali

PF5.56 adalah angka yang luar biasa. Banyak orang akan langsung tertarik. Namun, begitu melihat jumlah transaksi yang hanya 28 kali dalam 8 tahun, penilaian pun berubah drastis. Jika hanya bertransaksi 3-4 kali per tahun, maka beberapa kali kemenangan besar saja sudah cukup membuat angka keseluruhan terlihat sangat bagus. Bagaimana jika 3 dari 28 transaksi tersebut adalah kemenangan besar yang kebetulan? Jika ketiga transaksi itu dikeluarkan, keunggulan (edge) sistem bisa saja hilang.

Sebaliknya, sebuah EA tren USDJPY mencatat 631 kali transaksi dalam 9.4 tahun, dengan profit factor 1.50 dan win rate 34.5%. PF-nya memang tidak mencolok, tetapi jumlah 631 kali transaksi ini sangat menunjukkan bahwa angka 1.50 tersebut bukan kebetulan. Bahkan jika beberapa transaksi dari 631 kali itu dikeluarkan, hasilnya hampir tidak berubah.

Mengapa Jumlah Transaksi Begitu Penting — Contoh Lempar Koin

Jika Anda melempar koin 3 kali dan semuanya muncul sisi gambar, apakah bisa dikatakan "koin ini cenderung menghasilkan sisi gambar"? Tidak bisa. Tiga kali berturut-turut bisa terjadi dengan probabilitas 1 banding 8 bahkan pada koin normal.

Hal yang sama terjadi pada EA. Jika jumlah transaksi sedikit, kita tidak bisa membedakan antara "kebetulan bertepatan dengan kondisi pasar yang bagus" dan "edge yang sesungguhnya". Semakin banyak jumlah transaksi, semakin sulit dijelaskan oleh kebetulan, dan semakin tinggi probabilitas bahwa angka tersebut memang nyata. Dalam statistik, ini disebut "ukuran sampel" (sample size).

Patokan: Berapa Jumlah yang Bisa Dipercaya

Tidak ada ambang batas yang ketat, tetapi berikut adalah patokan praktisnya.

Yang lebih penting lagi adalah melihatnya bersama dengan periode verifikasi. Jika 500 kali transaksi terkonsentrasi dalam 1 tahun saja, itu berarti hanya melewati satu kondisi pasar tertentu. EA baru bisa dikatakan tangguh (robust) ketika 500 kali transaksi atau lebih tersebut mencakup berbagai rezim pasar, seperti krisis Lehman, pandemi Covid, dan periode kenaikan suku bunga.

Trik untuk Menyembunyikan Jumlah Transaksi yang Sedikit

Halaman penjualan sering menggunakan beberapa trik untuk menyembunyikan sedikitnya jumlah transaksi.

• Menggelembungkan nominal profit bersih dengan bunga berbunga (compounding): Angka seperti "+5.000%" dibuat bukan dari jumlah transaksi, melainkan dari perkalian bunga berbunga. Meskipun jumlah transaksinya sedikit, nominal profit bersih bisa terlihat sangat besar.
• Hanya menonjolkan profit factor: Seperti PF5.56 (28 kali transaksi), hanya PF yang ditonjolkan tanpa mencantumkan jumlah transaksi.
• Hanya menampilkan imbal hasil tahunan: Imbal hasil tahunan sangat praktis untuk menyembunyikan jumlah transaksi.

Oleh karena itu, saat melihat sebuah backtest, pastikan Anda selalu mencari jumlah transaksinya. Jika tidak dicantumkan, itu sendiri sudah menjadi tanda peringatan.

Buktikan Sendiri

EA gratis kami (Donchian breakout dengan closed bar), yang sumber kodenya terbuka dan telah diverifikasi dengan tick riil, memiliki rekam jejak 631 kali transaksi pada USDJPY H1. Dengan menjalankan backtest sendiri, Anda bisa memeriksa langsung jumlah transaksi, profit factor, dan laba-rugi per tahun. Ini bisa dijadikan contoh nyata bagaimana tampilan statistik sebuah EA yang "jumlah transaksinya banyak dan telah melewati berbagai kondisi pasar".

Detail Donchian Trend Engine (EA gratis)

Produk berbayar kami juga menggunakan standar yang sama, dengan mempublikasikan jumlah transaksi, periode verifikasi, dan data riil semua produk. Produk dengan jumlah transaksi hanya puluhan kali tidak kami jadikan produk andalan, meskipun PF-nya tinggi.

Kesimpulan

• Keandalan backtest ditentukan oleh jumlah transaksi (ukuran sampel)
• PF1.50 dengan 631 kali transaksi lebih bisa dipercaya daripada PF5.56 dengan 28 kali transaksi
• Patokannya adalah 500 kali transaksi ke atas dan telah melewati berbagai rezim pasar
• Bunga berbunga, PF tunggal, dan imbal hasil tahunan sering digunakan untuk menyembunyikan sedikitnya jumlah transaksi
• Curigai backtest yang tidak mencantumkan jumlah transaksi

Artikel terkait: Cara Membaca Laporan Backtest MT5 · Alasan Mengapa EA yang Sama Bisa Menghasilkan Hasil yang Berlawanan antara Tick Riil dan OHLC · Cara Mengenali Curve Fitting