バックテスト

バックテスト（英: backtesting）とは、投資戦略や売買ルールなどを過去の市場データに適用し、その戦略を過去に実行していた場合にどのような結果になったかを検証する方法である。特に、システムトレードやアルゴリズム取引など、あらかじめ定めた規則に従って売買を行う投資戦略の評価に用いられる。

バックテストでは、株価、為替レート、出来高などの過去のデータを用いて仮想的な売買を行い、収益、損失、リスク、最大ドローダウンなどを調べる。CFA Instituteは、バックテストの主な目的を、実際の投資過程を模した検証によって、投資戦略のリスクとリターンの関係を把握することとしている。

概要

投資戦略を実際の市場で運用する前に、その戦略が過去の市場環境でどのように機能したかを調べることは、戦略を評価する方法の一つである。

例えば、「株価が移動平均線を上回ったら買い、下回ったら売る」という売買ルールを考える。このルールを過去の株価データに適用して仮想的な売買を繰り返すことで、過去の期間における損益やリスクなどを調べることができる。

ただし、バックテストで良好な結果が得られたからといって、将来も同じ結果が得られるとは限らない。過去のデータに含まれる偶然の値動きに戦略が適合してしまったり、過去のデータに合わせて売買ルールを調整しすぎたりすると、実際の市場では期待した性能を発揮できないことがある。

方法

バックテストでは、まず検証する投資戦略の目的と売買ルールを定める。その後、検証期間の市場データを用いて、そのルールに従った仮想的な売買を行い、得られた結果から戦略の収益性やリスクを評価する。

CFA Instituteが示すローリングウィンドウ方式のバックテストでは、投資戦略の仮説や目的を定め、売買ルールを決めた上で、そのルールに従ってポートフォリオを構築し、一定期間ごとに組み替えながら、戦略のパフォーマンスとリスクを記録する。

バックテストでは、例えば次のような指標が用いられる。

総利益・総損失累積リターン勝率最大ドローダウンボラティリティシャープレシオ売買回数取引コストを考慮した損益

利益の大きさだけでなく、それを得るためにどの程度のリスクを負っていたかを併せて評価することが重要である。

実際の運用との違い

バックテストは、実際に資金を投入して売買することではなく、過去の市場データを使って当時の売買を仮想的に再現するものである。そのため、実際の運用で発生するすべての状況を再現できるわけではない。

例えば、実際の取引では次のような要因が結果に影響する。

売買手数料売買価格の差（スプレッド）注文が希望した価格で成立しないこと市場の流動性大量の注文による市場価格への影響税金などの費用

また、過去の市場環境が将来も繰り返されるとは限らない。CFA Institute Research Foundationは、金融市場の環境や投資家の行動が変化する可能性があるため、投資モデルの検証では過去のデータだけでなく、モデルが異なる市場環境に対してどの程度頑健であるかを考慮する必要があるとしている。

過剰適合

バックテストにおける代表的な問題の一つに、過剰適合（オーバーフィッティング）がある。

過剰適合とは、過去の市場データに対して売買ルールやパラメータを何度も調整した結果、そのデータに過度に適合してしまうことである。

例えば、ある売買システムについて、移動平均の期間や損切り幅などを多数の組み合わせで試し、その中で最も利益が大きかった設定を採用するとする。この場合、その設定が市場に存在する普遍的な特徴を捉えているとは限らず、単に過去のデータに含まれていた偶然の値動きに適合しただけである可能性がある。

David H. Baileyらは、投資戦略について多数の選択肢を試すことで、過去のデータ上では非常に良好な結果を示す戦略が偶然見つかる可能性があることを指摘し、バックテストの結果を評価する際には、戦略の設計に使用していないデータによる検証が重要であるとしている。

アウト・オブ・サンプル検証

過剰適合の影響を調べる方法の一つに、アウト・オブ・サンプル（out-of-sample）検証がある。

これは、売買ルールやパラメータの決定に使用したデータとは別の期間のデータを使って、戦略の性能を検証する方法である。

例えば、2000年から2015年までのデータを戦略の開発に使用し、2016年から2020年までのデータを開発には使用せず、最終的な検証にのみ使用する方法がある。

戦略の開発に使用していない期間でも良好な結果が得られれば、過去のデータに単純に合わせ込んだだけでは説明できない可能性が高くなる。

ただし、アウト・オブ・サンプル検証を行えば過剰適合の問題が完全になくなるわけではない。複数の戦略を試した後に、その中から都合のよい結果だけを選ぶ場合などには、検証そのものが過去のデータに依存する可能性がある。

ローリングウィンドウ方式

ローリングウィンドウ方式（rolling-window backtesting）またはウォークフォワード方式（walk-forward approach）は、過去の一定期間を使って戦略やパラメータを調整し、その直後の期間で性能を検証する方法である。

例えば、過去5年間のデータを使って戦略を調整し、その次の1年間で検証する。その後、対象期間を前にずらして同じ作業を繰り返す。

この方法では、その時点より前の情報だけを使って次の期間を検証するため、実際の運用に近い形で戦略を評価できる。CFA Instituteは、ローリングウィンドウ方式を、実際の投資過程を模したバックテストの方法として説明している。

バックテストにおけるバイアス

バックテストでは、過去のデータを扱う方法によって結果に偏りが生じることがある。

先読みバイアス

先読みバイアス（look-ahead bias）とは、戦略を実行する時点ではまだ知ることのできなかった情報を、誤って利用してしまうことである。

例えば、ある日の売買判断を行う際に、その日の取引終了後に発表された情報を利用してしまうと、実際の取引では利用できない情報を使って検証することになる。

CFA Instituteは、過去の市場データを利用する際の代表的な問題として、先読みバイアスを挙げている。

生存者バイアス

生存者バイアス（survivorship bias）とは、現在まで存続している企業や銘柄だけを対象として過去の成績を調べることで生じる偏りである。

例えば、過去に上場していたものの倒産や上場廃止、合併などによって現在は存在しない企業をデータから除外すると、実際には投資対象となっていた企業の一部が検証から抜け落ちることになる。その結果、過去の運用成績が実際より良く見える場合がある。

CFA Instituteは、投資戦略のバックテストにおいて、現在は存在しない企業をデータから除外することが生存者バイアスにつながるとしている。

取引コスト

バックテストで売買手数料、スプレッド、価格への影響などを適切に考慮しない場合、実際よりも高い収益が得られるように見えることがある。

特に短期間で多数の売買を行う戦略では、取引に伴う費用が収益性に大きく影響する場合がある。そのため、実際の運用を想定したバックテストでは、可能な限り現実的な取引コストを設定する必要がある。

また、使用する市場データそのものに誤りや欠落がある場合も、検証結果に影響する。CFA Institute Research Foundationは、バックテストに使用するデータの品質や正確性が重要であり、欠損値、重複値、誤った値などを確認する必要があるとしている。

評価

バックテストでは、単純に利益が大きかったかどうかだけではなく、どの程度のリスクを負ってその利益を得たのかを評価する必要がある。

例えば、同じ利益を得た二つの投資戦略があっても、一方が小さな値動きの中で利益を得たのに対し、もう一方が途中で資産の大部分を失うほどの大きな損失を経験していた場合、両者のリスクは大きく異なる。

そのため、収益率だけでなく、最大ドローダウン、ボラティリティ、シャープレシオなど複数の指標を用いて評価することが一般的である。

限界

バックテストは過去の市場環境を利用した検証であり、将来の利益を保証するものではない。

過去の市場には、その時点特有の金利、経済状況、制度、市場参加者の行動などが存在する。また、金融市場の状態は時間とともに変化するため、過去に確認されたパターンが将来も同じように続くとは限らない。

CFA Instituteは、過去のデータだけでは将来起こり得るすべての市場環境を十分に表現できない可能性があるため、バックテストだけでなく、歴史的なストレス環境を用いたシナリオ分析や、仮想的な条件を用いるシミュレーションなどを組み合わせることが有用だとしている。

したがって、バックテストは投資戦略を評価するための重要な手段の一つではあるが、その結果だけを根拠として将来の収益性を判断することには限界がある。

バックテスト

Źródło i licencja