AIの投資スコアは信用できる？バイアスに惑わされないためのチェックリスト
1. どんな論文？
本論文は、金融 AI の成績が「先読み」「生存者」など 5 つのバイアス（五つの罪）で歪んでいると指摘するポジションペーパー（立場表明論文）です。着目点は「スコアが何点か」ではなく「その実験が成立しているか」。合否で答える 12 項目のチェックリストを提案しています。
2. 「年率〇〇%」の数字は、何と比べた数字なのか
「AI が選んだ日本株ポートフォリオ、バックテストで年率〇〇%」。こうした宣伝文句を見たとき、私たちはつい数字の大きさに目を向けます。けれど本当に確かめるべきは、その数字を何と比べているのかという一点かもしれません。カンニングをしたまま受けた模擬試験は、点数が何点であっても意味を持ちません。そして仮にカンニングが無かったとしても、クラス全員が解ける問題で平均点を取ったのなら、それは実力の証明にはならないからです。
3. 論文の解説
この論文は University of Oxford や BlackRock など 10 名からなる研究チームによるもので、AI 分野の最高峰の国際会議 ICML 2026 に採択されています。
どんな問題意識から出発したか
金融分野の AI 論文は 2023 年の 36 本から 2025 年の 250 本へ、およそ 6.9 倍に増えました。ところが著者らが主要会議の論文 164 本を 1 本ずつ数え上げたところ、上場廃止になった企業の扱い（生存者バイアス）に触れていた論文はわずか 2 本（1.2%）でした。スコアは伸びているのに、それが何を測っているかを点検した研究がほとんどない ―― これが出発点です。
何を「罪」と呼んだか
著者らは金融 AI の評価を歪める落とし穴を「五つの罪」として整理しました。
- 先読みバイアス : 検証している時点ではまだ起きていない未来の情報が、こっそり混じってしまうこと
- 生存者バイアス : 生き残った企業だけを見て、途中で上場廃止になった企業を数えないこと
- ナラティブバイアス : 証拠が足りないのに、AI が筋の通った因果の物語を作ってしまうこと
- 目的関数バイアス : 「わからない」より「自信ありげな答え」の方が得をする仕組みになっていること
- コストバイアス : 手数料・AI の利用料・応答の遅れを数えずに成績を出すこと
なぜ「程度」ではなく「合否」なのか
この論文の新奇性は、バイアスを「スコアの誤差」ではなく「測っている対象がすり替わる事故」として定義し直したところにあります。2018 年の株価を予測させるとき、モデルの中に 2020 年のコロナショックの記憶があれば、その実験は予測能力ではなく「未来を知っている人が過去を当てる力」を測っています。そのため著者らは、「点数」ではなく「成立するかしないか」で測る二値の判定を採りました。1 項目でも落ちれば実運用の主張には使えない、という強い縛りです。
常識的な対策が効かない理由にも言及
注意喚起リストで終わらせないために、著者らは各バイアスについて「よく取られる対策」と「なぜそれが失敗するか」を並べて書いています。たとえば先読みバイアスの定番対策である「AI の学習の締め切り日を宣言する」は、締め切り日を外から検証できないため効きません。宣言ではなく証拠を出せ、という要求がこの枠組みの背骨です。
五つの罪の詳細メカニズム
論文では各バイアスの発生経路をより深く分析しています。例えば先読みバイアスについては、モデルの重みに未来の知識が漏れる「Parametric Knowledge Leakage」と、RAG（検索拡張生成）などの外部知識取得時に未来の事象が混入する「External Knowledge Leakage」の2つに分解しています。とくにRAGにおいて、Web上の記事は公開日を保ったまま後から内容が更新されることがあり、単純な日付フィルタでは防げないと指摘しています。
また、ナラティブバイアスを防ぐための機構として、企業名などの固有名詞だけを架空のものに差し替えて、それでも同じ因果関係を出力するかを確認する 実体置換テスト（Entity Substitution Test） や、無意味な入力に対して断定的なストーリーを生成しないかを確認する 陰性対照（Negative Control） の実施を求めています。
実務家はどう感じているか
文献だけを見ると「研究者が怠けている」という話になりかねません。そこで著者らは実務家・研究者 112 名に調査を配り、完答した 50 名の回答を突き合わせました。すると 74% が「すぐ使える評価ツールは乏しいか存在しない」と答え、50% が「評価ツールやフレームワークの欠如」を最大のボトルネックに挙げています。問題は意識だけでなく、診断する道具が無いことにもありそうです。
4. 思ったこと
- 極めて重要度の高い観点: 金融 AI に限らず、この論文で指摘されているようなバイアスの検証は、AI 開発において極めて重要度の高い観点であると認識しました。同様の議論が広がり、より厳しく現実的な条件で AI 技術の検証が行われるようになって欲しいです。
- ハルシネーションとの明確な切り分け: 著者らは「ハルシネーションは局所的で修正可能だが、バイアスは検証の根底を歪める構造的欠陥である」と述べており、バイアスをハルシネーションと直交する失敗モードとして切り分けています。あくまで概念的な話であり、現実に両者を分離するのは難しいですが、バイアスに対処する必要性を主張しているのは特筆すべき点です。
- 日本市場への示唆: 私たちが目にする「日経225や TOPIX 構成銘柄でのバックテスト結果」も、途中で上場廃止になったり買収されたりして消えた企業が含まれていなければ、成績が構造的に水増しされます（生存者バイアス）。読む側としては、「退場した銘柄は含まれていますか」といったチェックを行わなければいけませんね。
5. 検証してみました
論文のチェックリスト、私も日本株で簡易的に試してみました。素朴な予測 AI を 1 つ作り、検査を順に通していきます。
結果は、5 つの検査のうち合格 1・不合格 3・該当なし 1 でした。
まず、何を解かせたのかを並べておきます。以降の割合はすべてこの 2 つの一覧が分母です。ひとつめはマクロ指標で、その日の相場を数字で渡して 21 営業日後（およそ 1 か月後）の TOPIX を当てさせました。
| # | 判断日 | その日の相場 | 21営業日後の実際 |
|---|---|---|---|
| 1 | 2020年4月22日 | VIX 42.0 / USD/JPY 107.7 | 上昇 +10.61% |
| 2 | 2020年5月27日 | VIX 27.6 / USD/JPY 107.5 | 横ばい +0.00% |
| 3 | 2020年6月25日 | VIX 32.2 / USD/JPY 107.0 | 下落 -1.80% |
| 4 | 2020年12月29日 | VIX 23.1 / USD/JPY 103.7 | 上昇 +2.35% |
| 5 | 2021年3月4日 | VIX 28.6 / USD/JPY 107.1 | 上昇 +4.61% |
| 6 | 2021年4月2日 | VIX 17.3 / USD/JPY 110.6 | 下落 -1.58% |
| 7 | 2021年7月6日 | VIX 16.4 / USD/JPY 110.9 | 横ばい -0.07% |
| 8 | 2022年6月17日 | VIX 31.1 / USD/JPY 132.4 | 上昇 +7.01% |
| 9 | 2022年9月16日 | VIX 26.3 / USD/JPY 143.4 | 下落 -3.35% |
| 10 | 2022年10月20日 | VIX 30.0 / USD/JPY 149.8 | 上昇 +5.99% |
| 11 | 2023年1月24日 | VIX 19.2 / USD/JPY 130.6 | 横ばい +0.39% |
| 12 | 2024年9月5日 | VIX 19.9 / USD/JPY 143.3 | 上昇 +4.23% |
| 13 | 2025年10月21日 | VIX 17.9 / USD/JPY 150.8 | 上昇 +0.96% |
| 14 | 2026年3月30日 | VIX 30.6 / USD/JPY 160.2 | 上昇 +6.56% |
| 15 | 2026年4月28日 | VIX 17.8 / USD/JPY 159.4 | 上昇 +7.22% |
ふたつめは市場ニュースで、その日の見出しと本文を渡し、5 営業日後の TOPIX を当てさせています。
| # | 発表日 | ニュースの見出し | 5営業日後の実際 |
|---|---|---|---|
| 1 | 2020年4月3日 | 米3月雇用統計：非農業部門雇用者数70.1万人減 | 上昇 +2.15% |
| 2 | 2020年4月29日 | 米1-3月期GDP速報値、4.8%減 | 上昇 +0.87% |
| 3 | 2020年5月8日 | 米中対立の先鋭化懸念が後退 | 下落 -1.44% |
| 4 | 2020年12月22日 | 米第3四半期GDP確定値、33.4%増へ上方修正 | 上昇 +2.24% |
| 5 | 2021年1月28日 | 米10-12月期実質GDP速報値は年率4.0%増 | 上昇 +4.54% |
| 6 | 2021年3月10日 | 米2月消費者物価指数、前年同月比1.7%上昇 | 上昇 +4.34% |
| 7 | 2021年4月8日 | パウエルFRB議長、物価上昇は「一時的」 | 横ばい +0.07% |
| 8 | 2021年8月6日 | 米7月雇用統計は94.3万人増と大幅上振れ | 下落 -1.07% |
| 9 | 2022年7月1日 | 日銀短観、大企業製造業の景況感は2四半期連続悪化 | 上昇 +2.40% |
| 10 | 2022年9月14日 | 日銀、為替の「レートチェック」を実施との報道 | 下落 -4.42% |
| 11 | 2023年1月6日 | 米12月雇用統計、非農業部門雇用者数は22.3万人増 | 上昇 +1.17% |
| 12 | 2024年5月27日 | 内田日銀副総裁、「金利のある世界」への移行に自信 | 上昇 +0.69% |
| 13 | 2025年6月3日 | 田村日銀審議委員、福島県金融経済懇談会で挨拶 | 横ばい +0.13% |
| 14 | 2025年11月13日 | 米国10月消費者物価指数：政府閉鎖により発表中止 | 下落 -1.85% |
| 15 | 2026年5月8日 | FRB金融安定報告、地政学リスクを最大の脅威に | 横ばい -0.38% |
この 15 + 15 件を、条件を変えて解かせました。ケースおよび条件ごとの結果をまとめると次の図になります。
左がマクロ指標 15 件×8 条件、右が市場ニュース 15 件×4 条件です。○が的中、×が外し、△が「わからない」、－は正解が存在しない検査用の入力です。
成績を紐解いていきます。日付も見せた素直な条件で、的中率は 26.7% (4/15)。この数字を、頭を使わない 2 つの戦略 —— でたらめに 3 択を選ぶ／中身を読まずに常に「上昇」と答え続ける —— と並べてみます。
| 条件 | AI の的中率 | でたらめに答えた場合 | 常に「上昇」と答えた場合 |
|---|---|---|---|
| マクロ指標＋日付あり | 26.7% (4/15) | 33.3% | 60.0% (9/15) |
| マクロ指標＋日付なし | 20.0% (3/15) | 33.3% | 60.0% (9/15) |
| 市場ニュース | 33.3% (5/15) | 33.3% | 53.3% (8/15) |
水色が AI、灰色がでたらめ、赤が「常に上昇」です（各条件 15 件、棄権を除いた回答が分母）。
マクロ指標の正解は 上昇 9 / 横ばい 3 / 下落 3 と上昇に寄っており、中身を読まずに「上昇」と言い続けるだけで 60.0% 当たる土俵でした。そこで 26.7% ということは、この AI は地合いの方向すら掴めていません（15 回のうち 9 回は「下落」と答えていました）。
裏を返すと、「上昇相場である」ことを暗黙的に考慮に入れて学習した AI が多くのケースで上昇を予測すると、精度は非常に高く計算されてしまいます。論文が問題にしているのもこの点で、 実験条件や比較対象の置き方ひとつで、見かけ上の性能は大きく変わってしまう のです。
検査1: 未来を知らずに答えているか
使ったデータ: マクロ指標 15 件（日付あり・日付なし・時点当ての 3 条件）
AI が答えを出す時点で、まだ誰も知らないはずの未来を手がかりにしていないかを見る検査です。調べ方は、問題文から日付を消して指標の数字だけを見せ、「この数字はいつ頃のものか」を当てさせること。当てられてしまうなら、日付を消しても時期は隠せていません。結果は 15 件中 12 件（80.0%）で実際の年を的中、ずれの平均 0.33 年でした。
点が破線の上に乗るほど、日付を消しても時期が分かってしまっていることを示します（ずれの平均は 0.33 年）。
外した 3 件はすべて 2025〜2026 年、つまり AI が学習していない時期です。知っている時期は言い当て、知らない時期だけ外す。日付を消しても、AI が使える情報は減っていません。
検査2: 対象の選び方が偏っていないか
使ったデータ: なし（AI への質問を伴わず、問題の作り方そのものを調べました）
成績を測る問題そのものが、都合よく作られていないかを見る検査です。「どの株を買うか」を当てる問題で、選択肢に生き残った会社しか並んでいなければ、どれを選んでも大失敗はしません。今回の題材は TOPIX という指数ひとつで銘柄を選ぶ場面が無いため、数字では測らず考え方の確認にとどめました。判定は「該当なし」で、合格という意味ではありません。ポートフォリオ構築等のタスクでは、必ず評価すべき事項でしょう。
検査3: 根拠が本物か
使ったデータ: マクロ指標 15 件（本物・数字の組み替え・空欄の 3 条件）と市場ニュース 15 件（本物・主役の差し替えの 2 条件）
AI が語る理由が本当に手元の情報に基づいているのかを見る検査です。調べ方は、根拠を壊した入力を 3 種類 —— すべて空欄の表／数字を時期をまたいで組み替えた歴史上ありえない表／主役だけを別の国・中央銀行に置き換えた文章 —— 与え、本物の入力と対にして並べること。どれも本来は「判断できない」が正解です。
| 与えた入力 | 「わからない」と答えた割合 | 平均の自信度 |
|---|---|---|
| マクロ指標の表 — 本物 | 33.3% (5/15) | 0.42 |
| マクロ指標の表 — 数字を組み替え | 46.7% (7/15) | 0.34 |
| マクロ指標の表 — すべて空欄 | 100.0% (15/15) | 0.00 |
| 市場ニュース — 本物 | 6.7% (1/15) | 0.62 |
| 市場ニュース — 主役を差し替え | 53.3% (8/15) | 0.31 |
左がマクロ指標、右が市場ニュースで、どちらも左端が本物の入力です（各 15 件、青＝本物 / 紫＝一部を壊した / 橙＝すべて空欄）。市場ニュースは 0.62→0.31 へ落ちます。
すべて空欄の表では 15 件すべてで「判断できない」と答え、自信度も 0.42 から 0.00 へ落ちました。入力に無い数字を持ち出した回答も、実験すべてを通して 0 件でした。
それでもこの検査は不合格です。主役を差し替えた文章で元と同じ方向を出し続けたのが 6 件（40%）あり、判定基準の 2 割を超えたためです。
空欄のような明確な不整合には気付けるが、話の主役の入れ替えにはなかなか気付かない。根拠を十分に判定できていない疑惑は残ります。
検査4: 出力した自信度は正直か
使ったデータ: マクロ指標 15 件（5 条件）と市場ニュース 15 件（3 条件）
答えを強いられると、AI は知らないことでも当て推量します。しかもそれは自信ありげな文章を伴うので、「見かけの精度」が上げ底されてしまう。論文がこの検査で問題にしているのはそのような点です。
調べ方は、同じ問題を 3 通りの答え方で解かせること（必ず 3 択で答えさせる / 「わからない」も認める / 確率含めて予測させる）。そのうえで、AI が見送ったケースを必ず答えさせるとどうなるか、そしてAI が出力した自信度が実際の的中率と合っているかを測ります。出力した自信度と的中率の差が、全条件で 10 ポイント以内であれば合格です。
結果、3 択で答えさせた AI は平均 0.68 の自信度を出力しながら、当たったのは 26.7% 、差は 41 ポイントでした。3 択の全条件で 30〜48 ポイントの大きな乖離が観測されました。
| 答え方 | 「わからない」の割合 | 答えた件数 | AI が出力した自信度 | 実際の的中率 | 差 |
|---|---|---|---|---|---|
| マクロ指標（日付あり） — 必ず 3 択から選ばせる | 0.0% (0/15) | 15 | 0.68 | 26.7% | +41.0pt |
| マクロ指標（日付あり） — 「わからない」も認める | 40.0% (6/15) | 9 | 0.62 | 22.2% | +40.0pt |
| マクロ指標（日付なし） — 必ず 3 択から選ばせる | 0.0% (0/15) | 15 | 0.68 | 20.0% | +48.0pt |
| マクロ指標（日付なし） — 「わからない」も認める | 33.3% (5/15) | 10 | 0.62 | 30.0% | +32.5pt |
| 市場ニュース — 必ず 3 択から選ばせる | 0.0% (0/15) | 15 | 0.72 | 33.3% | +39.0pt |
| 市場ニュース — 「わからない」も認める | 6.7% (1/15) | 14 | 0.66 | 35.7% | +30.4pt |
| マクロ指標 — 確率を含めて予測する | 0.0% (0/15) | 15 | 0.43 | 40.0% | +3.3pt |
| 市場ニュース — 確率を含めて予測する | 0.0% (0/15) | 15 | 0.47 | 33.3% | +13.3pt |
紫が AI の出力した自信度、水色が実際の的中率で、右端がその差です（分母はどちらも棄権を除いた回答）。赤い差は許容幅（10 ポイント）を超えた条件、緑は収まった条件です。
そもそも出力される自信度は 0.50〜0.85 程度でかなり高め、「あまり自信がない」と言うことがありません。この数字で発注量を加減する、という使い方も難しそうです。
「わからない」ことを許容しても、成績は向上しませんでした。見送ったケースを同じケースの強制回答の成績と比較すると、マクロ指標（日付あり）は見送った 6 件が 2/6、答えた 9 件が 2/9 で、見送った側のほうが当たっています（日付なしも 1/5 対 2/10 でほぼ差なし）。AI は予測できる対象を「わかる」と言ってはいないわけです。
興味深いのは、確率を含めて予測させた ときの結果です。自信度と的中率の差は マクロ指標で +3.3pt・市場ニュースで +13.3pt まで縮み、マクロ指標については許容幅を満たしました。「上昇か下落か横ばいか」と 1 つ選ばせる形式が、AI に不相応な自信度を出力させていたことが示唆されます。
最終的に、本検査の判定は不合格です。3 択で答えさせた 6 条件（実際にユーザーが受け取る予測）がいずれも 10 ポイントを大きく超えているためです。
検査5: コストを引いても利益が残るか
使ったデータ: マクロ指標 15 件と市場ニュース 15 件（どちらも必ず 3 択で答えさせた条件のみ）
コスト度外視の成績から、売買手数料と AI の利用料を引いても利益が残るかを見る検査です。予測どおりに TOPIX を売買したと仮定して 1 回あたりの平均損益を出し、往復 0.20% の売買コストを差し引くことで現実に近い成績を計算します。30 回の判断のうち 29 回でポジションを取り、売買コストを引く前が -0.47%、引いた後が -0.66% でした。注文を 1 営業日遅らせても -0.40% で結論は変わりません。
引く前からマイナスなので、AI が無料でも黒字にはなりません。論文の要求どおりコストを差し引いたため検査は「合格」ですが、もちろん成績が良いわけではありません。
5 つの検査の合否をまとめると、次のようになりました。
| 検査 | 何を見たか | 判定 |
|---|---|---|
| 検査1: 未来を知らずに答えているか | 先読みバイアス | 不合格 |
| 検査2: 対象の選び方が偏っていないか | 生存者バイアス | 該当なし |
| 検査3: 根拠が本物か | ナラティブバイアス | 不合格 |
| 検査4: 出力した自信度は正直か | 目的関数バイアス | 不合格 |
| 検査5: コストを引いても残るか | コストバイアス | 合格 |
12 項目それぞれの判定と根拠
5 つの検査は、論文の 12 項目を束ねたものです。1 項目でも落ちればその検査は不合格、全項目が「該当なし」ならその検査も該当なしとしました。検査1: 当時わかっていた情報だけを使う=合格 / AI の学習範囲より後の情報を遮断する=不合格（対象が 2020〜2026 年で AI の学習時期をまたぐうえ、締め切り日を外から確認できない） / 検証したい期間の情報が漏れ込まない=不合格（日付を伏せても 12/15 で年を的中）。検査2: 2 項目とも該当なし（対象が TOPIX 指数ひとつで、買う銘柄を選んでいないため）。ただし銘柄を選ぶ検証に広げる場合は、退場した銘柄を含めるという項目が不合格になります。検査3: 判断の根拠を後から追跡できる=合格 / 主張の裏付けを検証できる=不合格（空欄への棄権 100%・数字の持ち出し 0 件は基準を満たしたが、主役を替えても同じ予測を続ける割合が 40% と 2 割の線を超えた）。検査4: 自信度が実際の的中率と一致する=不合格（3 択で答えさせた 6 条件がいずれも許容幅の 10 ポイントを超え、最大は出力 0.68 対 的中 20.0% の 48 ポイント。確率を配らせた条件だけが線に近づく） / どれくらい自信がないかを報告する=合格（全回答で自信度を回収し、確率条件では 3 値への配分も保存） / 「わからない・何もしない」を選べる=合格（棄権を失敗ではなく妥当な答えとして採点した。ただし選び方の質は別で、見送ったケースを強制回答させると 2/6 と、答えたケースの 2/9 を上回る）。検査5: 売買コストと AI 利用料を差し引く=合格 / 注文の遅れを織り込んで試算する=合格。
論文の規約では 1 つでも落ちれば、その結果は概念実証としてしか解釈できず、実運用で稼げるという主張には使えません。素直に組んだ検証はチェックを通らない、という見立てがそのまま再現された形です。
一方で出力される自信度のずれは、答え方を変えるだけでかなり改善しました。同じ「不合格」でも、直せるものと直せないものがある —— これが今回いちばん手応えのあった所見です。
6. まとめ
- やったこと: 金融 AI の評価を歪める「五つの罪」を指摘する論文に沿い、日本株の 30 場面で素朴な予測 AI を作って、5 つの検査を 1 つずつ当ててみました。
- 分かったこと: 合格 1・不合格 3・該当なし 1。ほとんどが不合格となる結果になりました。検査項目によって、「改善しやすいもの」と「改善が難しいもの」があることが分かったのは収穫でした。
- これから気になること: より発展的なモデルや、「好成績」を謳う金融 AI に対しチェックを実行してみたいです。「AI の真の実力」や、金融 AI の課題が明らかになるかもしれません。