日本の有価証券報告書から作った金融ベンチマーク！
1. どんな論文？
金融庁の電子開示システム EDINET(エディネット) に提出された過去 10 年分の有価証券報告書から構築された、日本語の金融ベンチマークを提案する論文です。最先端の大規模言語モデルに不正検知や業績予測を解かせた結果、古典的な機械学習手法に及ばないことが示されました。本記事では論文の解説に加え、モデルが純粋に財務諸表を「読解」しているのか、それとも数字の規模から企業を特定して「記憶」で答えているのかという汚染の可能性について、日本の大型株を使って実際に検証してみました。
2. 決算書を AI に丸投げして「次の業績はどうなる？」と聞きたい
決算発表シーズン、個人投資家のもとには数百ページに及ぶ有価証券報告書や決算短信が次々と届きます。これをすべて人間が読み切るのは大変な重労働です。「長文が読めて数字の処理も得意な AI が登場したのだから、決算書を丸ごと投げて『来期は増益になるか？』『粉飾の兆候はないか？』と聞けば答えてくれるのではないか」と考えるのは自然な発想ですね。
しかし、本当に AI は決算書を深く読み込んでいるのでしょうか。それとも、単に過去に学習した知識から「あ、これはあの有名企業の数字だ」と気付き、記憶に頼って答えているだけなのでしょうか。今回は、日本株の一次情報そのものを対象にした画期的な論文を読み解きながら、AI の「読解力」と「記憶」の境界線に迫りたいと思います。
3. 論文の解説
この論文は Sakana AI および京都大学の研究チームによって発表されました。本研究は、AI 分野における最高峰の国際会議 ICLR 2026 に採択されています。
金融 LLM を測る「物差し」がないという課題
これまで、AI の数学やコーディング能力を測るテストはたくさん作られてきましたが、金融分野における専門的なテストは遅れていました。既存の金融ベンチマークは、単純な知識のQAや表からの数値抽出といった基礎的なタスクに偏っており、実際の投資判断や監査の実務で求められるような「表とテキストを横断して読み解く」複雑な推論を測るものがありませんでした。特に、会計不正の検知については、「どの報告書が粉飾だったか」という正解ラベルを集めたオープンなデータセットが世界的に存在しないことが、研究の大きな壁になっていました。
制度の仕組みを利用した画期的なデータセット構築
そこで研究チームは、日本の金融庁が運営する EDINET に目をつけました。日本の上場企業が過去に提出した有価証券報告書(年次報告書)を訂正する際、必ず「訂正有価証券報告書」を提出し、そこに「なぜ訂正したのか」という理由を自然文で記載します。粉飾が発覚した企業は、まさにこの理由欄に「不適切な会計処理があった」と書き残すわけです。
訂正報告書からの正解ラベル作成の工夫
過去 10 年分の訂正報告書 6,712 件には、役員報酬の記載漏れなど不正とは無関係なものも多数混ざっています。著者らは pdfminer を用いて PDF からテキストを抽出し、Claude 3.7 Sonnet に日本語プロンプトで「不適切会計」や「粉飾決算」といった語彙に着目させ、財務諸表の数値に変更が生じた事例を仕分けさせました。その結果、668 件の不正ラベルを獲得。さらに研究者自身がこれを人手で読み直し、無関係なケースが 5% 未満であることを確認してラベルの信頼性を担保しています。
この「制度が事後に残した答え合わせの記録」を回収することで、会計不正検知、翌期の増減益予測、業種予測の 3 つのタスクからなる大規模なベンチマーク「EDINET-Bench」を構築しました。
情報量を段階的に変える実験設定
実験では、GPT-4o や Claude 3.5 Sonnet といった最先端の LLM に対し、ゼロショット(例題を与えずに直接解かせる方式)でタスクを解かせました。比較対象のベースラインとして、ロジスティック回帰(最も基本的な線形の分類器)や Random Forest(多数の決定木を組み合わせた手法)といった、LLM 以前から使われている定番の機械学習モデルも用意されました。
入力する情報量は以下の 3 段階に分けて検証されています。
- Summary のみ: 主要な財務指標のまとめ
- 財務 3 表を追加: 貸借対照表(BS)、損益計算書(PL)、キャッシュフロー計算書(CF)を追加
- テキストを追加: 沿革や事業リスクなどの文章部分まで全て追加
また、モデルが「企業名」や「年次」から答えを暗記で引き出すのを防ぐため、表形式データからは企業名と正確な年次情報が取り除かれています。
LLM は有価証券報告書を読みこなせなかった
実験の結果、驚くべき事実が判明しました。
- 不正検知では古典的手法に負ける: 不正検知タスクにおいて最も高い判別力(ROC-AUC)を示したのは、最先端 LLM ではなく古典的な Random Forest(0.75)でした。最良の LLM である Claude 3.5 Sonnet でも 0.73 にとどまりました(なお、別の「利益予測タスク」では同モデルの精度はさらに下がり 0.55 となっています)。
- 来期の業績は予測できない: 利益が前年より増えるか減るかを当てる予測では、最良のモデルでも ROC-AUC 0.65 であり、多くのモデルは当てずっぽう(0.5)以下のスコアに沈みました。
- テキスト情報の効き方の違い: 不正検知では、文章部分(テキスト)を入力に追加すると明確に精度が向上しましたが、利益予測ではテキストを足しても精度は上がりませんでした。
また、企業名を伏せた財務数値から「これがどの企業のデータか」を当てさせる汚染チェックを行ったところ、全モデルで正答率は 0.05 以下となり、「モデルは企業を記憶して答えているわけではない」と結論づけています。
4. 思ったこと
- 事後の記録を教師データに変える鮮やかな発想: 訂正報告書という「制度上の仕組み」を利用して、本来取得が極めて困難な会計不正の正解ラベルを数千件規模で自動生成した点は、非常に巧みなアプローチだと感じました。
- プロンプトの工夫が実践的: 不正検知のプロンプトにおいて、「この報告書は公認会計士により検証済みで、数値は計算上正しい。非数値的な不整合に集中せよ」と明示している点は秀逸です。モデルが無駄な検算にリソースを割くのを防ぐ、実務的なテクニックとして参考になります。
- 実運用へのハードル: 論文のテストデータは「不正企業」と「正常企業」がほぼ半々の割合で作られていますが、実際の市場で不正が起きる確率は約 1.6%(10 年間の有価証券報告書 41,691 件のうち不正は 668 件)にすぎません。論文で最も判別力が高かった Random Forest(AUC 0.75)をこの発生率のまま使うと、健全な会社への誤警告を 10% 許容しても、1,000 社あたりの警告 104 件のうち本物の不正は 6 件(適合率 5.7%)という計算になります。膨大な「誤報(偽陽性)」に埋もれてしまうため、そのまま自動運用に組み込むのは難しそうです。別の手法と組み合わせたり、根拠を確認する別の AI を導入することで、さらに信頼性が向上すると期待されます。
5. 検証してみました
私も論文の主張をベースに、決算短信を読み込ませて日本株で LLM の「読解力」と「記憶」を試してみました。今回は有価証券報告書ではなく、翌期の会社業績予想が記載されている「決算短信PDF」を用いて、利益予測タスクなどを再検証しています。
結果、論文の「LLM は予測が苦手」という結論とは裏腹に、 大型株に絞るとモデルは驚異的な精度 を叩き出しましたが、そこには 「記憶の汚染」という落とし穴 が潜んでいることも見えてきました。
それぞれの手法の概要は以下の通りです。
- 決算書のみ (会社予想を除く): 決算短信のテキストから、翌期の会社業績予想の部分を機械的に取り除いてモデルに与え、来期の増減益を予測させます(未来情報なし)。
- 会社予想も見せる: 決算短信のテキストをそのまま(会社発表の来期予想を含めて)モデルに与えます。
- 決算書のみ + 年次も伏せる: 社名に加えて西暦年もすべて伏せた条件です。「いつの決算か」が分からなくなるので、モデルが記憶から「その年の結末」を引くことができなくなります(汚染の対照条件)。
- ベースライン (前年踏襲 / 会社予想 / 常に増益): 比較対象として、単に前年と同じ増減方向が続くと予測する単純な手法、会社が発表した業績予想をそのまま「正解」として扱う手法、そして常に「増益」と答え続ける手法を配置しました。
タスク: 来期の増減益予測
なお、下表の「評価件数」はすべて モデルが実際に解いた同じ 15 件 です。ベースラインだけは母集団を広げた参考値も右端に併記しています(抽出時に増減がほぼ半々になるよう層化しているぶん、同じ 15 件での「常に増益」「会社予想」は自然な分布より低めに出ます)。
| 条件 | 判別力 (ROC-AUC) | MCC | 方向的中率 | 評価件数 | 参考: 全 129 ペアでの方向的中率 |
|---|---|---|---|---|---|
| 本検証 — 決算書のみ (会社予想を除く) | 0.911 | 0.875 | 93.3% | 15 | — |
| 本検証 — 会社予想も見せる | 0.911 | 0.764 | 86.7% | 15 | — |
| 本検証 — 決算書のみ + 年次も伏せる | 0.893 | 0.607 | 80.0% | 15 | — |
| ベースライン — 前年と同じ方向と予測 | — | -0.055 | 46.7% | 15 | 52.7% (n=129) |
| ベースライン — 会社自身の業績予想 | — | 0.169 | 58.3% | 12 | 70.9% (n=79) |
| ベースライン — 常に増益と予測 | — | 0.000 | 53.3% | 15 | 64.3% (n=129) |
| 論文報告 — GPT-5 (論文で最良の LLM) | 0.65 | — | — | 451 | — |
| 論文報告 — ロジスティック回帰 (最良の古典手法) | 0.56 | — | — | 451 | — |
| 論文報告 — DeepSeek-V3 (論文で最下位の LLM) | 0.39 | — | — | 451 | — |
論文報告は代表 3 行のみを抜粋しています(論文は同じタスクで 10 通りの手法を報告しており、値は 0.39〜0.65 に分布します)。
論文では「LLM は業績予測が苦手」と結論づけられていましたが、日本の大型株に絞って決算短信を読ませたところ、会社予想を除いた決算書だけでも方向的中率は 93.3% と非常に高い精度を記録しました。しかし、自社の来期を最もよく知るはずの「経営陣の予想」よりも、外部の AI モデルの方が当たるというのは、情報の順序としておかしな状況と言えます。ちなみに会社予想は、抽出前の全 129 ペア(予想が読み取れた 79 件)では 70.9% 当たっており、経営陣の予想の実力は本来 7 割前後と見るのが妥当です。
上 3 本が LLM の 3 条件、下 3 本が機械的なベースラインです。紫の「会社自身の業績予想」より青いモデルの棒が高い点が、この検証でいちばん不自然なところです。
本検証 3 条件の判別力(ヒゲは 95% 信頼区間)と、論文報告値の代表 3 件を同一軸に並べた図。論文の最良モデルでも 0.65 前後にとどまるのに対し、本検証は 0.91 と大きく上振れています。
増減益予測の成功例
| ケース | LLM が読み取った主要数値 | 予測 (自信度) | 実際の方向 | 判定 |
|---|---|---|---|---|
| 旭化成 (3407) 2023年3月期 | 最終赤字だが売上高10.8%増、営業利益黒字確保 | 上昇 (0.90) | 上昇 | 正解 |
増減益予測の失敗例
| ケース | LLM が読み取った主要数値 | 予測 (自信度) | 実際の方向 | 判定 |
|---|---|---|---|---|
| 三井金属鉱業 (5706) 2020年3月期 | 当期純利益前期比66.6%減、次期業績予想未定 | 下落 (0.35) | 上昇 | 不正解 |
タスク: 業種分類
右の 2 列は、同じ 14 社を「企業名まで当てられたか否か」で割った内訳です。
| 条件 | 業種の正答率 | 評価社数 | 企業名を特定できた銘柄での正答率 | 特定できなかった銘柄での正答率 |
|---|---|---|---|---|
| 本検証 — 要約のみ | 92.9% (13/14) | 14 | 100.0% (12/12) | 50.0% (1/2) |
| 本検証 — 財務三表も追加 | 92.9% (13/14) | 14 | 100.0% (12/12) | 50.0% (1/2) |
| でたらめに選んだ場合 (16 分類) | 6.25% | — | — | — |
| 論文報告 — XGBoost (論文で最良の古典手法) | 42.0% | 496 | — | — |
| 論文報告 — Claude 3.5 Sonnet (論文で最良の LLM) | 41.0% | 496 | — | — |
| 論文報告 — Claude 3.5 Haiku (論文で最下位の LLM) | 9.0% | 496 | — | — |
論文報告は代表 3 行のみを抜粋しています(論文は同じタスクで 11 通りの手法を報告しており、値は 6.3%〜42.0% に分布します)。
業種分類タスクにおいても、論文が観測した「入力を増やせば精度が上がる」という傾向は再現されず、要約のみでも財務三表を追加しても正答率は天井に張り付いていました。ただし後述のとおり、この高い正答率自体が企業名などの記憶依存による可能性が高く、入力量で差が出ないのも、そもそも財務諸表を純粋に読解しているわけではないためと解釈できます。
タスク: 企業名予測（汚染・記憶のチェック）
なぜこれほどまでに精度が高く出たのでしょうか。論文が汚染チェックとして行った「企業名や年次を伏せた財務数値から、それがどの会社のデータかを当てさせる」タスクを、今回の大型株データで実行してみました。
結果として、LLM は 14 社中 12 社(85.7%)の企業名を正確に言い当ててしまいました。論文における同じ検査の正答率は全モデルで 5% 以下でしたが、対象を誰もが知る大企業に絞ると、モデルは売上規模や独自の管理指標、子会社名などの断片的な情報から容易に「どの会社か」を特定できてしまいます。
社名を伏せた財務数値から企業名を当てさせた正答率の比較。論文では 5% 以下でしたが、大型株に絞ると 8 割超を特定してしまいます。同じ検査が正反対の答えを返しているのがポイントです。
業種分類の正答率を「企業名を特定できたか否か」で分けた図。特定できた 12 社では業種も全問正解、できなかった側は 2 社中 1 社にとどまります。ただし右側は 2 社しかないので、幅は広く見ておく必要があります。
つまり、本検証でモデルが業績や業種を高い精度で当てられたのは、決算書の数値を純粋に「読解」したからではなく、数字の規模などから企業を特定し、その企業に関する過去の「記憶」から答えを引き出していた可能性が高いと考えられます。ベンチマークの汚染チェックの結論は、評価する銘柄の規模分布に大きく依存することが分かります。
念のため、社名に加えて 西暦年もすべて伏せた条件 も走らせました。「いつの決算か」が分からなければ、企業を特定できても「その年に実際どうなったか」を記憶から引くことはできません。結果は判別力 0.911 → 0.893 とほとんど変わらず、方向的中率だけが 93.3% → 80.0% (15 件中 2 件ぶん) 下がりました。特定年度の結末を丸暗記していたというより、企業を同定したうえでその会社の平常運転から推している ようです。
ひとつ補足しておくと、今回伏せたのは企業名・証券コード・URL・担当者行だけで、子会社名や独自の管理指標名は決算書に残したままです。そこから企業を絞り込める余地は残っているので、ここで出た特定率は「匿名化を徹底したときの下限」ではなく、やや緩めの条件での値として読むのが妥当そうです。
6. まとめ
- やったこと: 有価証券報告書の読解能力を測る大規模な日本語ベンチマーク論文を紹介し、さらに日本の大型株の決算短信を用いて、モデルが数値を「読解」しているのか「記憶」で答えているのかを検証しました。
- 分かったこと: 論文の広範な銘柄群では AI は業績予測に苦戦しましたが、誰もが知る大型株に絞ると、AI は数値の規模などから 14 社中 12 社を言い当ててしまい、記憶に頼って答える「汚染リスク」が顕著に現れました。ただし年次を伏せても精度はさほど落ちなかったので、効いているのは「その年の結末の暗記」より「企業を特定したうえでの平常運転の把握」の側のようです。
- これから気になること: 単一の決算書を丸投げするだけでは古典的手法に勝てないことが示されましたが、内部情報やリアルタイムのニュースなど、AI に情報を集めさせる「足場」を与えたとき、推論の質がどう進化するのか気になりますね。