決算短信を読み解く AI：「思考を制限」して精度向上？
1. どんな論文？
AI に決算分析を任せると、データを取得する前に計算を始めて数値を捏造してしまうことがあります。この論文は、分析手順を「有向非巡回グラフ」でガチガチに縛ることで、AI をもっともらしい嘘つきから正確なプロへと変える設計がユニークです。
2. 決算短信を読む AI に必要な「段取り」
私たちは投資分析を行うとき、しばしば決算書の数字を読み解いて将来の業績を予想します。以前までは、汎用的な AI にこのような作業を丸投げすると、情報が揃う前に適当な数値をでっち上げてしまうことが多々ある、と本論文は指摘します。今回紹介する論文は、AI の作業手順を 有向非巡回グラフ(DAG) という形で厳格に管理し、決算読解のような多段階の推論を正確に行わせるアプローチを提案しています。
3. 論文の解説
この論文は Zhongguancun Academy や清華大学、北京大学など、多数の研究機関に所属するメンバーで構成された研究チームによって発表されました。本研究は、AI 分野における最高峰の国際会議 ICML 2026 に採択されています。
どんなことをしようとしたか
近年、大規模言語モデルは金融レポートを即座に出力できるようになり、投資分析を任せられるのではないかと期待されています。しかし、実際のプロのアナリストは、情報の取得、仮説の形成、検証といった厳密な手順を踏みます。論文の著者らは、ネイティブな AI が「生成的な流暢さ(中身がないのにもっともらしく語る AI の癖)」に依存しており、データを取得する前に計算ツールを呼び出してしまうような「時間の不整合(順序間違い)」を起こすことに着目しました。そこで、プロの思考手順を AI に強制し、事実に基づかない捏造を防ぐ仕組みを作ろうとしました。
どんなモデルを提案したか
著者らは、AI から行き当たりばったりの自由を奪い、厳格な手順で作業を進めさせるエージェントフレームワーク「ProFinAgent」を提案しています。
- 階層的ツール検索 : 53 種類の専門ツールから、クエリに応じて適切な道具を絞り込みます。
- DAG-Guided Tool Planner : 分析手順を「有向非巡回グラフ(後戻りしない厳格な作業手順書)」として定義し、前の工程が終わるまで次の工程に進めないように物理的なロックをかけます。
- 進化型事例ベースの記憶(CBM) : 過去の成功と失敗の業務日誌を参照し、同じミスを繰り返さないようにプロンプトを調整します。
プロの思考を模倣する DAG と並列処理の仕組み
論文の核となる DAG (Directed Acyclic Graph) は、ノード間の依存関係を位相幾何学的に定義するものです。Layered TopSort アルゴリズムにより、グラフを独立したレイヤーに分解します。これにより、直列でしか処理できなかった ReAct のような手法と異なり、互いに依存しない複数のデータ取得タスクを並列実行できるようになります。また、ツールの出力が長すぎる場合は、ParDistill という演算子がベクトル化されたコサイン類似度検索を行い、情報密度の高い証拠ストリームだけに絞り込むことで、処理速度と文脈の正確さを両立させています。
実験方法
著者らは、金融の専門家が設計した 528 件の複雑な問題からなるベンチマーク「ProFinR」を構築しました。これを用いて、何の手順も踏まない素朴なモデル(Baseline)や、思いつきで行動と推論を繰り返す手法(ReAct)などと比較を行いました。実験には、GPT-5.2 や DeepSeek-R1 といった複数のモデルが使用され、正確なデータの抽出、論理的な健全性、ツールの使用精度が統合スコアとして評価されました。
結果
実験の結果、興味深い事実が明らかになりました。
- GPT-5.2 に何もツールを与えない素朴な推論では、基礎的なデータ検索(L1)の正答率が 16.82% しかないにもかかわらず、複雑なレポート生成(L3)では 65.89% を記録しました。これは AI が「もっともらしい嘘」を流暢に語っているだけである証拠です。
- 手順を厳格に管理する ProFinAgent を導入した結果、GPT-5.2 の総合スコアは 49.81 ポイントも跳ね上がり、79.54% という圧倒的な精度に到達しました。
- 手順の整理によって並列処理が可能になったため、DeepSeek-R1 の推論にかかる時間が 42,579 秒から 22,547 秒へと、実に 47.1% も削減されました。
4. 思ったこと
- 実務の要件に合致したアプローチ: 「思いつき→行動」を繰り返すこれまでの単純な手法から、全体の段取りを事前に定義する DAG への進化は、ミスが許されない金融の実務に非常にマッチしていると感じます。
- 流暢な嘘の可視化: 「基礎的なデータ検索ができないのに、もっともらしいレポートを書けてしまう」という結果は、私たちが普段 AI を使う上でも肝に銘じておくべき教訓ですね。
- ドメイン知識とツールの使いこなしは別物: 金融特化の学習をしたモデルでもツールを使えなければスコアが伸びなかった点は興味深いです。知識だけでなく「道具の使い方」を教えることの重要性がよく分かります。
- 手法の賞味期限には注意: こういった「作業手順の強制」は、モデルの進化に伴い「邪魔な足枷」となってしまう場合もあります。新しい LLM が登場するのと連動して、継続的な指示の最適化は必要だと考えています。
5. 検証してみました
論文が主張する「構造化による推論の改善」を、私も日本の決算短信データで試してみました。今回は論文発表時からの LLM の進化にも期待し、汎用的なモデルを使って決算短信を読み込ませ、発表後の値動きを予測する設定にチャレンジしました。
結果、読解の正確さはモデルの性能に依存し、構造化による劇的な改善は見られず、株価予測もランダムと同等にとどまりました。ただ、情報不足時に無理な予測を避ける AI の自律性には一部可能性を感じる結果となりました。
決算短信読解タスク
それぞれの手法の概要は以下の通りです。
- 素朴なプロンプト (Vanilla): 決算短信のテキストをそのまま読ませ、主要数値・前年比の計算・業績評価・株価予測を一度に答えさせるプロンプトです。
- 構造化プロンプト (DAG 強制): 論文を模して「数値の抽出 → 前年比の計算 → 評価 → 予測」という依存関係を強制するプロンプトです。
| 手法・モデル | N | 抽出正答率 | 計算正答率 | 評価一致率 |
|---|---|---|---|---|
| 素朴なプロンプト(自由記述) | 15 | 73.3% | 73.3% | 53.3% |
| 構造化プロンプト(DAG強制) | 15 | 62.2% | 62.2% | 60.0% |
| 構造化×高性能モデル | 15 | 57.8% | 55.6% | 53.3% |
| 構造化×軽量モデル | 15 | 86.7% | 86.7% | 73.3% |
※ 1〜2行目は「素朴 vs 構造化(DAG)」という推論構造の対比(同一の高性能モデルを使用)、3〜4行目は構造化プロンプトを用いた「高性能 vs 軽量」のモデル階層の対比です。なお、2行目と3行目は同一構成の独立集計であり、両者の差は小標本の揺らぎを表しています。
実額の抽出はどの条件でも中〜高水準に達していますが、手順を強制する構造化(DAG)プロンプトの抽出正答率は 62.2% と、素朴プロンプトの 73.3% を下回る結果となりました。「手順を縛れば計算ミスが消える」という論文の傾向は、今回の日本株短信データによる実験では確認できませんでした。
素朴 / 構造化(高性能) / 構造化(軽量) の抽出・計算・評価一致率を、指標ごとに並べた群棒。
定性判断(改善 / 悪化 / 横ばい)の一致率は 60.0%〜73.3% にとどまりました。数値自体は正確に読めていても、その業績が「改善といえるか」の解釈で専門家と意見が分かれるケースが散見されました。
売上・営業利益・純利益・前年比・業績評価の 5 項目で、素朴 vs 構造化の一致率を比較した群棒。
また、論文が指摘する「素朴な生成は数値を捏造する」という課題ですが、本検証では素朴プロンプトでの明確な捏造は観測されませんでした(0件)。唯一記録された捏造判定はむしろ構造化側(東京電力ホールディングス)で、しかも同ケースは読解自体は正確でありヒューリスティック検出の誤検出の可能性が高いものです。つまり、「構造化が捏造を抑える」という論文の中核主張は本再現では観測されませんでした。
素朴 vs 構造化の DAG 失敗（捏造/計算ミス/文脈逸脱）件数を積み上げた棒グラフ。
| 手法・モデル | N | 方向予測精度 | 棄権率 | ハルシネ率 |
|---|---|---|---|---|
| 素朴なプロンプト(自由記述) | 15 | 18.2% | 26.7% | 0.0% |
| 構造化プロンプト(DAG強制) | 15 | 20.0% | 33.3% | 0.0% |
| 構造化×高性能モデル | 15 | 50.0% | 33.3% | 0.0% |
| 構造化×軽量モデル | 15 | 35.7% | 6.7% | 0.0% |
方向予測精度は全条件でランダム(50%)を上回らず、正確な読解が必ずしも短期の株価予測に直結しないことが分かります。例えば、日本たばこ産業(2914)のケースでは、LLM は抽出・計算とも正確に読み「上昇」と予測しましたが、発表後 2 営業日のリターンは -18.7% と急落しました。これは好決算がすでに織り込まれており、事実の公表で売られる(sell the fact)典型です。決算単体の数値からは市場のコンセンサス(期待値)までを読み切れない限界が浮き彫りになりました。
また、素朴 vs 構造化(同一高性能モデル)の対比では構造化の棄権率が高い(26.7% → 33.3%)傾向にありますが、軽量モデルでは棄権率が 6.7% と非常に低くなっています。構造化の実効的な差は、捏造の抑制ではなく、モデルによっては情報が不足するときに無理な予測を避けて適切に棄権する挙動に現れるようです。
的中例(アドバンテスト)と外し例(日本たばこ産業)の発表前後の株価をローソク足で対置し、発表日を帯で強調した図。同じく正確に読めても株価の反応は逆に振れます。
サンプル数が限られているため断定はできませんが、手順の構造化だけで予測精度が劇的に上がるわけではないようです。ただし、情報不足時に棄権できる仕組みは実運用においてリスク管理の観点から有用であり、市場コンセンサスなどの外部データをどう組み合わせるかが今後の鍵になりそうです。
6. まとめ
- やったこと: 決算短信の分析を AI に任せる際、素朴に読ませる場合と、論文に倣って手順を構造化した場合で読解と予測の精度を比較しました。
- 分かったこと: 本検証では構造化による捏造抑制の効果は観測されず、必ずしも読解精度が向上するとは限りませんでした。また、正確な読解が株価予測に直結しないことも確認できました。
- これから気になること: 決算書の事実だけでなく、市場コンセンサス等の他の重要情報も同様に「厳密に考慮」できるようなワークフローが確立されると、実務での有用性も高まるかもしれません。今後の研究に期待したいです。