カバ🦛のAI・金融研究ブログ

LLM で SNS の空気を読めば株価は予測できる？

hippophd
#論文#大規模言語モデル#市場予測#センチメント分析#ナラティブ経済学

1. どんな論文？

SNS で拡散する大衆の信念や物語を LLM で抽出し、マクロ経済の変動を予測できるか検証した研究です。LLM は市場の空気を鮮やかに言語化しましたが、短期的な株価の予測精度は有意に向上せず、効率的市場の壁の厚さを浮き彫りにする結果となりました。

2. みんなが信じる物語は相場を動かす？

「みんなが悲観しているから、明日の相場は下がるはずだ」

朝の通勤電車で X(旧 Twitter)の株クラスタのタイムラインを眺めながら、そんな風に市場の空気を察知しようとする光景は、SNS が普及した今の市場では珍しくありません。このように、人々の間で共有される物語や思い込みが実際の経済を動かすという考え方を ナラティブ経済学 と呼びます。

もし、高度な読解力を持つ LLM を使って数万件の投稿から「市場を動かす真のナラティブ」を抽出できれば、誰も気づいていない相場の転換点を予測できるかもしれません。この直感的な期待に対して、大規模なデータと最新のモデルを用いて真正面から挑んだのが今回の論文です。

3. 論文の解説

この論文は Technion - Israel Institute of Technology の Almog Gueta らと、Columbia University、Hebrew University による研究です。本研究は、自然言語処理分野の主要な国際会議である NAACL 2025 に採択されています。

どんなことをしようとしたか

従来から、SNS の投稿を用いた市場予測の研究は存在しました。しかし、過去の手法は「ポジティブかネガティブか」といった単純なセンチメント分析(文章の語感がポジティブかネガティブかを推定する手法)に留まっていました。これでは「インフレで不安なのか」「増税で不満なのか」といった、投資家の行動を左右する具体的な文脈が抜け落ちてしまいます。

そこで研究者たちは、LLM の高度な要約力を使い、SNS に渦巻く無数のノイズから「今、市場参加者は何を恐れているのか」という具体的なナラティブを抽出し、短期的なマクロ経済の予測に活かせないかと考えました。

どんなモデルを作ったか

大量のツイートを文脈ごと高度に要約して金融データと統合する、独自のハイブリッド手法を提案しています。

単純にテキストを数値ベクトル化するだけでは、多様な意見の対立や文脈が平均化されて消えてしまいます。そこで、LLM に 1 ヶ月分のツイートと金融指標を同時に与え、「なぜ市場が不安なのか」を整理した月次の分析レポートを文章として生成させました。このリッチな文脈を持ったテキストを、別の予測モデルへコンテキストとして渡すことで、数字の背後にある人間心理をモデルに理解させようと試みました。

モデル構成と入力アーキテクチャの詳細

予測タスクを解くために、大きく3つのアプローチ（T / F / TF の 3 手法）を比較しています。

  • Financial (F) モデル: 過去の金融指標のみを使用するベースラインです。Random Forest や SVM、DA-RNN などを試しています。
  • Textual (T) モデル: ツイートのテキストのみを使用します。VADER（辞書ベースの感情スコア）や BERT によるベクトル化に加え、LLM によるテキスト要約を利用しています。
  • Textual & Financial (TF) モデル: テキストと金融データを統合します。特に T5 を用いたプロンプトベースの統合では、LLM が生成した分析テキストと、過去の金融数値の推移を別々のセグメントとしてプロンプトに入力し、両者の関係性を動的に学習させています。

実験方法

2007 年から 2020 年までの 240 万件におよぶ経済関連ツイートデータと、FFR(米国の政策金利)、S&P 500、VIX(恐怖指数: 投資家がどれくらい将来の相場にビビっているかを示すバロメーター)の日次データを使用しました。

ここで研究者たちは大きな壁に直面します。LLM が事前学習の段階で「未来の株価変動」を暗記しているデータリークの可能性です。これを防ぐため、LLM(GPT-3.5)の学習カットオフ以降である 2021 年 9 月以降のツイートだけを新たに収集し、完全に隔離された検証環境を用意する工夫を凝らしました。

比較対象のベースライン(素朴な手法)には、前日と同じ方向を予測するモデルや、訓練データの平均値を予測するモデルなどが用意され、テキストを使った提案手法がそれらを上回れるかを検証しています。

結果

結果は、非常に興味深いものでした。LLM はツイートの群れから「ギリシャ債務危機」や「Brexit」といったナラティブを見事に抽出し、現実のイベントと連動した時間的変化を捉えることに成功しました。

しかし、いざ S&P 500 の翌日の方向性を予測するテストになると、金融データのみのモデル(F)が正答率 59.3% であったのに対し、テキストを統合したモデル(TF)は 62.7% となりました。この差は統計的に有意ではなく、テキストを追加したことによる明確な予測精度の向上は認められませんでした。

さらに、VIX の 7 日先の数値を予測する別のタスクでは、アブレーションテスト(一部のデータをわざと変えて効果を測る検証)が行われました。実際のツイートの代わりに「ランダムな単語の羅列」を入力したモデルのほうが、実際のツイートを入力したモデルよりも予測誤差(MSE)がわずかに小さくなったのです。モデルはテキストの意味を理解して予測に生かしたのではなく、単なるノイズを計算上の正則化のように使っていただけかもしれないという厳しい現実を示唆しています。

4. 思ったこと

  • ナラティブ経済学の定量化への挑戦: テキストを単純なポジネガではなく「文脈」として扱うアプローチは、過去の感情分析研究の系譜を大きく前進させるものです。短期予測精度には直結しませんでしたが、市場の空気を可視化する技術としては非常に優れていると感じました。
  • 効率的市場仮説の厚い壁: SNS で話題になっている情報は、すでにアルゴリズムや機関投資家によって瞬時に価格に織り込まれている可能性が高いです。公開情報を使って短期の株価を予測するのは、どんなに高性能な AI を使っても難しいという現実を改めて観察できました。
  • 状況理解ツールとしての活用: LLM は「明日上がるか下がるか」を当てるのには不向きですが、「今、市場参加者は何を恐れているのか」を客観的に整理する壁打ち相手としては最高です。短期の売買シグナルとしてではなく、中長期投資におけるマクロ環境の把握に活かしていくのが現実的ではないでしょうか。

5. 検証してみました

論文の主張、日本市場のデータを使って私も試してみました。論文では GPT-3.5 が使われましたが、今回は論文発表時からの LLM の進化にも期待し、汎用モデルを使って日本の X の実ツイートから市場ナラティブを抽出し、TOPIX の 5 営業日後の方向を予測できるかチャレンジしました。

結果、統合モデル(TF)は価格のみのモデル(F)と同じ精度(22.2%)に並びました。個々のケースでは、統合(TF)と価格(F)で正誤が入れ替わった場面がそれぞれ 1 件ずつあったものの、全体としての精度向上にはつながりませんでした。

それぞれの手法の概要は以下の通りです。

  • テキスト (T): X の投稿から抽出した市場ナラティブのテキストのみを入力して予測させます。
  • 価格 (F): TOPIX の直近 5 営業日のリターン(価格モメンタム)のみを与えて予測させるベースラインです。
  • 統合 (TF): ナラティブのテキストと過去の価格リターンの両方を与えて予測させます。
手法 入力 有効回答数 (n) 棄権数 棄権率 棄権除外精度
テキスト (T) X 投稿から抽出した市場ナラティブのみ 8 1 11.1% 37.5%
価格 (F) TOPIX 直近 5 営業日リターンのみ 9 0 0.0% 22.2%
統合 (TF) ナラティブ + 価格 9 0 0.0% 22.2%

ベースラインとなる多数派クラス比率(常に上昇と予測した場合の正答率)が 66.7% であることを踏まえると、いずれの手法も市場の方向をうまく当てられていないことが分かります。統合(TF)と価格(F)の間に統計的な有意差はなく(p=1.000)、テキストの付加価値は認められませんでした。

手法別 TOPIX 方向予測精度 テキスト(T)/価格(F)/統合(TF) の棄権除外精度を並べ、多数派クラス比率と 1/3 ランダム基準を破線で重ねた棒グラフ。

全ケース × 手法の予測結果マトリクス 全 9 ケース × 3 手法の予測結果。緑は的中、赤は外しを示しています。価格(F)・統合(TF)が下落や横ばいに傾く一方で、テキスト(T)だけが独自の動きを見せていることが分かります。

予測タスク

全体の精度は振るいませんでしたが、LLM は SNS から市場の懸念を見事に言語化しています。具体的なケースを見てみましょう。

成功例

ケース LLM が読み取った主要ナラティブ 予測 (自信度) 実際の方向 5日リターン 判定
2026年3月31日 中東情勢停戦期待と追加利上げ警戒 上昇 (0.65) 上昇 +2.8% 正解
2026年4月30日 為替介入への懐疑と米国株高の楽観論 上昇 (0.65) 上昇 +5.1% 正解

失敗例

ケース LLM が読み取った主要ナラティブ 予測 (自信度) 実際の方向 5日リターン 判定
2025年10月31日 大型株への資金集中と中小型株の分断 上昇 (0.65) 横ばい +0.3% 不正解
2025年12月31日 積極財政期待と利上げ懸念の二極化 横ばい (0.60) 上昇 +3.5% 不正解

予測が分かれた特徴的なケース (実 TOPIX ローソク足) 左はテキスト(T)だけが方向を当てたケース、右は全手法が外したケース。テキストが独自の視点を提供する場面はあるものの、一貫して価格モメンタムを打ち破るには至りません。

まとめると、LLM は市場のナラティブを抽出・解釈するツールとしては非常に優秀ですが、それが短期的な方向予測に結びつくとは限りません。SNS で話題になっているテーマはすでに価格に織り込まれていたり、投資家の動向すべてをカバーできているわけではないので、明日の相場の予測には不確かさが残るようです。

6. まとめ

  • やったこと: X の実ツイートから LLM で市場ナラティブを抽出し、日本株(TOPIX)の短期方向性を予測できるかを検証しました。
  • 分かったこと: ナラティブの要約自体は見事な精度でしたが、それを予測モデルに組み込んでも価格だけを用いた予測を有意に上回ることはできませんでした。
  • これから気になること: 短期の予測は難しくとも、「市場が今何をテーマに動いているのか」を整理する能力は本物です。今後は、このナラティブ抽出力を中長期的な投資判断の補助ツールとしてどう活かすかに注目したいですね。

7. 注意・免責事項