景気ウォッチャー調査を用いた経済ショック下におけるテキスト分類モデルの性能検証: 学習データの新しさと過去の経済ショック時のデータの比較

鈴木, 雅弘

doi:10.51094/jxiv.6106

##article.authors##

鈴木, 雅弘アモーヴァ・アセットマネジメント株式会社 https://orcid.org/0000-0001-8519-5617 https://msuzuki.me/

DOI:

https://doi.org/10.51094/jxiv.6106

キーワード:

景気ウォッチャー調査、テキスト分類、経済ショック、時系列分布シフト、ウォークフォワード検証

抄録

テキスト分類モデルの精度は，経済ショックのような急激な変化の下で大きく低下する．本稿では，このようなショックに備えるために，学習データを新しく保つことと，過去のショックの時期のデータを学習に含めておくことのどちらが有効かを，景気ウォッチャー調査の26年半のデータを用いて検証する．時系列を考慮しない評価設定では後者が上回るが，評価対象のショックの時期を学習データから除外し，件数とラベル分布を揃えると，過去のショックのデータならではの効果は確認されなかった．一方，ショックの発生後に毎月得られるラベルで再学習すると，発生直後の性能低下は2-3か月で大きく縮小した．

利益相反に関する開示

本論文に関して，開示すべき利益相反関連事項はない．

ダウンロード *前日までの集計結果を表示します

ダウンロード実績データは、公開の翌日以降に作成されます。

引用文献

K. Luu, D. Khashabi, S. Gururangan, K. Mandyam, and N. A. Smith, “Time waits for no one! Analysis and challenges of temporal misalignment,” in Proc. NAACL, pp.5944–5958, 2022.

A. Lazaridou, A. Kuncoro, E. Gribovskaya, et al., “Mind the gap: Assessing temporal generalization in neural language models,” in Proc. NeurIPS, vol.34, 2021.

P. R ̈ottger and J. Pierrehumbert, “Temporal adaptation of BERT and performance on downstream document classification: Insights from social media,” in Findings of EMNLP, pp.2400–2412, 2021.

M. Suzuki and H. Sakaji, “Economy Watchers Survey provides datasets and tasks for Japanese financial domain,” in Companion Proc. ACM Web Conference 2025, pp.805–808, 2025.

M. Suzuki and H. Sakaji, “Refined and segmented price sentiment indices from survey comments,” in Proc. IEEE International Conference on Big Data, pp.6642–6650, 2024.

Tohoku NLP Group, “Pretrained Japanese BERT models,” https://github.com/cl-tohoku/bert-japanese, 2023.

H. Tsukagoshi and R. Sasano, “Ruri: Japanese general text embeddings,” arXiv preprint arXiv:2409.07737, 2024.

H. Tsukagoshi, S. Li, A. Fukuchi, and T. Shibata, “ModernBERT-Ja,” https://huggingface.co/sbintuitions/modernbert-ja-310m, 2025.

SB Intuitions，“日本語ModernBERT の開発：開発と評価編（1/3），” SB Intuitions Tech Blog，2025 年5 月．https://www.sbintuitions.co.jp/blog/entry/2025/05/26/115815

L. J. Tashman, “Out-of-sample tests of forecasting accuracy: An analysis and review,” International Journal of Forecasting, vol.16, no.4, pp.437–450, 2000.

A. P. Dawid, “Present position and potential developments: Some personal views. Statistical theory: The prequential approach,” Journal of the Royal Statistical Society: Series A (General), vol.147, no.2, pp.278–292, 1984.

J. Gama, I. ˇZliobait ̇e, A. Bifet, et al., “A survey on concept drift adaptation,” ACM Computing Surveys, vol.46, no.4, pp.1–37, 2014.

L. Justen, K. M ̈uller, M. Niemann, and J. Becker, “No time like the present: Effects of language change on automated comment moderation,” in Proc. IEEE 24th Conference on Business Informatics (CBI), pp.40–49, 2022.

石原祥太郎，高橋寛武，白井穂乃，“Semantic Shift Stability: 学習コーパス内の単語の意味変化を用いた事前学習済みモデルの時系列性能劣化の監査，” 自然言語処理，vol.31，no.4，pp.1563–1597，2024．

A. Yang, A. Li, B. Yang, et al., “Qwen3 technical report,” arXiv preprint arXiv:2505.09388, 2025

景気ウォッチャー調査を用いた経済ショック下におけるテキスト分類モデルの性能検証

学習データの新しさと過去の経済ショック時のデータの比較