本邦金融分野における大規模言語モデルに関するサーベイと展望

Richard C Grinold and Ronald N Kahn. Active portfolio management. 2000.

Richard O Michaud and Tongshu Ma. Efficient asset management: a practical guide to stock portfolio optimization and asset allocation., 2001.

Anthony Neuberger. The black–scholes paper: a personal perspective. Decisions in Economics and Finance, 46(2):713–730, 2023.

Rosalind Z Wiggins, Thomas Piontek, and Andrew Metrick. The lehman brothers bankruptcy a: overview. Journal of financial crises, 1(1):39–62, 2019.

Enkelejda Kasneci, Kathrin Seßler, Stefan K¨uchemann, Maria Bannert, Daryna Dementieva, Frank Fischer, Urs Gasser, Georg Groh, Stephan G¨unnemann, Eyke H¨ullermeier, et al. Chatgpt for good? on opportunities and challenges of large language

models for education. Learning and individual differences, 103:102274, 2023.

Yinheng Li, Shaofei Wang, Han Ding, and Hang Chen. Large language models in finance: A survey. In Proceedings of the fourth ACM international conference on AI in finance, pages 374–382, 2023.

中川慧and 伊藤友貴. 機械が読む英文開示. 企業会計= Accounting, 75(3):339–348,2023.

Qianqian Xie, Weiguang Han, Zhengyu Chen, Ruoyu Xiang, Xiao Zhang, Yueru He,Mengxi Xiao, Dong Li, Yongfu Dai, Duanyu Feng, et al. Finben: A holistic financial benchmark for large language models. Advances in Neural Information Processing Systems, 37:95716–95743, 2024.

坂地泰紀and 中川慧. 金融・経済ドメインにおける言語処理の進展. 自然言語処理,31(2):763–768, 2024.

Rama Cont. Empirical properties of asset returns: stylized facts and statistical issues.Quantitative finance, 1(2):223, 2001.

Lu Cheng, Kush R Varshney, and Huan Liu. Socially responsible ai algorithms: Issues,purposes, and challenges. Journal of Artificial Intelligence Research, 71:1137–1181,2021.

Andreas Fuster, Paul Goldsmith-Pinkham, Tarun Ramadorai, and Ansgar Walther.Predictably unequal? the effects of machine learning on credit markets. The Journal of Finance, 77(1):5–47, 2022.

Isabel O Gallegos, Ryan A Rossi, Joe Barrow, Md Mehrab Tanjim, Sungchul Kim, Franck Dernoncourt, Tong Yu, Ruiyi Zhang, and Nesreen K Ahmed. Bias and fairness in large language models: A survey. Computational Linguistics, 50(3):1097–1179, 2024.

Kei Nakagawa, Masanori Hirano, and Yugo Fujimoto. Evaluating company-specific biases in financial sentiment analysis using large language models. In 2024 IEEE International Conference on Big Data (BigData), pages 6614–6623. IEEE, 2024.

Nate Gruver, Marc Finzi, Shikai Qiu, and Andrew G Wilson. Large language models are zero-shot time series forecasters. Advances in Neural Information Processing Systems, 36, 2024.

Xiyuan Zhang, Ranak Roy Chowdhury, Rajesh K Gupta, and Jingbo Shang. Large language models for time series: A survey. arXiv preprint arXiv:2402.01801, 2024.

平野正徳. 言語モデル性能評価のための日本語金融ベンチマーク構築と各モデルのパフォーマンス動向. 人工知能学会第二種研究会資料, 2023(FIN-032):28–35, 2024.

山口流星, 田代雄介, 鈴木彰人, and 辻晶弘. 金融ニュースのタグ付けにおける大規模言語モデルの有効性検証. 人工知能学会第二種研究会資料, 2023(FIN-032):36–40, 2024.

濱田祐馬, 石野亜耶, and 中尾悠利子. 大規模言語モデルを活用したesg 評価. 人工知能学会第二種研究会資料, 2023(FIN-032):45–52, 2024.

仲泰成, 酒井浩之, and 永並健吾. T5 を用いた決算短信の生成型要約. 人工知能学会第二種研究会資料, 2023(FIN-031):32–35, 2023.

小杉樹来, 小澤誠一, 廣瀬勇秀, 池田佳弘, 中川憲保, 飯塚正昭, and 西田大輔. Chatgptを用いたニュース記事のesg トピック分析. 人工知能学会第二種研究会資料, 2023(FIN-031):36–41, 2023.

永並健吾and 酒井浩之. 大規模言語モデルを用いたサプライチェーンマップの自動生成. 人工知能学会第二種研究会資料, 2023(FIN-031):50–54, 2023.

指田昌樹, 和泉潔, and 坂地泰紀. Bert およびchatgpt を用いたサステイナビリティレポートからのsdgs 関連文抽出. 人工知能学会第二種研究会資料, 2023(FIN-031):55–60,2023.

高野海斗, 中川慧, and 藤本悠吾. Chatgpt を活用した運用報告書の市況コメントの自動生成. 人工知能学会第二種研究会資料, 2023(FIN-031):61–67, 2023.

黒木裕鷹and 中川慧. 決算説明会テキストデータに含まれる主観的表現の抽出とその使用傾向の分析. 人工知能学会第二種研究会資料, 2023(FIN-031):68–74, 2023.

児玉実優, 酒井浩之, 永並健吾, 高野海斗, and 中川慧. 企業における環境活動の改善案の自動生成. 人工知能学会第二種研究会資料, 2023(FIN-031):75–80, 2023.

増田樹, 中川慧, and 星野崇宏. Chatgpt は公認会計士試験を突破できるか?: 短答式試験監査論への挑戦. 人工知能学会第二種研究会資料, 2023(FIN-031):81–88, 2023.

澤木智史and 仲山泰弘. ゼロショットテキスト分類を活用した含意判定モデルによるfrb 金融政策コミュニケーションの読解. 人工知能学会第二種研究会資料, 2023(FIN-030):72–77, 2023.

児玉実優, 酒井浩之, 永並健吾, 高野海斗, and 中川慧. 企業の環境活動における収益性の関係解析と改善案の自動生成. In 言語処理学会第30 回年次大会(NLP2024). 一般社団法人言語処理学会, 2024.

小堀佑樹, 酒井浩之, and 永並健吾. T5 を用いた技術課題・解決手段推定による特許マップ自動生成. In 言語処理学会第30 回年次大会(NLP2024). 一般社団法人言語処理学会, 2024.

土井惟成, 小田悠介, 中久保菜穂, and 杉本淳. ゼロショットテキスト分類によるtcfd推奨開示項目の自動判定. In 言語処理学会第30 回年次大会(NLP2024). 一般社団法人言語処理学会, 2024.

伊藤友貴and 平松賢士. 有価証券報告書の活用による事業セグメント関連語の拡張.In 言語処理学会第30 回年次大会(NLP2024). 一般社団法人言語処理学会, 2024.

高野海斗and 中川慧. 大規模言語モデルを用いた金融テキストに対する推論ベースの極性付与. In 言語処理学会第30 回年次大会(NLP2024). 一般社団法人言語処理学会, 2024.

川原一修. Llm を用いたタカハトセンチメント付与タスクの検証. In 言語処理学会第30 回年次大会(NLP2024). 一般社団法人言語処理学会, 2024.

西田隼輔and 宇津呂武仁. 株価変動に対する大規模言語モデルを用いた株式用語選択. In 言語処理学会第30 回年次大会(NLP2024). 一般社団法人言語処理学会, 2024.

平野正徳. 金融分野における言語モデル性能評価のための日本語金融ベンチマーク構築. In 言語処理学会第30 回年次大会(NLP2024). 一般社団法人言語処理学会, 2024.

西脇一尊, 大沼俊輔, 工藤剛, and 門脇一真. ファイナンシャル・プランニングの自動化に向けたgpt-4 及びrag の性能評価. In 言語処理学会第30 回年次大会(NLP2024).一般社団法人言語処理学会, 2024.

高野海斗, 中川慧, and 藤本悠吾. 大規模言語モデルによる投信ディスクロージャー資料の市況および見通しコメントの自動生成. 人工知能学会論文誌, 39(4):FIN23–B 1, 2024.

屋嘉比潔, 黒木裕鷹, and 中川慧. Md&a における定性的表現と経営者予想の精度. In人工知能学会全国大会論文集第38 回(2024), pages 2G6GS601–2G6GS601. 一般社団法人人工知能学会, 2024.

鈴木雅弘. 会社四季報のセンチメントを用いた株式銘柄選定の試み. In 人工知能学会全国大会論文集第38 回(2024), pages 2I6GS1001–2I6GS1001. 一般社団法人人工知能学会, 2024.

立花竜一, 中川慧, 伊藤友貴, and 高野海斗. 大規模言語モデルの金融投資意思決定バイアスに関する評価指標の構築. In 人工知能学会全国大会論文集第38 回(2024), pages3Xin236–3Xin236. 一般社団法人人工知能学会, 2024.

山田正嗣and 井本稔也. 金融ドメイン特化のための大規模言語モデルのインストラクションチューニング評価. In 人工知能学会全国大会論文集第38 回(2024), pages 3Xin253–3Xin253. 一般社団法人人工知能学会, 2024.

伊藤克哉and 中川慧. Llm-traders: 大規模言語モデルを用いた金融時系列予測. In 人工知能学会全国大会論文集第38 回(2024), pages 3Xin283–3Xin283. 一般社団法人人工知能学会, 2024.

徳武悠and 齋藤悠司. 家計簿データに基づく任意の生活スタイルに対応したユーザ抽出手法の検討. In 人工知能学会全国大会論文集第38 回(2024), pages 3Xin299–3Xin299.一般社団法人人工知能学会, 2024.

高野海斗and 中川慧. 大規模言語モデルによる事業概要を考慮した金融テキストの推論ベース極性分析. In 人工知能学会全国大会論文集第38 回(2024), pages 4Xin211–4Xin211. 一般社団法人人工知能学会, 2024.

西田隼輔and 宇津呂武仁. 株価変動画像に対する大規模マルチモーダルモデルを用いた株式用語選択. In 人工知能学会全国大会論文集第38 回(2024), pages 3M5OS12b02–3M5OS12b02. 一般社団法人人工知能学会, 2024.

大坪悠介. 大規模言語モデルを用いた事業文書からesg 指標への影響推論及び統計的因果推論との関係の検証. In 人工知能学会全国大会論文集第37 回(2023), pages3Xin429–3Xin429. 一般社団法人人工知能学会, 2023.

高野海斗, 中川慧, and 酒井浩之. 業績文の分析を目的とした文中の区切り位置推定.In 第20 回テキストアナリティクス・シンポジウム, pages 69–74. 一般社団法人電子情報通信学会, 2023.

山本昂, 篠崎玲菜, 篠原滉, and 毛利研. サステナビリティ・トランスフォーメーションに向けたマクロ環境モニタリングに基づくマテリアリティ分析. In 人工知能学会全国大会論文集第38 回(2024), pages 1O3GS1105–1O3GS1105. 一般社団法人人工知能学会, 2024.

梅原武志and 武田英明. 大規模言語モデルを利用したパンデミック期の事業等のリスクの記述分析. In 人工知能学会全国大会論文集第38 回(2024), pages 2I6GS1004–2I6GS1004. 一般社団法人人工知能学会, 2024.

鈴木雅弘, 坂地泰紀, 平野正徳, and 和泉潔. Findebertav2: 単語分割フリーな金融事前学習言語モデル. 人工知能学会論文誌, 39(4):FIN23–G 1, 2024.

鈴木彰人, 田代雄介, 辻晶弘, and 山口流星. 不動産価値推定における大規模言語モデルの活用可能性に関する検証. In 人工知能学会全国大会論文集第38 回(2024), pages2I5GS1002–2I5GS1002. 一般社団法人人工知能学会, 2024.

伊藤央峻. Llama2 を用いたカーボンプライシング関連論文の自動分類. In 人工知能学会全国大会論文集第38 回(2024), pages 3Xin286–3Xin286. 一般社団法人人工知能学会, 2024.

伊藤央峻. Bert を用いたカーボンプライシング関連論文の分析. 人工知能学会第二種研究会資料, 2023(FIN-031):89–93, 2023.

稲葉達也. 自然言語処理技術を用いた人的資本情報の抽出. 経営情報学会全国研究発表大会要旨集, 202311:253–256, 2024.

増田樹, 中川慧, 高野海斗, and 星野崇宏. Chatgpt による公認会計士短答式試験（企業法）のパフォーマンス分析. In 第21 回テキストアナリティクス・シンポジウム,pages 27–32. 一般社団法人電子情報通信学会, 2024.

高野海斗, 中川慧, and 藤本悠吾. 大規模言語モデルを用いたテキストの二値分類における定義文自動生成. In 第21 回テキストアナリティクス・シンポジウム, pages 75–80.一般社団法人電子情報通信学会, 2024.

中川慧, 平野正徳, and 藤本悠吾. 大規模言語モデルを活用した金融センチメント分析における企業固有バイアスの評価. In 第21 回テキストアナリティクス・シンポジウム, pages 81–86. 一般社団法人電子情報通信学会, 2024.

田邉耕太, 鈴木雅弘, 坂地泰紀, and 野田五十樹. Jafin：日本語金融インストラクションデータセット. In 第21 回テキストアナリティクス・シンポジウム, pages 87–92. 一般社団法人電子情報通信学会, 2024.

佐藤栄作and 木村泰知. 有価証券報告書を対象とした質問応答タスクのデータセット構築とllm を用いた手法の評価. In 第21 回テキストアナリティクス・シンポジウム,pages 93–98. 一般社団法人電子情報通信学会, 2024.

鹿子木亨紀and 森山治紀. Llm を用いた統合報告書からのesg 情報抽出. 人工知能学会第二種研究会資料, 2024(FIN-033):48–52, 2024.

増田樹, 中川慧, and 星野崇宏. 会計基準グラフを用いた質問応答モデルの構築収益認識基準を用いた実験. 人工知能学会第二種研究会資料, 2024(FIN-033):53–60, 2024.

屋嘉比潔, 黒木裕鷹, and 中川慧. 日本企業データを用いた機械学習による利益変化の予測. 人工知能学会第二種研究会資料, 2024(FIN-033):68–75, 2024.

酒井浩之, 永並健吾, 木村賢二郎, 寺口舞紘, 大江いづみ, and 中島泰暉. 企業webサイトからのesg の方針・取り組みに関する情報の抽出. 人工知能学会第二種研究会資料, 2024(FIN-033):41–47, 2024.

平野正徳, 今城健太郎, 齋藤俊太, 岡田真太郎, 的矢知樹, 谷口徹, and 太田佳敬.金融特化大規模言語モデルの構築と検証. 人工知能学会第二種研究会資料, 2024(FIN-033):142–149, 2024.

山口流星, 田代雄介, 鈴木彰人, 辻晶弘, 亀田希夕, and 宮澤朋也. 進化的モデルマージを用いた日本語金融llm モデルの構築. 人工知能学会第二種研究会資料, 2024(FIN-033):150–154, 2024.

高野海斗, 中川慧, and 藤本悠吾. 大規模言語モデルを用いた金融テキスト二値分類タスクの定義文生成とチューニング手法の提案. 人工知能学会第二種研究会資料,2024(FIN-033):155–162, 2024.

悠太平松, 泰弘小川, and 勝彦外山. 決算短信における見通し文と結果文のアラインメント. In 言語処理学会第31 回年次大会, 2025.

悠利子中尾, 亜耶石野, 克彦國部, and フィリップ須貝. バリューモデルを活用したサステナビリティ情報抽出. In 言語処理学会第31 回年次大会, 2025.

張引司龍, 小天王, and 武仁宇津呂. 大規模言語モデルを用いた有価証券報告書の表質問応答. In 言語処理学会第31 回年次大会, 2025.

正徳平野and 健太郎今城. 金融分野に特化した複数ターン日本語生成ベンチマークの構築. In 言語処理学会第31 回年次大会, 2025.

惟成土井and 麻由梨田中. 大規模言語モデルを用いたfew-shot プロンプティングによるjreit の投資物件に関する表構造認識. In 言語処理学会第31 回年次大会, 2025.

隼輔西田and 武仁宇津呂. 株価変動要因情報を手掛かりとする株価変動記事生成へのllm の適用. In 言語処理学会第31 回年次大会, 2025.

頌平飯田, 槙山古俣, 聖三田寺, 遼長谷川, 宇津呂, 武仁林, 超友, and 里絵宍戸. 会計ドメインにおける質問応答のためのllm を用いた解説ページの順位付け. In 言語処理学会第31 回年次大会, 2025.

大山脇, 賢也野中, 光太郎田村, 海斗高野, and 慧中川. 取締役推薦理由文を用いた取締役のスキルマトリックス分類モデルの開発. In 言語処理学会第31 回年次大会, 2025.

海斗高野. 金融テキストにおけるセンチメント分析の課題整理. In 言語処理学会第31回年次大会, 2025.

平野正徳. Llm ベースのエージェントによる人工市場シミュレーションの構築. 人工知能学会第二種研究会資料, 2025(FIN-034), 2025.

安田卓矢, 村山友理, and 和泉潔. 経済フェルミ推定問題: 因果構造推論による推定精度の改善. 人工知能学会第二種研究会資料, 2025(FIN-034), 2025.

高野海斗. 金融テキストを対象とした強弱を捉えることができるセンチメントモデル開発のためのデータセット構築方法の検討および分析. 人工知能学会第二種研究会資料, 2025(FIN-034), 2025.

鈴木雅弘and 坂地泰紀. 景気ウォッチャー調査のデータセット構築と物価センチメント分析. 人工知能学会第二種研究会資料, 2025(FIN-034), 2025.

竹下蒼空and 酒井浩之. 決算短信を用いた業種ごとの年間レポートの自動生成. 人工知能学会第二種研究会資料, 2025(FIN-034), 2025.

島津雛子, 濱崎良介, 大塚浩, and 飯島泰裕. Llm を用いた情報系企業のesg 評価についての一考察. 人工知能学会第二種研究会資料, 2025(FIN-034), 2025.

高橋明久and 戸辺義人. Llm を用いた大量保有報告書における担保契約等重要な契約に関する情報の構造化. 人工知能学会第二種研究会資料, 2025(FIN-034), 2025.

矢野一樹, 平野正徳, and 今城健太郎. 多様なテンプレートと合成データを用いた大規模言語モデルの業種区分予測における知識抽出. 人工知能学会第二種研究会資料,2025(FIN-034), 2025.

大堀遼介. 有価証券報告書と統合報告書を活用したesg 投資のためのオントロジー構築と生成ai による情報抽出. 人工知能学会第二種研究会資料, 2025(FIN-034), 2025.

Agam Shah, Suvan Paturi, and Sudheer Chava. Trillion dollar words: A new financial dataset, task & market analysis. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 6664–6679,2023.

Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud,Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. Emergent abilities of large language models. arXiv preprint arXiv:2206.07682, 2022.

Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of naacLHLT,volume 1, page 2, 2019.

Mike Schuster and Kuldip K. Paliwal. Bidirectional recurrent neural networks. IEEE Transactions on Signal Processing, 45(11):2673–2681, 1997.

Sepp Hochreiter and J¨urgen Schmidhuber. Long short-term memory. Neural Computation, 9(8):1735–1780, 1997.

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N.Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, volume 30, pages 5998–6008, 2017.

Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess,Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020.

Yinhan Liu. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

V Sanh. Distilbert, a distilled version of bert: Smaller, faster, cheaper and lighter.arXiv preprint arXiv:1910.01108, 2019.

Z Lan. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3982–3992, 2019.

Ting Jiang, Jian Jiao, Shaohan Huang, Zihan Zhang, Deqing Wang, Fuzhen Zhuang, Furu Wei, Haizhen Huang, Denvy Deng, and Qi Zhang. PromptBERT: Improving BERT sentence embeddings with prompts. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pages 8826–8837, 2022.

Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1532–1543, 2014.

Alec Radford and Karthik Narasimhan. Improving language understanding by generative pre-training. 2018.

Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019.

Tom B Brown. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. Gpt-4 technical report. arXiv preprint arXiv:2303.08774, 2023.

Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, Aiesha Letman, Akhil Mathur, Alan Schelten, Amy Yang, Angela Fan, et al. The llama 3 herd of models. arXiv preprint arXiv:2407.21783, 2024.

Rohan Anil, Andrew M Dai, Orhan Firat, Melvin Johnson, Dmitry Lepikhin, Alexandre Passos, Siamak Shakeri, Emanuel Taropa, Paige Bailey, Zhifeng Chen, et al. Palm2 technical report. arXiv preprint arXiv:2305.10403, 2023.

Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, and Gideon Mann. Bloomberggpt: A large language model for finance. arXiv preprint arXiv:2303.17564,2023.

Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza Alobeidli, Baptiste Pannier, Ebtesam Almazrouei, and Julien Launay. The refinedweb dataset for falcon llm: outperforming curated corpora with web data, and web data only. arXiv preprint arXiv:2306.01116, 2023.

Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. arXiv preprint arXiv:1804.10959, 2018.

Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Dekang Lin and Dekai Wu, editors, Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing,pages 230–237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for business. In Nicoletta Calzolari, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi,Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, H´el`ene Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation(LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association(ELRA).

松田寛. Ginza - universal dependencies による実用的日本語解析. 自然言語処理,27(3):695–701, 2020.

鈴木雅弘, 坂地泰紀, 平野正徳, and 和泉潔. Findebertav2: 単語分割フリーな金融事前学習言語モデル. 人工知能学会論文誌, 39(4):FIN23–G 1–14, 2024.

William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. Journal of Machine Learning Research, 23(120):1–39, 2022.

Mitchell Wortsman, Peter J Liu, Lechao Xiao, Katie Everett, Alex Alemi, Ben Adlam, John D Co-Reyes, Izzeddin Gur, Abhishek Kumar, Roman Novak, et al. Small-scale proxies for large-scale transformer training instabilities. arXiv preprint arXiv:2309.14322, 2023.

Sho Takase, Shun Kiyono, Sosuke Kobayashi, and Jun Suzuki. Spike no more: Stabilizing the pre-training of large language models. arXiv preprint arXiv:2312.16903,2023.

Albert Gu and Tri Dao. Mamba: Linear-time sequence modeling with selective state spaces. arXiv preprint arXiv:2312.00752, 2023.

Sagar Imambi, Kolla Bhanu Prakash, and GR Kanagachidambaresan. Pytorch. Programming with TensorFlow: solution for edge computing applications, pages 87–104,2021.

Sylvain Gugger, Lysandre Debut, Thomas Wolf, Philipp Schmid, Zachary Mueller,Sourab Mangrulkar, Marc Sun, and Benjamin Bossan. Accelerate: Training and inference at scale made simple, efficient and adaptable. https://github.com/huggingface/accelerate, 2022.

Penghui Qi, Xinyi Wan, Guangxing Huang, and Min Lin. Zero bubble pipeline parallelism.arXiv preprint arXiv:2401.10241, 2023.

Jeff Rasley, Samyam Rajbhandari, Olatunji Ruwase, and Yuxiong He. Deepspeed: System optimizations enable training deep learning models with over 100 billion parameters.

In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pages 3505–3506, 2020.

Masahiro Suzuki and Hiroki Sakaji. Language Model Construction and Domain Adaptation using Multiple Nodes. In Intelligent Computing Systems (ICS), volume 213, pages 1–6, 2024.

Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

Akiko Aizawa, Eiji Aramaki, Bowen Chen, Fei Cheng, Hiroyuki Deguchi, Rintaro Enomoto, Kazuki Fujii, Kensuke Fukumoto, Takuya Fukushima, Namgi Han, et al. Llm-jp: A cross-organizational project for the research and development of fully open japanese llms. arXiv preprint arXiv:2407.03963, 2024.

Jason Wei, Maarten Bosma, Vincent Y Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M Dai, and Quoc V Le. Finetuned language models are zero-shot learners. arXiv preprint arXiv:2109.01652, 2021.

Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A Smith, Daniel Khashabi, and Hannaneh Hajishirzi. Self-instruct: Aligning language models with self-generated instructions. arXiv preprint arXiv:2212.10560, 2022.

Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang, and Tatsunori B. Hashimoto. Stanford alpaca: An instructionfollowing llama model. https://github.com/tatsu-lab/stanford_alpaca, 2023.

聡関根, まや安藤, 美知子後藤, 久美鈴木, 大輔河原, 直也井之上, and 健太郎乾.ichikara-instruction: Llm のための日本語インストラクションデータの構築. In 言語処理学会第30 回年次大会, 2024.

Masanori HIRANO, Masahiro SUZUKI, and Hiroki SAKAJI. llm-japanese-dataset v0:Construction of Japanese Chat Dataset for Large Language Models and its Methodology. In The 26th International Conference on Network-Based Information Systems,pages 442–454, 2023.

Nisan Stiennon, Long Ouyang, Jeffrey Wu, Daniel Ziegler, Ryan Lowe, Chelsea Voss,Alec Radford, Dario Amodei, and Paul F Christiano. Learning to summarize with human feedback. Advances in Neural Information Processing Systems, 33:3008–3021,2020.

Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow instructions with human feedback. Advances in neural information processing systems, 35:27730–27744, 2022.

John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.

Rafael Rafailov, Archit Sharma, Eric Mitchell, Christopher D Manning, Stefano Ermon,and Chelsea Finn. Direct preference optimization: Your language model is secretly a reward model. Advances in Neural Information Processing Systems, 36, 2024.