ローカルLLMの継続事前学習の実践
仏教研究論文を学習データとして
DOI:
https://doi.org/10.51094/jxiv.2676キーワード:
生成AI、 大規模言語モデル、 ローカルLLM、 継続事前学習抄録
本稿では，仏教研究論文を学習データとしたローカルLLM構築の実践を報告する．1,200億のパラメータを持つgpt-oss-120bに対して，QLoRAの手法を用いて単一GPU環境で継続事前学習を実施した．また，制限された計算資源の環境下でも，vLLMのマルチLoRA対応を活用することで複数の学習済みモデルを並列稼働できることを確認した．そして，vLLMとOpen WebUIを連携させてチャット形式のユーザーインターフェースを構築し，モデル間の容易な比較も可能にした．14,000本以上の研究論文を実際に学習させ，モデルの性能を評価し，質問への応答を観察した結果を述べる．
利益相反に関する開示
本研究における利益相反は存在しない．ダウンロード *前日までの集計結果を表示します
引用文献
Mikolov, Tomas; Chen, Kai; Corrado, Greg; Dean, Jeffrey: “Efficient Estimation of Word Representations in Vector Space”, arXiv:1301.3781 [cs.CL], 2013.
Muller; Kenryo, Minowa: 「横断型デジタル学術基盤を目指して ―SAT2018 の構築を通じて―」 , 研究報告人文科学とコンピュータ（CH）, Vol.2018-CH-117, No.1, pp.1–7, 2018.
Lewis, Patrick; Perez, Ethan; Piktus, Aleksandra; Petroni, Fabio; Karpukhin, Vladimir; Goyal, Naman; K¨ uttler, Heinrich; Lewis, Mike; Yih, Wen-tau; Rockt¨ aschel, Tim; Riedel, Sebastian; Kiela, Douwe: “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, arXiv:2005.11401 [cs.CL], 2021.
永崎研宣: 「バウッダ AI: 生成 AI を活かした仏教研究支援用 RAG の開発」, 研究報告人文科学とコンピュータ（CH） , Vol.2025-CH-137, No.8, pp.1–5, 2025.
OpenAI: “gpt-oss”. https://huggingface.co/collections/openai/gpt-oss . 2026年1月1日参照.
NDLラボ: “NDLOCR”. https://github.com/ndl-lab/ndlocr_cli . 2026年1月1日参照.
Chen, Zeming; Cano, Alejandro Hern´ andez; Romanou, Angelika; Bonnet, Antoine; Matoba, Kyle; Salvi, Francesco; Pagliardini, Matteo; Fan, Simin; K¨ opf, Andreas; Mohtashami, Amirkeivan; Sallinen, Alexandre; Sakhaeirad, Alireza; Swamy, Vinitra; Krawczuk, Igor; Bayazit, Deniz; Marmet, Axel; Montariol, Syrielle; Hartley, Mary-Anne; Jaggi, Martin; Bosselut, Antoine: “MEDITRON-70B: Scaling Medical Pretraining for Large Language Models”, arXiv:2311.16079 [cs.CL], 2023.
Dettmers, Tim; Zettlemoyer, Luke: “The case for 4-bit precision: k-bit Inference Scaling Laws”, arXiv:2212.09720 [cs.LG], 2023.
Hu, Edward J.; Shen, Yelong; Wallis, Phillip; Allen-Zhu, Zeyuan; Li, Yuanzhi; Wang, Shean; Wang, Lu; Chen, Weizhu: “LoRA: Low-Rank Adaptation of Large Language Models”, arXiv:2106.09685 [cs.CL], 2021.
Dettmers, Tim; Pagnoni, Artidoro; Holtzman, Ari; Zettlemoyer, Luke: “QLoRA: Efficient Finetuning of Quantized LLMs”, arXiv:2305.14314 [cs.LG], 2023.
Astral: “uv”. https://github.com/astral-sh/uv . 2026年1月1日参照.
Unsloth: “Unsloth”. https://github.com/unslothai/unsloth . 2026年1月1日参照.
Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim; Louf, Remi; Funtowicz, Morgan; Davison, Joe; Shleifer, Sam; von Platen, Patrick; Ma, Clara; Jernite, Yacine; Plu, Julien; Xu, Canwen; Le Scao, Teven; Gugger, Sylvain; Drame, Mariama; Lhoest, Quentin; Rush, Alexander: “Transformers: State-of-the-Art Natural Language Processing”, Liu, Qun; Schlangen, David, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38–45, Online, 2020.
Unsloth: “LoRA fine-tuning Hyperparameters Guide | Unsloth Documentation”. https://unsloth.ai/docs/get-started/fine-tuning-llms-guide/lora-hyperparameters-guide . 2026年1月1日参照.
Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion: “Efficient Memory Management for Large Language Model Serving with PagedAttention”, arXiv:2309.06180 [cs.LG], 2023.
Open WebUI: “Open WebUI”. https://github.com/open-webui/open-webui . 2026年1月1日参照.
Han, Namgi; 植田暢大; 大嶽匡俊; 勝又智; 鎌田啓輔; 清丸寛一; 児玉貴志; 菅原朔; Bowen, Chen; 松田寛; 宮尾祐介; 村脇有吾; 劉弘毅: 「llm-jp-eval：日本語大規模言語モデルの自動評価ツール」, 言語処理学会年次大会発表論文集 (Web), Vol.30, pp.2085–2089, 2024.
ダウンロード
公開済
投稿日時: 2026-01-19 11:07:30 UTC
公開日時: 2026-01-28 10:59:07 UTC
ライセンス
Copyright（c）2026
YI, Yeong-il
永崎, 研宣
下田, 正弘
この作品は、Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International Licenseの下でライセンスされています。
