Distribution and Frequency of Words in Texts
An Analysis of Occurrence Positions and Intervals
DOI:
https://doi.org/10.51094/jxiv.7017キーワード:
動的計量語彙論、 出現位置、 出現間隔、 出現範囲、 品詞、 語彙的結束性抄録
本稿は,動的計量語研究における探索的分析の一環として,テキストにおける語の出現位置と出現間隔について考察した.青空文庫の2作品を用いて,(1) 頻度と平均出現間隔の関係,(2)品詞と平均出現間隔の関係,(3)頻度と初出・最終出現位置の関係,(4)頻度と出現範囲の関係を調べた.分析の結果,以下のことが分かった.高頻度語ほど平均出現間隔が短く,初出が早く最終出現が遅かった.品詞別平均出現間隔には,7品詞グループ・16品詞のいずれでも,2作品間で正の順位相関がみられた.動詞類・形容詞類は名詞類より出現間隔が長い語の割合が高く,助辞類・記号類は出現間隔が短い語の割合が高かった.帰無モデルとの比較を行ったところ,観測された平均出現範囲はいずれの帰無モデルより有意に狭く,低頻度で短縮が最大であった.この傾向は文脈集中と語彙的結束性に整合するが,その背後にある談話上の仕組みを直接示すものではない.
利益相反に関する開示
利益相反はありませんダウンロード *前日までの集計結果を表示します
引用文献
Altmann, E. G., Pierrehumbert, J. B., & Motter, A. E. (2009). Beyond word frequency: Bursts, lulls, and scaling in the temporal distributions of words. PLoS ONE, 4(11), e7678. https://doi.org/10.1371/journal.pone.0007678
Corral, Á., Ferrer-i-Cancho, R., & Díaz-Guilera, A. (2009). Universal complex structures in written language (arXiv:0901.2924) [Preprint]. arXiv. https://doi.org/10.48550/arXiv.0901.2924
Halliday, M. A. K., & Hasan, R. (1976). Cohesion in English. London: Longman.
Kudo, T. (n.d.). MeCab (Version 0.996) [Computer software]. https://taku910.github.io/mecab/
Kudo, T., Yamamoto, K., & Matsumoto, Y. (2004). Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (pp. 230–237). Association for Computational Linguistics. https://aclanthology.org/W04-3230/
Lijffijt, J., Nevalainen, T., Säily, T., Papapetrou, P., Puolamäki, K., & Mannila, H. (2016). Significance testing of word frequencies in corpora. Digital Scholarship in the Humanities, 31(2), 374–397. https://doi.org/10.1093/llc/fqu064
National Institute for Japanese Language and Linguistics. (2023). UniDic for Contemporary Written Japanese (unidic-cwj-202302) [Morphological dictionary]. https://clrd.ninjal.ac.jp/unidic/
Yamazaki, M. (2025). Distribution and frequency of words in texts: An analysis of occurrence intervals and positions. 13th International Quantitative Linguistics Conference, Masaryk University, Brno, Czech Republic, June 28, 2025.
https://researchmap.jp/YAMAZAKI_Makoto/presentations/50498817?lang=en
Zipf, G. K. (1935). The psycho-biology of language: An introduction to dynamic philology. Boston: Houghton Mifflin.
Zipf, G. K. (1949). Human behavior and the principle of least effort: An introduction to human ecology. Cambridge, MA: Addison-Wesley Press.
ダウンロード
公開済
投稿日時: 2026-10-31 04:43:16 UTC
公開日時: 2026-11-16 02:53:14 UTC
ライセンス
Copyright(c)2026
山崎, 誠
この作品は、Creative Commons Attribution 4.0 International Licenseの下でライセンスされています。
