引用文脈分析における大規模言語モデル(LLM)の応用可能性

抄録

従来の計量書誌的な引用分析に対して，個々の引用が持つ文脈的な情報を考慮に入れて分析を行う，引用文脈分析と呼ばれる手法が提案されている。
引用文脈分析は引用分析に対して相補的な知見をもたらすことが期待されるが，分析のためにはアノテーション作業により大規模なデータセットを作成する必要があり，そのためのコストが大きいことが課題となっている。一方で，昨今急速に普及しつつある大規模言語モデル (LLM, Large Language Model)にアノテーション作業を代行させようとする試みも見られるようになっている。ただし，こうした先行研究の多くは一般的なテキストを対象とするものであり，論文のような特殊な語彙・フォーマットをもつテキストに適用した場合にどのような性能を発揮するかは必ずしも明らかではない。本研究では，公開されている引用文脈分析のデータセットとその作成に用いたアノテーション作業のためのマニュアルを参照して，LLMの引用文脈分析への応用可能性を探ることを目的とする。より具体的には，1. 引用文脈分析におけるアノテーション作業についてLLMは人間を代替できるか、2. 引用文脈分析においてLLMをどのように活用することが有効であるかといった点について検討を行う。本研究の結果から，LLMによるアノテーションのパフォーマンスは一貫性という観点からは人間に匹敵もしくは上回るものの，精度においては高いパフォーマンスを発揮しているとはいえないことがわかった。このため，引用文脈分析に伴う人間によるアノテーション作業をただちにLLMに代行させることは現時点では適切ではない。しかし，人間のアノテーターの人数を確保することが難しい場合，LLMをアノテーターの一人として用いることは可能である。本研究は，引用文脈分析の今後の発展のために重要となる，以上のような基礎的な知見を提供するものである。