東南アジアにおける研究の実践から見た大規模言語モデルの利活用について

抄録

本稿は、 東南アジアの政治研究における非構造化テキストの構造化という課題に対し、 大規模言語モデル （LLM） の実践的利活用を検討したものである。 従来の研究は人手のラベリングに依存し、 大規模データへの対応と一貫性に課題が生じていた。 本稿では、 ⑴OpenAI API で汎用モデルを用いる方法と、⑵BERTをファインチューニングして用いる方法を、同一タスク（マレーシア政治のニュース／コメントを 12 個のトピック、 4 つの極性で分類するという事例） で比較しながら提示する。 前者ではプロンプトエンジニアリングを施しながら、温度パラメータ(temperature)を 0 にし、Structured Outputs による JSON 形式の出力設定で多様性と出力形式を制御することで、少数の例示で高精度かつ一定の再現性を得る利点があるが、完全な再現性を得ることには限界がある。Facebook と Reddit の計 43,546 件から抽出したテスト 50件に対し、 GPT-4o-mini で分類した結果の重み付き F1 スコアは 0.8752 であった。 後者の BERT では Human-in-the-Loop を核に、 k 平均法による多様性サンプリングと予測確率に基づく不確実性サンプリングを反復して決定境界付近を重点的にアノテーションしていき、データを 405 件、1,205 件、そして 1,705 件へと拡充した。加えて肯定的／中立的なデータが少ないというデータの偏りを補正するため、OpenAI API で200 件の人工的なデータを作成してデータ拡張を行った。その結果、重み付き F1 は 0.6898、 0.7134、 0.8212、0.8476 と改善し、 最終的にハイパーパラメータのチューニングをしたモデルでは 0.8606 に到達して GPT-4o-mini に近い性能となった。トピック別では政治的リーダーシップや行政パフォーマンスなど、単一文に賛否が並存しやすい領域では性能が伸び悩み、実務上ではラベル設計の再考が有効であることが示唆された。再現性の許容度が高い場面では API の活用が有効であり、長期の安定運用やバージョン固定、データ拡張による性能の向上を目指す場面では BERT のファインチューニングが有利である。加えて、人間による出力の監視とデータの統計的な品質管理、大規模言語モデルを適用する領域に関する知見とデータサイエンスの協働が不可欠である。 本報告は LLM を用いた社会科学における定量的な分析に対する実務的なロードマップを提示した。