高精度翻訳モデルのための自動評価手法の検討

抄録

機械翻訳システムの品質向上に伴い、特に明確な誤りの少ない高精度なモデルにおいて、モデル間の性能差を識別することが難しくなっている。そこで、本研究では、高精度なモデルに対しても十分な分解能を持ち、再現性と計算効率に優れる表層マッチング型評価手法を検討する。
まず、英和・和英それぞれ約 150 語程度の原文 50 件に対し、評価対象のモデルによって生成された翻訳文群を作成した。
その上で、複数の大規模言語モデル（LLM）による全対比較から翻訳の優劣を判定して、評価対象のモデル間のランキングを構築し、これを評価の正解データとしてみなすこととした。
なお、実験の中で、この正解データは異なる LLM 群間での Spearman 順位相関が極めて高く、高い一貫性があることが確認された。
このデータセットを評価軸として、新たな表層マッチング指標について検討した。
提案指標は、言語非依存性のため文字 $n$-gram 特徴量を用い、言い換えの多様性を吸収するため多数の参照訳を活用する。
最大 1{,}000 件の生成参照訳を用いた評価では、参照訳の数の増加に伴い提案指標は一貫して性能向上を示し、BLEU および chrF を上回った。
また、LLMを活用しつつ人手で作成した高品質参照訳を用いた実験では、提案指標を含む表層マッチング指標が、WMT24 で上位の指標である MetricX-24 より高い順位相関を示した。これらの結果から、表層マッチングに基づく軽量かつ安定した自動評価が可能であることが示唆された。