日本語学習者の作文に対する安定した印象評価データの収集方法

抄録

本稿では, 日本語学習者縦断作文コーパス『W-CoLeJa』に付与する予定の印象評価データについて，安定したデータの収集方法を検討した。日本語母語話者12名が1人当たり42作文を評価したパイロット調査の結果を，相関分析および一般化可能性理論によって分析したところ，3点の結果が得られた。（1）中程度の作文を評価の目安とすることで評価者間の評価尺度のずれを小さくし，ある程度安定したデータを収集することができる。（2）収集方法の改善点として，総合評価を50点満点の細かい評価から10段階などの粗い評価にする，一度に評価する作文数を減らす，説明の中の「結束性」のような専門的な語を平易な語に置き換えることが必要である。（3）評価者数について，一般化可能性理論のD研究の結果から，評価項目数が現行の11項目の場合，現行の調査より評価者数を減らしてもある程度の信頼性を確保することが可能である。