日本語学習者の作文に対する安定した印象評価データの収集方法
DOI:
https://doi.org/10.51094/jxiv.855キーワード:
『W-CoLeJa』、 ライティング、 日本語母語話者、 クラウドソーシングサービス、 一般化可能性理論抄録
本稿では, 日本語学習者作文縦断コーパス『W-CoLeJa』に付与する予定の印象評価データについて,安定したデータの収集方法を検討した。日本語母語話者12名が1人当たり42作文を評価したパイロット調査の結果を,相関分析および一般化可能性理論によって分析したところ,3点の結果が得られた。(1)中程度の作文を評価の目安とすることで評価者間の評価尺度のずれを小さくし,ある程度安定したデータを収集することができる。(2)収集方法の改善点として,総合評価を50点満点の細かい評価から10段階などの粗い評価にする,一度に評価する作文数を減らす,説明の中の「結束性」のような専門的な語を平易な語に置き換えることが必要である。(3)評価者数について,一般化可能性理論のD研究の結果から,評価項目数が現行の11項目の場合,現行の調査より評価者数を減らしてもある程度の信頼性を確保することが可能である。
利益相反に関する開示
本論文に公表すべきCOIはありません。ダウンロード *前日までの集計結果を表示します
引用文献
Richard J. Shavelson and Noreen M. Webb (1991) Generalizability Theory: A Primer. CA, US: Sage Pub-lications.
池田央 (1994) 『現代テスト理論』東京:朝倉書店.
石黒圭 (2017) 「文章とは何か 日本語の表現面から見たよい文章」李在鎬(編)『文章を科学する』14‒37. 東京:ひつじ書房.
伊集院郁子 (2017) 「作文と評価 日本語教育的観点から見たよい文章」李在鎬(編)『文章を科学する』38‒57. 東京:ひつじ書房.
伊集院郁子・李在鎬・小森和子・野口裕之 (2020) 「評価コメントに見られる意見文評価の様相―共起ネットワーク及びコレスポンデンス分析に基づく考察」『第二言語としての日本語の習得研究』23: 26‒43.
宇佐美洋 (2014) 『「非母語話者の日本語」は、どのように評価されているか』東京:ココ出版.
近藤安月子・小森和子(編) (2012) 『研究社・日本語教育事典』東京:研究社(「一般化可能性理論」執筆者:大隅敦子・野口裕之).
田中真理 (2016) 「パフォーマンス評価はなぜばらつくのか? アカデミック・ライティングの評価における評価者の「型」」宇佐美洋(編)『「評価」を持って街に出よう』34‒53. 東京:くろしお出版.
田中真理 (2022) 「ライティング評価の限界といいとこ取り」鎌田修・由井紀久子・池田隆介(編)『日本語プロフィシエンシー研究の広がり』225‒237. 東京:ひつじ書房.
田中真理・坪根由香里・初鹿野阿れ (1998) 「第二言語としての日本語における作文評価基準―日本語教師と一般日本人の比較―」『日本語教育』96: 1‒12.
田中真理・長阪朱美 (2006) 「第2言語としての日本語ライティング評価基準とその作成過程」国立国語研究所(編)『世界の言語テスト』253‒276. 東京:くろしお出版.
田中真理・長阪朱美 (2009) 「ライティング評価の一致はなぜ難しいか―人間の介在するアセスメント―」『社会言語科学』12(1): 108‒121.
平井明代 (2018) 『教育・心理・言語系研究のためのデータ分析』東京:東京図書.
福田純也・石井雄隆 (2016) 「中国語を第一言語とする日本語学習者の作文に対する日本語教師の評価:一般化可能性理論を用いた検討」『日本教科教育学会誌』39(2): 81‒89.
水本篤 (2008) 「自由作文における評定者評価の種類と信頼性」統計数理研究所共同研究リポート215『学習者コーパスの解析にもとづく客観的作文評価指標の検討』43‒49.統計数理研究所.
山田剛史・村井潤一郎 (2004) 『よくわかる心理統計』京都:ミネルヴァ書房.
山西博之 (2005) 「一般化可能性理論を用いた高校生の自由英作文評価の検討」『JALT Journal』27(2): 169‒185.
山森光陽 (2002) 「一般化可能性理論を用いた観点別評価の方法論の検討」『STEP Bulletin』14: 62‒70.
山森光陽 (2004) 「英会話テストの信頼性の検討-一般化可能性理論―」 前田啓朗・山森光陽(編著)『英語教師のための教育データ分析入門―授業が変わるテスト・評価・研究』82‒89. 東京:大修館書店.
ダウンロード
公開済
投稿日時: 2024-08-21 05:23:34 UTC
公開日時: 2024-08-22 08:30:03 UTC
ライセンス
Copyright(c)2024
本多, 由美子
井伊, 菜穂子
![Creative Commons License](http://i.creativecommons.org/l/by/4.0/88x31.png)
この作品は、Creative Commons Attribution 4.0 International Licenseの下でライセンスされています。