Methods for Collecting Stable Data on Impression Evaluations of Japanese Learners' Writings
DOI:
https://doi.org/10.51094/jxiv.855Keywords:
“W-CoLeJa”, Writing, Japanese native speakers, crowdsourcing, Generalizability TheoryAbstract
This paper explores stable data collection methods for including impression evaluation data in the longitudinal corpus of Japanese learners’ writings, “W-CoLeJa”. In a pilot survey, 12 native Japanese speakers evaluated 42 writings, and their results were analyzed using correlation analysis and Generalizability Theory (G theory), yielding three findings. (1) Using a medium level of writing as a benchmark, the deviation in the evaluation scale among raters could be reduced, enabling the collection of relatively stable data. (2) Improvements to the collection method include changing the overall rating from a fine-grained 50-point scale to a coarser one, such as a 10-point scale, reducing the number of writings evaluated all at one time, and replacing technical terms such as “cohesion” in the explanations with simpler words. (3) Regarding the number of raters, the results of a Decision Study (D study) based on G Theory suggest that, even if the number of raters is reduced from the current survey, it is possible to maintain a certain level of reliability with the current 11 evaluation items.
Conflicts of Interest Disclosure
There is no conflict of interest to disclose in this paper.Downloads *Displays the aggregated results up to the previous day.
References
Richard J. Shavelson and Noreen M. Webb (1991) Generalizability Theory: A Primer. CA, US: Sage Pub-lications.
池田央 (1994) 『現代テスト理論』東京:朝倉書店.
石黒圭 (2017) 「文章とは何か 日本語の表現面から見たよい文章」李在鎬(編)『文章を科学する』14‒37. 東京:ひつじ書房.
伊集院郁子 (2017) 「作文と評価 日本語教育的観点から見たよい文章」李在鎬(編)『文章を科学する』38‒57. 東京:ひつじ書房.
伊集院郁子・李在鎬・小森和子・野口裕之 (2020) 「評価コメントに見られる意見文評価の様相―共起ネットワーク及びコレスポンデンス分析に基づく考察」『第二言語としての日本語の習得研究』23: 26‒43.
宇佐美洋 (2014) 『「非母語話者の日本語」は、どのように評価されているか』東京:ココ出版.
近藤安月子・小森和子(編) (2012) 『研究社・日本語教育事典』東京:研究社(「一般化可能性理論」執筆者:大隅敦子・野口裕之).
田中真理 (2016) 「パフォーマンス評価はなぜばらつくのか? アカデミック・ライティングの評価における評価者の「型」」宇佐美洋(編)『「評価」を持って街に出よう』34‒53. 東京:くろしお出版.
田中真理 (2022) 「ライティング評価の限界といいとこ取り」鎌田修・由井紀久子・池田隆介(編)『日本語プロフィシエンシー研究の広がり』225‒237. 東京:ひつじ書房.
田中真理・坪根由香里・初鹿野阿れ (1998) 「第二言語としての日本語における作文評価基準―日本語教師と一般日本人の比較―」『日本語教育』96: 1‒12.
田中真理・長阪朱美 (2006) 「第2言語としての日本語ライティング評価基準とその作成過程」国立国語研究所(編)『世界の言語テスト』253‒276. 東京:くろしお出版.
田中真理・長阪朱美 (2009) 「ライティング評価の一致はなぜ難しいか―人間の介在するアセスメント―」『社会言語科学』12(1): 108‒121.
平井明代 (2018) 『教育・心理・言語系研究のためのデータ分析』東京:東京図書.
福田純也・石井雄隆 (2016) 「中国語を第一言語とする日本語学習者の作文に対する日本語教師の評価:一般化可能性理論を用いた検討」『日本教科教育学会誌』39(2): 81‒89.
水本篤 (2008) 「自由作文における評定者評価の種類と信頼性」統計数理研究所共同研究リポート215『学習者コーパスの解析にもとづく客観的作文評価指標の検討』43‒49.統計数理研究所.
山田剛史・村井潤一郎 (2004) 『よくわかる心理統計』京都:ミネルヴァ書房.
山西博之 (2005) 「一般化可能性理論を用いた高校生の自由英作文評価の検討」『JALT Journal』27(2): 169‒185.
山森光陽 (2002) 「一般化可能性理論を用いた観点別評価の方法論の検討」『STEP Bulletin』14: 62‒70.
山森光陽 (2004) 「英会話テストの信頼性の検討-一般化可能性理論―」 前田啓朗・山森光陽(編著)『英語教師のための教育データ分析入門―授業が変わるテスト・評価・研究』82‒89. 東京:大修館書店.
Downloads
Posted
Submitted: 2024-08-21 05:23:34 UTC
Published: 2024-08-22 08:30:03 UTC
License
Copyright (c) 2024
Yumiko HONDA
Nahoko II
![Creative Commons License](http://i.creativecommons.org/l/by/4.0/88x31.png)
This work is licensed under a Creative Commons Attribution 4.0 International License.