Educational Evaluation and ChatGPT
Empirical studies using statistical approaches
DOI:
https://doi.org/10.51094/jxiv.376Keywords:
ChatGPT, Educational Evaluation, OpenAIAbstract
With the recent increase in the number of qualitative evaluation items, ambiguity in evaluation has become an issue in the field of educational evaluation. We believe that the use of the rapidly developing AI technology of recent years may provide clues to solving this problem. To this end, basic research is essential. In this study, we measured the educational evaluation ability of AI. We used ChatGPT (ver. 3.5) released by OpenAI to evaluate 100 news reports three times each. The obtained scores were divided into three groups, "High," "Middle," and "Low," respectively, and Friedman test and Holm method multiple comparisons were conducted. The results showed that all pairs were significantly different(p<.01).
Conflicts of Interest Disclosure
The authors have no conflicts of interest directly relevant to the content of this article.Downloads *Displays the aggregated results up to the previous day.
References
CNBC. OpenAI: 2023 CNBC Disruptor 50. https://www.cnbc.com/2023/05/09/openai-disruptor-50.html, 2023年4月20日取得.
野村総合研究所. GPT-3. https://www.nri.com/jp/knowledge/glossary/lst/alphabet/gpt_3, 2023年4月15日取得.
GIZMODO. ChatGPTとは？始め方や使い方、料金も紹介【4月11日更新】. https://www.gizmodo.jp/2023/01/chat-gpt-openai-ai-finance-ai-everything-we-know.html#6, 2023年4月20日取得.
The Guardian. Colombian judge says he used ChatGPT in ruling. https://www.theguardian.com/technology/2023/feb/03/colombia-judge-chatgpt-ruling, 2023年4月21日取得.
日本経済新聞. 農林水産省、ChatGPT活用へ マニュアル更新など. https://www.nikkei.com/article/DGXZQOUA189IS0Y3A410C2000000/, 2023年4月20日取得.
産経新聞. 総務省もチャットＧＰＴ 松本総務相「試験的に利用」. https://www.iza.ne.jp/article/20230420-V3T3I5AT3VJLJJHPG7ANPWUOH4/, 2023年4月20日取得.
日本経済新聞. 広島県、県行政にChatGPT活用検討 資料作成など. https://www.nikkei.com/article/DGXZQOCC196CT0Z10C23A4000000/, 2023年4月20日取得.
日本経済新聞. 横須賀市や埼玉県戸田市、ChatGPTを実証 業務活用模索. https://www.nikkei.com/article/DGXZQOCC1875R0Y3A410C2000000/, 2023年4月20日取得.
産経新聞. 広島サミットでチャットGPTの在り方討議 松野官房長官. https://www.iza.ne.jp/article/20230420-SG762AYTFBNATBLTLCEBWMPU5Y/, 2023年4月20日取得.
インプレス. 教育ネット、「学校でAIを活用するためのChatGPTガイド」を無料配布. https://edu.watch.impress.co.jp/docs/news/1493895.html, 2023年4月20日取得.
産経新聞. チャットＧＰＴ 学習での取り扱い指針作成へ 文科省、５年度にも. https://www.iza.ne.jp/article/20230406-UQUXRBKOTBNMRNZUQCR2HB2TGA/, 2023年4月20日取得.
株式会社知財図鑑. シンガポール政府、教育現場での「ChatGPT」などのAIツールの利用を容認. https://chizaizukan.com/news/2BxpMjxKncSzzTtMuP4Ivx/, 2023年4月20日取得.
文部科学省. 確かな学力. https://www.mext.go.jp/a_menu/shotou/gakuryoku/faq.htm, 2023年4月10日取得.
国立教育政策研究所. 学習評価の在り方ハンドブック 小・中学校編. https://www.nier.go.jp/kaihatsu/pdf/gakushuhyouka_R010613-01.pdf, 2023年4月10日取得.
宮国泰史, 福本晃造, 杉尾幸司, 古川雅英（2018）. 教育評価における客観的評価と主観的評価との関係. 日本科学教育学会年会論文集, 42 (0), 263-266.
文部科学省. 児童生徒の学習評価の在り方について（報告）. https://www.mext.go.jp/b_menu/shingi/chukyo/chukyo3/004/gaiyou/attach/1292216.htm, 2023年4月24日取得.
椿本弥生, 赤堀侃司（2007）. 主観的レポート評価の系列効果を軽減するツールの開発と評価. 日本教育工学会論文誌, 30 (4), 275-282.
平井洋子, 渡部洋（1994）. 小論文評定のカテゴリ化に関する推定論的考察. 行動計量学, 21, 21-31.
渡部洋, 平由美子, 井上俊哉（1989）. 小論文評価データの解析. 東京大学教育学部紀要, 28, 143-164.
Cooper, P.L.(1984). The Assessment of Writing Ability: A Review of Research. Peter L. Cooper. GRE Board Research Report GREB No.82-l5R.
Klein, J.(2002). The Failure of decision support system: inconsistency in test grading by teachers. Teaching and Teacher Education, 18: 1023-1033.
Yahoo! Japan. Yahoo! ニュース. https://news.yahoo.co.jp/, 2023年3月1日取得.
清水裕士（2016）. フリーの統計分析ソフトHAD：機能の紹介と統計学習・教育，研究実践における利用方法の提案. メディア・情報・コミュニケーション研究, 1, 59-73.
吉田塁（2023）. 6 「ChatGPTを教育に取り入れる：アイデアと留意点」. https://www.nii.ac.jp/event/other/decs/past.html, 2023年4月20日取得.
Remondino, C.(1959). A factorial analysis of the evaluation of scholastic compositions in the mother tongue. British Journal of Educational Psychology, 30, 242-251.
WIRED. AIの学習データに含まれる個人情報が、ChatGPTにとって“大問題”になる. https://wired.jp/article/italy-ban-chatgpt-privacy-gdpr/, 2023年4月26日取得.
人工知能学会. 人工知能学会としての大規模生成モデルに対してのメッセージ. https://www.ai-gakkai.or.jp/ai-elsi/archives/info/%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD%E5%AD%A6%E4%BC%9A%E3%81%A8%E3%81%97%E3%81%A6%E3%81%AE%E5%A4%A7%E8%A6%8F%E6%A8%A1%E7%94%9F%E6%88%90%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AB%E5%AF%BE%E3%81%97%E3%81%A6, 2023年4月26日取得.
GIZMODO. サムスン、機密情報をChatGPTにリークして大問題に. https://www.gizmodo.jp/2023/04/samsung-leaks-confidential-information-to-chatbot.html, 2023年4月20日取得.
INSIDER. Two professors who say they caught students cheating on essays with ChatGPT explain why AI plagiarism can be hard to prove. https://www.businessinsider.com/chatgpt-essays-college-cheating-professors-caught-students-ai-plagiarism-2023-1, 2023年4月21日取得.
TV朝日. 対話型AI「チャットGPT」 イタリアで一時使用禁止に. https://news.tv-asahi.co.jp/news_international/articles/000293752.html, 2023年4月20日取得.
Chalkbeat. NYC education department blocks ChatGPT on school devices, networks. https://ny.chalkbeat.org/2023/1/3/23537987/nyc-schools-ban-chatgpt-writing-artificial-intelligence, 2023年4月30日取得.
朝日新聞デジタル. 鳥取県、業務ではChatGPT禁止 知事「ちゃんとジーミーチー」. https://www.asahi.com/articles/ASR4N4TS2R4NPUUB004.html, 2023年4月21日取得.
読売新聞オンライン. チャットＧＰＴ、学生の利用に対策…上智大「論文使用なら厳格な対応」. https://www.yomiuri.co.jp/kyoiku/kyoiku/news/20230408-OYT1T50388/, 2023年4月9日取得.
Downloads
Posted
Submitted: 2023-05-17 08:12:02 UTC
Published: 2023-05-26 08:17:38 UTC
License
Copyright (c) 2023
Naoto Watanabe
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
