教育評価とChatGPT
統計アプローチによる実証的研究
DOI:
https://doi.org/10.51094/jxiv.376キーワード:
ChatGPT、 教育評価、 OpenAI抄録
定性的評価物が増えている昨今、教育評価においては評価の曖昧性が課題となっている。発展著しい近年のAIテクノロジーを用いれば、この課題解決の手掛かりを得られるのではないだろうか。そのためにも、まずは基礎研究が必須である。本研究ではその一つとして、AIの教育評価能力を測定した。実施に関し、OpenAIがリリースしているChatGPT（ver.3.5）を用いて、報道レポート100本を3回ずつ評価させた。得られた得点をそれぞれ「High」群、「Middle」群、「Low」群の3群に分け、フリードマン検定及びホルム法多重比較を行った。その結果、すべてのペアで有意な差が認められた（p<.01）。
利益相反に関する開示
本研究に関連し、開示すべき COI 関係にある企業等はない。ダウンロード *前日までの集計結果を表示します
引用文献
CNBC. OpenAI: 2023 CNBC Disruptor 50. https://www.cnbc.com/2023/05/09/openai-disruptor-50.html, 2023年4月20日取得.
野村総合研究所. GPT-3. https://www.nri.com/jp/knowledge/glossary/lst/alphabet/gpt_3, 2023年4月15日取得.
GIZMODO. ChatGPTとは？始め方や使い方、料金も紹介【4月11日更新】. https://www.gizmodo.jp/2023/01/chat-gpt-openai-ai-finance-ai-everything-we-know.html#6, 2023年4月20日取得.
The Guardian. Colombian judge says he used ChatGPT in ruling. https://www.theguardian.com/technology/2023/feb/03/colombia-judge-chatgpt-ruling, 2023年4月21日取得.
日本経済新聞. 農林水産省、ChatGPT活用へ マニュアル更新など. https://www.nikkei.com/article/DGXZQOUA189IS0Y3A410C2000000/, 2023年4月20日取得.
産経新聞. 総務省もチャットＧＰＴ 松本総務相「試験的に利用」. https://www.iza.ne.jp/article/20230420-V3T3I5AT3VJLJJHPG7ANPWUOH4/, 2023年4月20日取得.
日本経済新聞. 広島県、県行政にChatGPT活用検討 資料作成など. https://www.nikkei.com/article/DGXZQOCC196CT0Z10C23A4000000/, 2023年4月20日取得.
日本経済新聞. 横須賀市や埼玉県戸田市、ChatGPTを実証 業務活用模索. https://www.nikkei.com/article/DGXZQOCC1875R0Y3A410C2000000/, 2023年4月20日取得.
産経新聞. 広島サミットでチャットGPTの在り方討議 松野官房長官. https://www.iza.ne.jp/article/20230420-SG762AYTFBNATBLTLCEBWMPU5Y/, 2023年4月20日取得.
インプレス. 教育ネット、「学校でAIを活用するためのChatGPTガイド」を無料配布. https://edu.watch.impress.co.jp/docs/news/1493895.html, 2023年4月20日取得.
産経新聞. チャットＧＰＴ 学習での取り扱い指針作成へ 文科省、５年度にも. https://www.iza.ne.jp/article/20230406-UQUXRBKOTBNMRNZUQCR2HB2TGA/, 2023年4月20日取得.
株式会社知財図鑑. シンガポール政府、教育現場での「ChatGPT」などのAIツールの利用を容認. https://chizaizukan.com/news/2BxpMjxKncSzzTtMuP4Ivx/, 2023年4月20日取得.
文部科学省. 確かな学力. https://www.mext.go.jp/a_menu/shotou/gakuryoku/faq.htm, 2023年4月10日取得.
国立教育政策研究所. 学習評価の在り方ハンドブック 小・中学校編. https://www.nier.go.jp/kaihatsu/pdf/gakushuhyouka_R010613-01.pdf, 2023年4月10日取得.
宮国泰史, 福本晃造, 杉尾幸司, 古川雅英（2018）. 教育評価における客観的評価と主観的評価との関係. 日本科学教育学会年会論文集, 42 (0), 263-266.
文部科学省. 児童生徒の学習評価の在り方について（報告）. https://www.mext.go.jp/b_menu/shingi/chukyo/chukyo3/004/gaiyou/attach/1292216.htm, 2023年4月24日取得.
椿本弥生, 赤堀侃司（2007）. 主観的レポート評価の系列効果を軽減するツールの開発と評価. 日本教育工学会論文誌, 30 (4), 275-282.
平井洋子, 渡部洋（1994）. 小論文評定のカテゴリ化に関する推定論的考察. 行動計量学, 21, 21-31.
渡部洋, 平由美子, 井上俊哉（1989）. 小論文評価データの解析. 東京大学教育学部紀要, 28, 143-164.
Cooper, P.L.(1984). The Assessment of Writing Ability: A Review of Research. Peter L. Cooper. GRE Board Research Report GREB No.82-l5R.
Klein, J.(2002). The Failure of decision support system: inconsistency in test grading by teachers. Teaching and Teacher Education, 18: 1023-1033.
Yahoo! Japan. Yahoo! ニュース. https://news.yahoo.co.jp/, 2023年3月1日取得.
清水裕士（2016）. フリーの統計分析ソフトHAD：機能の紹介と統計学習・教育，研究実践における利用方法の提案. メディア・情報・コミュニケーション研究, 1, 59-73.
吉田塁（2023）. 6 「ChatGPTを教育に取り入れる：アイデアと留意点」. https://www.nii.ac.jp/event/other/decs/past.html, 2023年4月20日取得.
Remondino, C.(1959). A factorial analysis of the evaluation of scholastic compositions in the mother tongue. British Journal of Educational Psychology, 30, 242-251.
WIRED. AIの学習データに含まれる個人情報が、ChatGPTにとって“大問題”になる. https://wired.jp/article/italy-ban-chatgpt-privacy-gdpr/, 2023年4月26日取得.
人工知能学会. 人工知能学会としての大規模生成モデルに対してのメッセージ. https://www.ai-gakkai.or.jp/ai-elsi/archives/info/%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD%E5%AD%A6%E4%BC%9A%E3%81%A8%E3%81%97%E3%81%A6%E3%81%AE%E5%A4%A7%E8%A6%8F%E6%A8%A1%E7%94%9F%E6%88%90%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AB%E5%AF%BE%E3%81%97%E3%81%A6, 2023年4月26日取得.
GIZMODO. サムスン、機密情報をChatGPTにリークして大問題に. https://www.gizmodo.jp/2023/04/samsung-leaks-confidential-information-to-chatbot.html, 2023年4月20日取得.
INSIDER. Two professors who say they caught students cheating on essays with ChatGPT explain why AI plagiarism can be hard to prove. https://www.businessinsider.com/chatgpt-essays-college-cheating-professors-caught-students-ai-plagiarism-2023-1, 2023年4月21日取得.
TV朝日. 対話型AI「チャットGPT」 イタリアで一時使用禁止に. https://news.tv-asahi.co.jp/news_international/articles/000293752.html, 2023年4月20日取得.
Chalkbeat. NYC education department blocks ChatGPT on school devices, networks. https://ny.chalkbeat.org/2023/1/3/23537987/nyc-schools-ban-chatgpt-writing-artificial-intelligence, 2023年4月30日取得.
朝日新聞デジタル. 鳥取県、業務ではChatGPT禁止 知事「ちゃんとジーミーチー」. https://www.asahi.com/articles/ASR4N4TS2R4NPUUB004.html, 2023年4月21日取得.
読売新聞オンライン. チャットＧＰＴ、学生の利用に対策…上智大「論文使用なら厳格な対応」. https://www.yomiuri.co.jp/kyoiku/kyoiku/news/20230408-OYT1T50388/, 2023年4月9日取得.
ダウンロード
公開済
投稿日時: 2023-05-17 08:12:02 UTC
公開日時: 2023-05-26 08:17:38 UTC
ライセンス
Copyright（c）2023
渡辺, 直人
この作品は、Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Licenseの下でライセンスされています。
