プレプリント / バージョン1

教育評価とChatGPT

統計アプローチによる実証的研究

##article.authors##

  • 渡辺, 直人 和歌山信愛女子短期大学 保育科

DOI:

https://doi.org/10.51094/jxiv.376

キーワード:

ChatGPT、 教育評価、 OpenAI

抄録

定性的評価物が増えている昨今、教育評価においては評価の曖昧性が課題となっている。発展著しい近年のAIテクノロジーを用いれば、この課題解決の手掛かりを得られるのではないだろうか。そのためにも、まずは基礎研究が必須である。本研究ではその一つとして、AIの教育評価能力を測定した。実施に関し、OpenAIがリリースしているChatGPT(ver.3.5)を用いて、報道レポート100本を3回ずつ評価させた。得られた得点をそれぞれ「High」群、「Middle」群、「Low」群の3群に分け、フリードマン検定及びホルム法多重比較を行った。その結果、すべてのペアで有意な差が認められた(p<.01)。

利益相反に関する開示

本研究に関連し、開示すべき COI 関係にある企業等はない。

ダウンロード *前日までの集計結果を表示します

ダウンロード実績データは、公開の翌日以降に作成されます。

引用文献

CNBC. OpenAI: 2023 CNBC Disruptor 50. https://www.cnbc.com/2023/05/09/openai-disruptor-50.html, 2023年4月20日取得.

野村総合研究所. GPT-3. https://www.nri.com/jp/knowledge/glossary/lst/alphabet/gpt_3, 2023年4月15日取得.

GIZMODO. ChatGPTとは?始め方や使い方、料金も紹介【4月11日更新】. https://www.gizmodo.jp/2023/01/chat-gpt-openai-ai-finance-ai-everything-we-know.html#6, 2023年4月20日取得.

The Guardian. Colombian judge says he used ChatGPT in ruling. https://www.theguardian.com/technology/2023/feb/03/colombia-judge-chatgpt-ruling, 2023年4月21日取得.

日本経済新聞. 農林水産省、ChatGPT活用へ マニュアル更新など. https://www.nikkei.com/article/DGXZQOUA189IS0Y3A410C2000000/, 2023年4月20日取得.

産経新聞. 総務省もチャットGPT 松本総務相「試験的に利用」. https://www.iza.ne.jp/article/20230420-V3T3I5AT3VJLJJHPG7ANPWUOH4/, 2023年4月20日取得.

日本経済新聞. 広島県、県行政にChatGPT活用検討 資料作成など. https://www.nikkei.com/article/DGXZQOCC196CT0Z10C23A4000000/, 2023年4月20日取得.

日本経済新聞. 横須賀市や埼玉県戸田市、ChatGPTを実証 業務活用模索. https://www.nikkei.com/article/DGXZQOCC1875R0Y3A410C2000000/, 2023年4月20日取得.

産経新聞. 広島サミットでチャットGPTの在り方討議 松野官房長官. https://www.iza.ne.jp/article/20230420-SG762AYTFBNATBLTLCEBWMPU5Y/, 2023年4月20日取得.

インプレス. 教育ネット、「学校でAIを活用するためのChatGPTガイド」を無料配布. https://edu.watch.impress.co.jp/docs/news/1493895.html, 2023年4月20日取得.

産経新聞. チャットGPT 学習での取り扱い指針作成へ 文科省、5年度にも. https://www.iza.ne.jp/article/20230406-UQUXRBKOTBNMRNZUQCR2HB2TGA/, 2023年4月20日取得.

株式会社知財図鑑. シンガポール政府、教育現場での「ChatGPT」などのAIツールの利用を容認. https://chizaizukan.com/news/2BxpMjxKncSzzTtMuP4Ivx/, 2023年4月20日取得.

文部科学省. 確かな学力. https://www.mext.go.jp/a_menu/shotou/gakuryoku/faq.htm, 2023年4月10日取得.

国立教育政策研究所. 学習評価の在り方ハンドブック 小・中学校編. https://www.nier.go.jp/kaihatsu/pdf/gakushuhyouka_R010613-01.pdf, 2023年4月10日取得.

宮国泰史, 福本晃造, 杉尾幸司, 古川雅英(2018). 教育評価における客観的評価と主観的評価との関係. 日本科学教育学会年会論文集, 42 (0), 263-266.

文部科学省. 児童生徒の学習評価の在り方について(報告). https://www.mext.go.jp/b_menu/shingi/chukyo/chukyo3/004/gaiyou/attach/1292216.htm, 2023年4月24日取得.

椿本弥生, 赤堀侃司(2007). 主観的レポート評価の系列効果を軽減するツールの開発と評価. 日本教育工学会論文誌, 30 (4), 275-282.

平井洋子, 渡部洋(1994). 小論文評定のカテゴリ化に関する推定論的考察. 行動計量学, 21, 21-31.

渡部洋, 平由美子, 井上俊哉(1989). 小論文評価データの解析. 東京大学教育学部紀要, 28, 143-164.

Cooper, P.L.(1984). The Assessment of Writing Ability: A Review of Research. Peter L. Cooper. GRE Board Research Report GREB No.82-l5R.

Klein, J.(2002). The Failure of decision support system: inconsistency in test grading by teachers. Teaching and Teacher Education, 18: 1023-1033.

Yahoo! Japan. Yahoo! ニュース. https://news.yahoo.co.jp/, 2023年3月1日取得.

清水裕士(2016). フリーの統計分析ソフトHAD:機能の紹介と統計学習・教育,研究実践における利用方法の提案. メディア・情報・コミュニケーション研究, 1, 59-73.

吉田塁(2023). 6 「ChatGPTを教育に取り入れる:アイデアと留意点」. https://www.nii.ac.jp/event/other/decs/past.html, 2023年4月20日取得.

Remondino, C.(1959). A factorial analysis of the evaluation of scholastic compositions in the mother tongue. British Journal of Educational Psychology, 30, 242-251.

WIRED. AIの学習データに含まれる個人情報が、ChatGPTにとって“大問題”になる. https://wired.jp/article/italy-ban-chatgpt-privacy-gdpr/, 2023年4月26日取得.

人工知能学会. 人工知能学会としての大規模生成モデルに対してのメッセージ. https://www.ai-gakkai.or.jp/ai-elsi/archives/info/%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD%E5%AD%A6%E4%BC%9A%E3%81%A8%E3%81%97%E3%81%A6%E3%81%AE%E5%A4%A7%E8%A6%8F%E6%A8%A1%E7%94%9F%E6%88%90%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AB%E5%AF%BE%E3%81%97%E3%81%A6, 2023年4月26日取得.

GIZMODO. サムスン、機密情報をChatGPTにリークして大問題に. https://www.gizmodo.jp/2023/04/samsung-leaks-confidential-information-to-chatbot.html, 2023年4月20日取得.

INSIDER. Two professors who say they caught students cheating on essays with ChatGPT explain why AI plagiarism can be hard to prove. https://www.businessinsider.com/chatgpt-essays-college-cheating-professors-caught-students-ai-plagiarism-2023-1, 2023年4月21日取得.

TV朝日. 対話型AI「チャットGPT」 イタリアで一時使用禁止に. https://news.tv-asahi.co.jp/news_international/articles/000293752.html, 2023年4月20日取得.

Chalkbeat. NYC education department blocks ChatGPT on school devices, networks. https://ny.chalkbeat.org/2023/1/3/23537987/nyc-schools-ban-chatgpt-writing-artificial-intelligence, 2023年4月30日取得.

朝日新聞デジタル. 鳥取県、業務ではChatGPT禁止 知事「ちゃんとジーミーチー」. https://www.asahi.com/articles/ASR4N4TS2R4NPUUB004.html, 2023年4月21日取得.

読売新聞オンライン. チャットGPT、学生の利用に対策…上智大「論文使用なら厳格な対応」. https://www.yomiuri.co.jp/kyoiku/kyoiku/news/20230408-OYT1T50388/, 2023年4月9日取得.

ダウンロード

公開済


投稿日時: 2023-05-17 08:12:02 UTC

公開日時: 2023-05-26 08:17:38 UTC
研究分野
心理学・教育学