現場評価タスクにおけるロールカード変種の比較：ベアラベル・ペルソナ記述・汎用構造・職務スキーマの 9 条件実験

佐藤, 桂輔

doi:10.51094/jxiv.4633

##article.authors##

佐藤, 桂輔茨城工業高等専門学校 https://researchmap.jp/skeisuke

DOI:

https://doi.org/10.51094/jxiv.4633

キーワード:

ロールプロンプティング、職務スキーマ、ロールカード、 LLMエージェント、構造化指示

抄録

大規模言語モデル（LLM）に職業的役割を指示するロールプロンプティングは広く普及しているが、「あなたは探偵です」のようなペルソナラベルがどの程度有効かについては、先行研究の知見が分かれている。本研究は、ロールプロンプティングの有効成分を分離するため、三層ロールカード構造（AGENTS：認知フレーム、PARTICIPANT：読み手モデル、CONTRACT：品質基準）を提案し、そのうち AGENTS 層に埋め込む職務スキーマ（duty schema）――注目点・推論規範・禁則・出力基準を明示的に定義した構造化指示――の効果を検証する確認的実験を実施した。

実験では、GPT-5.4 をエージェント環境（Codex CLI、サンドボックス: read-only）で実行し、中立的な画像に対する現場評価文書の作成を課した。9つの実験条件（9 条件 x 2 刺激 x 9 反復 = 162 run）について、bundle 内で実行前に固定した仮説・対比較に基づき、5体の LLM ジャッジによる二段階評価（評価 I: 職種同定、評価 II: 5次元品質評価）で出力を測定した。

主要アウトカムである総合平均品質（評価 II）において、職務スキーマ条件（A60）はベアラベル条件（A10; diff=1.425, 95% CI [1.247, 1.604]）、ペルソナリッチ条件（A20; diff=1.188, 95% CI [1.064, 1.313]）、汎用構造化条件（A30; diff=0.829, 95% CI [0.627, 1.024]）をいずれも上回った。職務スキーマの内容を保持したまま、ラベルの汎用名への置換（A40）、Role 行の削除（A45）、矛盾ラベルの付与（A50）を行った場合も、A60 に対する検出可能な低下は観察されなかった（diff 範囲: -0.009〜0.049）。三層フルカード条件（A70）は A60 をわずかに上回った（diff=0.181, 95% CI [0.098, 0.256]）。

これらの結果は、本研究の設定において、測定された出力品質がペルソナラベル単独よりも職務スキーマの内容の有無とより強く対応していたことを示唆する。本稿は、少なくともこの実験設定の範囲で、ラベルの文言選択よりも手順書の内容設計を優先する実務的示唆が得られたことを論じる。

利益相反に関する開示

本研究に関して申告すべき利益相反はありません。

ダウンロード *前日までの集計結果を表示します

ダウンロード実績データは、公開の翌日以降に作成されます。

引用文献

Bavaresco, A. et al. (2025). LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 238-255. doi:10.18653/v1/2025.acl-short.20.

Cao, B. et al. (2024). On the Worst Prompt Performance of Large Language Models. Advances in Neural Information Processing Systems, 37. arXiv:2406.10248.

Chiang, C.-H. & Lee, H.-Y. (2023). Can Large Language Models Be an Alternative to Human Evaluations? In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 15607-15631. doi:10.18653/v1/2023.acl-long.870.

Cook, J. et al. (2024). TICKing All the Boxes: Generated Checklists Improve LLM Evaluation and Generation. arXiv preprint arXiv:2410.03608.

Dubois, Y. et al. (2024). Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators. Conference on Language Modeling (COLM) 2024. arXiv:2404.04475.

Kim, J. et al. (2025). Persona is a Double-Edged Sword: Rethinking the Impact of Role-play Prompts in Zero-shot Reasoning Tasks. In Proceedings of the 14th International Joint Conference on Natural Language Processing and the 4th Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics, pp. 848-862. doi:10.18653/v1/2025.findings-ijcnlp.51.

Kong, A. et al. (2024). Better Zero-Shot Reasoning with Role-Play Prompting. In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), pp. 4099-4113. doi:10.18653/v1/2024.naacl-long.228.

Li, Q. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv preprint arXiv:2506.22316.

Liu, Y. et al. (2023). G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 2511-2522. doi:10.18653/v1/2023.emnlp-main.153.

Luz de Araujo, P.H. et al. (2025). Principled Personas: Defining and Measuring the Intended Effects of Persona Prompting on Task Performance. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pp. 26857-26886. doi:10.18653/v1/2025.emnlp-main.1364.

Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. Advances in Neural Information Processing Systems, 36. arXiv:2303.17651.

Qian, K. et al. (2024). VarBench: Robust Language Model Benchmarking Through Dynamic Variable Perturbation. In Findings of the Association for Computational Linguistics: EMNLP 2024, pp. 16131-16161. doi:10.18653/v1/2024.findings-emnlp.946.

Romanou, A. et al. (2026). Brittlebench: Quantifying LLM robustness via prompt sensitivity. arXiv preprint arXiv:2603.13285.

Samuel, V. et al. (2025). PersonaGym: Evaluating Persona Agents and LLMs. In Findings of the Association for Computational Linguistics: EMNLP 2025, pp. 6999-7022. doi:10.18653/v1/2025.findings-emnlp.368.

Seleznyov, M. et al. (2025). When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs. In Findings of the Association for Computational Linguistics: EMNLP 2025, pp. 20370-20385. doi:10.18653/v1/2025.findings-emnlp.1109.

Shanahan, M., McDonell, K. & Reynolds, L. (2023). Role play with large language models. Nature, 623, 493-498. doi:10.1038/s41586-023-06647-8.

Shinn, N. et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. Advances in Neural Information Processing Systems, 36. arXiv:2303.11366.

Wang, N. et al. (2024). RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models. In Findings of the Association for Computational Linguistics: ACL 2024, pp. 14743-14777. doi:10.18653/v1/2024.findings-acl.878.

Wang, Y. et al. (2026). Role-Playing Agents Driven by Large Language Models: Current Status, Challenges, and Future Trends. arXiv preprint arXiv:2601.10122.

Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. Advances in Neural Information Processing Systems, 36. arXiv:2305.10601.

Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, 36. arXiv:2306.05685.

Zheng, M. et al. (2024). When "A Helpful Assistant" Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2024, pp. 15126-15154. doi:10.18653/v1/2024.findings-emnlp.888.

Zhou, J. et al. (2023). Instruction-Following Evaluation for Large Language Models. arXiv preprint arXiv:2311.07911.