生成AI 時代における意味変化の監査構造： Resonant Deviation Evaluator

加納, 智之

doi:10.51094/jxiv.4624

##article.authors##

加納, 智之 ZYX Corp株式会社人工叡智研究室 https://orcid.org/0009-0004-8213-4631

DOI:

https://doi.org/10.51094/jxiv.4624

キーワード:

意味変化、意味ドリフト、生成AI評価、 AI監査、意味来歴、説明責任、注釈スキャフォールド、意味変化の許容性、共鳴的差異評価器、 LLMによる評価

抄録

本論文は、生成AI システムが生成・要約・翻訳・補筆・仕様化・意思決定支援を行う際に生じる「意味変化」を

監査対象として定式化し、その評価枠組みとしてResonant Deviation Evaluator（RDE）を提案する理論的

枠組み提案論文である。従来のLLM 評価は、正確性、安全性、嗜好適合性、方針遵守、意味的類似度を中心とし

てきた。しかし、生成AI の実用上の危険は、明示的な誤答や有害出力に限られない。元の文脈に含まれていた

意図、留保、不確実性、価値対立、責任所在、制度的含意が、自然な出力の中で変形・縮退・逸脱することがある。

本論文では、この変化をΔ M として捉え、RDE を、生成前後の意味状態を比較し、保存された要素、許可さ

れた変換、推論的補完、未解決差分、疑わしい逸脱、重大な歪曲へ分類する評価構造として定義する。

RDE は、Diff、Policy Filter、Safety Filter、LLM-as-a-judge の単なる変種ではなく、意味変化の許容性

を、文脈・関係履歴・制度的制約との共鳴に基づいて裁定する層である。本論文は、RDE の理論的定義、分類

体系、最小アーキテクチャ、事例分析、pilot study design、実証に向けた実装計画を示し、生成AI 時代にお

ける意味変化監査の必要性と検証可能性を論じる。

利益相反に関する開示

著者はZYX Corp株式会社の取締役かつ常勤役員であり、同社のストックオプションを保有している。また、本研究はZYX Corp株式会社の研究開発費により実施された。

ダウンロード *前日までの集計結果を表示します

ダウンロード実績データは、公開の翌日以降に作成されます。

引用文献

Austin, J. L. (1962). *How to Do Things with Words*. Oxford University Press.

Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.

Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? *Proceedings of FAccT 2021*, 610–623.

Biber, D., Johansson, S., Leech, G., Conrad, S., and Finegan, E. (1999). *Longman Grammar of Spoken and Written English*. Longman.

Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.

Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. *Advances in Neural Information Processing Systems*, 33, 1877–1901.

Coates, J. (1983). *The Semantics of the Modal Auxiliaries*. Croom Helm.

Dagan, I., Glickman, O., and Magnini, B. (2006). The PASCAL Recognising Textual Entailment Challenge. *Machine Learning Challenges Workshop*, 177–190.

Derrida, J. (1967). *De la grammatologie*. Minuit.

Fabbri, A. R., Kryscinski, W., McCann, B., Xiong, C., Socher, R., and Radev, D. (2021). SummEval: Re-evaluating Summarization Evaluation. *Transactions of the Association for Computational Linguistics*, 9, 391–409.

Fairclough, N. (1992). *Discourse and Social Change*. Polity Press.

Floridi, L. (2016). Faultless Responsibility: On the Nature and Allocation of Moral Responsibility for Distributed Moral Actions. *Philosophical Transactions of the Royal Society A*, 374(2083), 20160112.

Gebru, T., et al. (2021). Datasheets for Datasets. *Communications of the ACM*, 64(12), 86–92.

Hyland, K. (1998). *Hedging in Scientific Research Articles*. John Benjamins.

Ji, Z., et al. (2023). Survey of Hallucination in Natural Language Generation. *ACM Computing Surveys*, 55(12), 1–38.

Lin, S., Hilton, J., and Evans, O. (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. *Proceedings of ACL 2022*, 3214–3252.

Lommel, A., Burchardt, A., and Uszkoreit, H. (2014). Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics. *Tradumàtica*, 12, 455–463.

Martin, J. R., and White, P. R. R. (2005). *The Language of Evaluation: Appraisal in English*. Palgrave Macmillan.

Maynez, J., Narayan, S., Bohnet, B., and McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. *Proceedings of ACL 2020*, 1906–1919.

Min, S., et al. (2023). FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. *Proceedings of EMNLP 2023*, 12076–12100.

Mitchell, M., et al. (2019). Model Cards for Model Reporting. *Proceedings of FAT* 2019*, 220–229.

Nissenbaum, H. (2009). *Privacy in Context: Technology, Policy, and the Integrity of Social Life*. Stanford University Press.

Ouyang, L., et al. (2022). Training Language Models to Follow Instructions with Human Feedback. *Advances in Neural Information Processing Systems*, 35, 27730–27744.

Palmer, F. R. (2001). *Mood and Modality*. 2nd ed. Cambridge University Press.

Papineni, K., Roukos, S., Ward, T., and Zhu, W. J. (2002). BLEU: A Method for Automatic Evaluation of Machine Translation. *Proceedings of ACL 2002*, 311–318.

Raji, I. D., et al. (2020). Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing. *Proceedings of FAT* 2020*, 33–44.

Searle, J. R. (1969). *Speech Acts*. Cambridge University Press.

Toulmin, S. E. (1958). *The Uses of Argument*. Cambridge University Press.

van Dijk, T. A. (2008). *Discourse and Context*. Cambridge University Press.

W3C PROV Working Group. (2013). PROV-O: The PROV Ontology. W3C Recommendation.

Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., and Artzi, Y. (2020). BERTScore: Evaluating Text Generation with BERT. *International Conference on Learning Representations*.

Zheng, L., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. *Advances in Neural Information Processing Systems*, 36.