証拠・境界制約下におけるLLM挙動

YamRail / Evaluation Environment Audit（EEA）の再現性優先型工学研究

抄録

大規模言語モデル（LLM）は、証拠、権限、または状態情報が不完全であっても、作業を継続できる。しかし実務においては、継続できる能力が必ずしも継続する許可を意味するわけではなく、もっともらしい完了が必ずしも証拠に裏付けられた完了を意味するわけでもない。

本研究では、人間とLLMの協働において証拠と境界を重視するワークフローであるYamRailの開発過程から生じた一連の運用上の制約を検討する。抽象的な安全理論から出発するのではなく、開発中に実際に使用された工学的実践をまず抽出した。具体的には、必要な証拠が欠けている場合にUNKNOWNおよびHOLDを保持すること、能力と権限を分離すること、parser・hash・attachmentの整合性によって成果物の同一性を検証すること、後の復旧後も過去の失敗状態を保持すること、ならびに追跡可能な証拠参照を維持することである。

これらの実践を、YamRailそのものから独立して適用可能な再現可能な介入へ変換した。unsupported-PASS suppression、non-expansive authority retention、state-history preservation、evidence reachability、bounded utilityの5つの仮説を、Baseline条件とConstraint条件を対にしたfixtureによって評価した。主計測は、単一モデル系列を対象として、各fixture・各条件につきN=3、合計30 experimental unitsおよび36件の成功したprovider requestから構成された。H1およびH2は、ceiling-observed controlにおいてBaseline条件がすでに目標挙動を満たしていたため、効果を実証できなかった。H3およびH4では、試験したfixture内で完全な観測上の分離が認められた。H5は定義したbounded-utility挙動を満たしたが、Baselineに対する増分差は認められなかった。これらは単一モデル系列におけるfixture-levelの観測であり、統計的有意性、モデル間一般化、またはprovider間一般化を主張するものではない。本手順はYamRailを導入せず、著者の開発環境にも依存せず、freshなLLM sessionを用いて再実施できる。ただしclosed frontier APIに対する再現は、bit-level reproductionではなくecological replicationとして扱う。

本研究の主要な問いは、モデルが抽象的な意味で「安全」になるかどうかではなく、証拠および権限の境界を明示したときに、観測可能なLLMの挙動が変化するかどうかである。また、より強い境界保持が単に拒否を増加させるだけなのか、それとも実行主体が、証拠と権限のある範囲内では有用性を維持しつつ、証拠不足または権限外の境界でのみ停止できるのかを検討する。