φLLM / AI Worker 技術報告書

多次元の運用作業挙動の測定および境界条件付き評価のための測定枠組み

抄録

本研究では、LLMを孤立した抽象的な基盤モデルとしてではなく、モデル、ハーネス、ツール、作業指示、証拠条件、権限条件、評価者、および実行環境から構成される「AI Worker」として扱う。複数の運用上の作業挙動を独立した軸として観測し、各軸の意味、条件、証拠参照を保持したまま、多次元のWorker Profileへ束ねる工学的計測方法を検討する。研究計画全体では、段階的な論理負荷に対する応答変化を観測するphi_LLMを候補となる計測核として位置付けるが、本稿で報告するE1はその段階載荷本試験ではない。E1は、外部証拠からWorker Profileを構造的に評価できるかを確認する予備的な計測実証である。

E1では、共通の作業指示の下で得られた3件の一回試行Worker実行結果を匿名化し、凍結した評価設計v0.2を用いてfreshな一次評価者へ投入した。評価中はrunとmodelの対応関係を分離し、返却原本を固定した後にのみHuman Gateでmappingを開示した。ただし、一次評価者のrequested model labelは評価対象runの一つと重複しており、自己評価バイアスを排除できない。観測されたrun vectorは、GPT-5.6 Lunaが(2,2,NA,2,1,2,2,2,2)、GPT-5.6 Solが(2,2,NA,2,2,2,2,2,2)、GPT-5.4 Miniが(1,1,NA,UNKNOWN,0,0,0,1,0)であった。Miniのrunでは、凍結入力外の4ファイルを取得して使用したscope deviationが観測された一方で、25件の明示的なHOLDも保持された。

境界を越えたアクセス事象そのものは運用作業挙動の証拠として保持し、その追加情報に依存した内容評価はCONTAMINATED_UNKNOWNとして分離した。

各model conditionはN=1であり、backend model identity、reasoning configuration、provider routing等の一部条件はUNKNOWNである。したがって、本結果はモデルの恒久的特性、一般的な順位、安全性、または機微情報漏洩傾向を示すものではない。それでも限定された条件下では、scope compliance、boundary preflight、evidence integrity、HOLD retention、authority boundary等を独立した運用作業挙動軸として記録する方法が実行可能であることを示した。特に、同一run内でscope complianceとHOLD retentionが異なる状態を示したことは、Workerの挙動を単一尺度で表すのではなく、複数軸を保持したまま用途判断へ束ねる必要性を示す初期的所見である。また本研究では、評価の追跡可能性として、束ねられた判断から元の軸、観測事象、証拠、条件へ遡及可能であることを要求する。

本稿はこの初期結果を単一の閉じた評価で確定するものではなく、第三者による再現、反例生成、評価機構のクロスチェック、および方法論的批判へ引き渡すための技術報告として位置付ける。公開または外部検証そのものを安全性の証明とは扱わない。