ユーザー接地型 忠実性プローブ —— 走るコードと現場の専門知に接地した生成 AI 能力評価の診断的手法

抄録

大学の現場には，モデル選択を判断する共有可能な語彙が乏しい．本稿は，生成 AI の能力を正誤の二値でも汎用ベンチマークの順位でもなく，利用者が正解を握る診断的プローブとして測る手法「ユーザー接地型 忠実性プローブ」を提案する．挑発的主張への応答と走るコードの生成を，実行による採点で連続指標（到達深度・忠実性）へ分解する．入れ子構成の到達深度は単一試行では能力段階（tier）に沿って見えるが，n=5 反復で取り直すと提供元・世代を固定した統制比較（Claude 三段）で段階差は消え，単一試行が確率変動を段へ見せていたとわかる．残るのは段階でなく再現信頼性の勾配であり，高階の入れ子を反復して頑健に通すのは gpt-5 のみ（5/5），他は高分散の領域に分布する．到達能力と再現性は独立の軸である．二値指標が中間段階を不連続な創発に見せる効果と，閾値判断が利用者側にある二層分離を授業開発の実例で示す．本稿は別稿に続く評価方法論であり，演習科目一般に拡張する．