精度差分観測による重み共有再帰Transformerの学習ダイナミクス解明

Gate Decay振幅制御、FP32崩壊境界、および多制御器協調学習

抄録

7.0Bパラメータの重み共有再帰Transformer（BathysRDT）を200Mトークンの日本語テキストで知識蒸留により事前学習し、4つの知見を報告する。第一に、再帰ゲーティング関数に適用される深度依存減衰機構（Gate Decay）は、隠れ状態の方向を保持しつつ（全深度でトークン平均コサイン類似度 > 0.96）、振幅を最大76倍抑制する。4条件のアブレーション実験により、減衰設定から勾配配分を経てクロスエントロピー性能に至る因果連鎖を確立した。第二に、深い再帰においてFP32 LayerNormの分散計算がオーバーフローし、完全な表現崩壊（representation collapse）を引き起こすことを発見した。この崩壊境界は学習中に浅い側へ侵食する。反実仮想シミュレーションにより、減衰強化ではこの侵食を止められないことを示し、差分精度実験（FP64 LayerNorm）により崩壊が完全に消失することを確認した。FP64化により有効深度上限はd=8からd=15に拡大し、V3安定性指標の最小値は0.127から0.972に改善した。第三に、減衰ダイナミクスと数値精度の相互作用は、入力分離に基づく多制御器フレームワークを必要とする。第四に、再帰の初回ステップ（d=1）は再帰的洗練（d≥2）とは質的に異なる注入段階であり、全深度一律の減衰パラメータでは制御が不十分となることを発見した。深度1専用の減衰時定数を分離導入し、深度拡張後に深層との性能差が拡大することを中間結果として確認した（学習継続中）。具体的な制御アルゴリズムとパラメータは特許出願書類に記載されている。これらの知見は、重み共有パラメータの繰り返し適用から生じる学習ダイナミクスを示すものであり、重み共有再帰アーキテクチャに特に関連が深い。