[Scarcity Migration] LLM-as-a-Judge の限界を Gödel/Turing 比喩から誤差相関実験へ置換する #170

背景

Section 7 は Gödel の不完全性定理・Turing の停止性問題から、外部決定論的ランタイムなしには閉じた確率的推論体系の正当性を証明できない、と強く一般化している。この接続は現在の論証では直接成立しない。

目的

哲学的・計算理論的比喩ではなく、生成器と評価器の相関した失敗を測定可能な仮説として検証する。

仮説

生成器 G が誤った条件下で、同一/近縁モデル評価器 V がその誤りを見逃す確率が、独立した決定論的 verifier または異質な評価器より高いかを測る。

実装

• representative failure fixtures を複数 domain から固定する
• same-model judge / different-model judge / deterministic verifier を同じ fixture で比較する
• false accept, false reject, detection rate を記録する
• judge の自己一致率ではなく ground truth に対する精度を測る
• Gödel/Turing は必要なら限定的な背景説明へ降格し、実験結果を超える「証明不可能」主張を削除する

検証方法

• fixture と ground truth を事前固定する
• 評価器ごとの confusion matrix を生成する
• failure type ごとの誤差相関を比較する
• deterministic oracle が存在しないタスクは別群として扱う

完了条件

• LLM-as-a-Judge の限界が測定可能な仮説として定義される
• same/different/deterministic の比較データがある
• false acceptance を主要指標として報告する
• Gödel/Turing から直接導けない一般命題を削除する
• deterministic verifier が使えない領域も明示する