Judge／Critic分離

generatorとjudge/criticを分けると評価独立性を設計しやすいが、judge自身の位置・冗長性・self-enhancement・推論限界を管理しないと評価が見かけだけになる。

multi-LLM / evaluation / governance / implementation / audit

LLM-as-a-judge原著が確認したjudgeの有用性とbiasは何か。generatorとcriticを分ければ人間評価を代替できるか。

• source class: primary research paper; exact title: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena; author/org: Lianmin Zheng et al.; canonical URL: https://arxiv.org/abs/2306.05685 publication/update/access: submitted 2023-06-09, revised v4 2023-12-24 / accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: arXiv v4 / NeurIPS 2023 Datasets and Benchmarks Track; supporting locator: abstract lines 8-23（position/verbosity/self-enhancement bias、limited reasoning、MT-Bench/Chatbot Arena、GPT-4 judgeとhuman preferenceの80%超 agreementの報告）; evidence label: RESEARCH; relation: support / counter / limit.

原著は、open-ended assistantを評価するための強いLLM judgeの利用を検討し、position・verbosity・self-enhancement等のbiasとlimited reasoningを明示する。同時に、特定条件ではGPT-4 judgeがhuman preferenceと80%超で一致したと報告する。したがってjudge/critic分離はscalable evaluationの候補だが、judge分離だけで独立性・妥当性・人間評価代替が成立するわけではない。generatorとjudgeの同一family、prompt、position、rubric、referenceの影響を記録する必要がある。

agreementはhuman preference近似であり、客観的正解・安全性・法的適合ではない。judge bias mitigationが必要で、論文のbenchmark/task/model条件以外へ外挿不可。criticがgeneratorと同じ誤りを持つ、rubricを読めない、危険な副作用を見落とす可能性は残る。

judge model/API/version、rubric、reference answer、conflict-of-interest、cost、privacy、human adjudication、業務データの外部送信を確認する。実judge run未実施。

generatorとjudgeのmodel/role分離、rubric version、pairwise/pointwise、blind position、multi-judge disagreement、human escalationを設計候補とする。

objective correctness、citation entailment、policy violation、tool side effect、human preference、judge-human agreement、inter-rater reliability、bias slicesを別scoreにする。judge score単独で採否しない。

SECURITY/PRIVACY: judgeへ送る最小redacted artifact、no secrets。AUDIT: generator/judge IDs、prompts/rubrics、positions、raw scores、human adjudication。COST: judge calls、multi-judge、human tie-break。OPERABILITY: disagreement threshold、fallback manual review、rubric migration.

「LLM-as-a-judge研究は、特定benchmarkで人間選好との高い一致を報告する一方、position・verbosity・self-enhancement biasと推論限界も明示する。generator/critic分離は評価設計の一案であり、客観的正解・安全性・法的適合の自動保証ではない。」

本文改訂では judge対象、rubric、reference、blind化、bias、human tie-break、agreementを明記し、単一judgeのscoreを採否の唯一根拠にしない。

domain-specific objective scoring、judge model drift、prompt/rubric sensitivity、multi-judge calibration、safety/side-effect detection、privacy-preserving judge。

judge score・human preference一致・無alertを、正しさ・安全・コンプライアンスの保証へ変換しない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED

---