# Judge／Critic分離 CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-124-judge-critic CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-124-URL-16E11E26BE5B, EA-124-R11-RESEARCH, EA-124-R11-WEB-READBACK UNKNOWN_IDS: EA-124-UNKNOWN-01, EA-124-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「LLM-as-a-judge研究は、特定benchmarkで人間選好との高い一致を報告する一方、position・verbosity・self-enhancement biasと推論限界も明示する。generator/critic分離は評価設計の一案であり、客観的正解・安全性・法的適合の自動保証ではない。」 ## Current judgment 原著は、open-ended assistantを評価するための強いLLM judgeの利用を検討し、position・verbosity・self-enhancement等のbiasとlimited reasoningを明示する。同時に、特定条件ではGPT-4 judgeがhuman preferenceと80%超で一致したと報告する。したがってjudge/critic分離はscalable evaluationの候補だが、judge分離だけで独立性・妥当性・人間評価代替が成立するわけではない。generatorとjudgeの同一family、prompt、position、rubric、referenceの影響を記録する必要がある。 ## Scope multi-LLM / evaluation / governance / implementation / audit ## Confirmed - 原著は、open-ended assistantを評価するための強いLLM judgeの利用を検討し、position・verbosity・self-enhancement等のbiasとlimited reasoningを明示する。同時に、特定条件ではGPT-4 judgeがhuman preferenceと80%超で一致したと報告する。したがってjudge/critic分離はscalable evaluationの候補だが、judge分離だけで独立性・妥当性・人間評価代替が成立するわけではない。generatorとjudgeの同一family、prompt、position、rubric、referenceの影響を記録する必要がある。 ## UNKNOWN - EA-124-UNKNOWN-01: domain-specific objective scoring、judge model drift、prompt/rubric sensitivity、multi-judge calibration、safety/side-effect detection、privacy-preserving judge。 - EA-124-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-124-URL-16E11E26BE5B (RESEARCH): source class: primary research paper; exact title: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena; author/org: Lianmin Zheng et al.; canonical URL: — https://arxiv.org/abs/2306.05685 - EA-124-R11-RESEARCH (RESEARCH): EA-124 監査済みresearch / canonical revision binding - EA-124-R11-WEB-READBACK (IMPL): EA-124 Web body identity / canonical readback ## Failure / limits agreementはhuman preference近似であり、客観的正解・安全性・法的適合ではない。judge bias mitigationが必要で、論文のbenchmark/task/model条件以外へ外挿不可。criticがgeneratorと同じ誤りを持つ、rubricを読めない、危険な副作用を見落とす可能性は残る。 ## Failure / limits judge score・human preference一致・無alertを、正しさ・安全・コンプライアンスの保証へ変換しない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## Practice judge model/API/version、rubric、reference answer、conflict-of-interest、cost、privacy、human adjudication、業務データの外部送信を確認する。実judge run未実施。 ## Practice generatorとjudgeのmodel/role分離、rubric version、pairwise/pointwise、blind position、multi-judge disagreement、human escalationを設計候補とする。 ## Practice objective correctness、citation entailment、policy violation、tool side effect、human preference、judge-human agreement、inter-rater reliability、bias slicesを別scoreにする。judge score単独で採否しない。 ## Practice SECURITY/PRIVACY: judgeへ送る最小redacted artifact、no secrets。AUDIT: generator/judge IDs、prompts/rubrics、positions、raw scores、human adjudication。COST: judge calls、multi-judge、human tie-break。OPERABILITY: disagreement threshold、fallback manual review、rubric migration. ## Practice 本文改訂では judge対象、rubric、reference、blind化、bias、human tie-break、agreementを明記し、単一judgeのscoreを採否の唯一根拠にしない。 ## WHY_THIS_MATTERS_TO_UPDATE generatorとjudge/criticを分けると評価独立性を設計しやすいが、judge自身の位置・冗長性・self-enhancement・推論限界を管理しないと評価が見かけだけになる。 ## SCOPE_ROUTING multi-LLM / evaluation / governance / implementation / audit ## CLAIM_OR_RESEARCH_QUESTION LLM-as-a-judge原著が確認したjudgeの有用性とbiasは何か。generatorとcriticを分ければ人間評価を代替できるか。 ## EVIDENCE TABLE - source class: primary research paper; exact title: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena; author/org: Lianmin Zheng et al.; canonical URL: https://arxiv.org/abs/2306.05685; publication/update/access: submitted 2023-06-09, revised v4 2023-12-24 / accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: arXiv v4 / NeurIPS 2023 Datasets and Benchmarks Track; supporting locator: abstract lines 8-23（position/verbosity/self-enhancement bias、limited reasoning、MT-Bench/Chatbot Arena、GPT-4 judgeとhuman preferenceの80%超 agreementの報告）; evidence label: RESEARCH; relation: support / counter / limit. ## FINDINGS 原著は、open-ended assistantを評価するための強いLLM judgeの利用を検討し、position・verbosity・self-enhancement等のbiasとlimited reasoningを明示する。同時に、特定条件ではGPT-4 judgeがhuman preferenceと80%超で一致したと報告する。したがってjudge/critic分離はscalable evaluationの候補だが、judge分離だけで独立性・妥当性・人間評価代替が成立するわけではない。generatorとjudgeの同一family、prompt、position、rubric、referenceの影響を記録する必要がある。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE agreementはhuman preference近似であり、客観的正解・安全性・法的適合ではない。judge bias mitigationが必要で、論文のbenchmark/task/model条件以外へ外挿不可。criticがgeneratorと同じ誤りを持つ、rubricを読めない、危険な副作用を見落とす可能性は残る。 ## AVAILABILITY_GATES judge model/API/version、rubric、reference answer、conflict-of-interest、cost、privacy、human adjudication、業務データの外部送信を確認する。実judge run未実施。 ## IMPLEMENTATION_STATE generatorとjudgeのmodel/role分離、rubric version、pairwise/pointwise、blind position、multi-judge disagreement、human escalationを設計候補とする。 ## BENCHMARK_OR_EVAL objective correctness、citation entailment、policy violation、tool side effect、human preference、judge-human agreement、inter-rater reliability、bias slicesを別scoreにする。judge score単独で採否しない。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY SECURITY/PRIVACY: judgeへ送る最小redacted artifact、no secrets。AUDIT: generator/judge IDs、prompts/rubrics、positions、raw scores、human adjudication。COST: judge calls、multi-judge、human tie-break。OPERABILITY: disagreement threshold、fallback manual review、rubric migration. ## SAFE_WORDING_FOR_FUTURE_BOOK 「LLM-as-a-judge研究は、特定benchmarkで人間選好との高い一致を報告する一方、position・verbosity・self-enhancement biasと推論限界も明示する。generator/critic分離は評価設計の一案であり、客観的正解・安全性・法的適合の自動保証ではない。」 ## UPDATE_WORK_HANDOFF 本文改訂では judge対象、rubric、reference、blind化、bias、human tie-break、agreementを明記し、単一judgeのscoreを採否の唯一根拠にしない。 ## OPEN_UNKNOWN domain-specific objective scoring、judge model drift、prompt/rubric sensitivity、multi-judge calibration、safety/side-effect detection、privacy-preserving judge。 ## STOP_CONDITION judge score・human preference一致・無alertを、正しさ・安全・コンプライアンスの保証へ変換しない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.