# Generator–Verifier CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-125-generator-verifier CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-125-URL-EEA50D24E419, EVD-EA-125-URL-16E11E26BE5B, EA-125-R11-RESEARCH, EA-125-R11-WEB-READBACK UNKNOWN_IDS: EA-125-UNKNOWN-01, EA-125-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「Process supervision研究は、MATHの特定条件で中間stepへの検証が有効であると報告する。Generator–Verifierはruntime safetyの設計候補だが、verifier passは任意業務の正しさ・副作用なし・法的適合を保証せず、specと独立評価が必要である。」 ## Current judgment Let's Verify Step by Stepは、最終結果へのfeedbackと各intermediate reasoning stepへのprocess feedbackを比較し、論文のMATH条件ではprocess supervisionが優れ、代表subsetで78%を解いたと報告する。これは中間step検証の研究根拠である。ただし、generatorが作る任意のcode、メール、契約、tool actionを、別LLM verifierが安全に検証できることは確立しない。verifierが同じモデル知識/誤りを共有する場合、独立性は弱い。 ## Scope multi-LLM / evaluation / implementation / security / audit ## Confirmed - Let's Verify Step by Stepは、最終結果へのfeedbackと各intermediate reasoning stepへのprocess feedbackを比較し、論文のMATH条件ではprocess supervisionが優れ、代表subsetで78%を解いたと報告する。これは中間step検証の研究根拠である。ただし、generatorが作る任意のcode、メール、契約、tool actionを、別LLM verifierが安全に検証できることは確立しない。verifierが同じモデル知識/誤りを共有する場合、独立性は弱い。 ## UNKNOWN - EA-125-UNKNOWN-01: runtime process verifierの有効性、verifier independence、tool side-effect検出、spec coverage、adversarial evasion、cost/latency frontier。 - EA-125-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-125-URL-EEA50D24E419 (RESEARCH): source class: primary research paper; exact title: Let's Verify Step by Step; author/org: Hunter Lightman et al.; canonical URL: — https://arxiv.org/abs/2305.20050 - EVD-EA-125-URL-16E11E26BE5B (RESEARCH): source class: primary research paper; exact title: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena; author/org: Lianmin Zheng et al.; canonical URL: — https://arxiv.org/abs/2306.05685 - EA-125-R11-RESEARCH (RESEARCH): EA-125 監査済みresearch / canonical revision binding - EA-125-R11-WEB-READBACK (IMPL): EA-125 Web body identity / canonical readback ## Failure / limits MATH training・reward model・step labelsという設定であり、enterprise runtimeのdeterministic verifierではない。process traceが真のchain-of-thoughtか、検証可能な外部stateかを分ける必要がある。verifierのfalse negative/positive、spec incompleteness、hidden side effect、long-horizon state driftは未確立。 ## Failure / limits verifierが「OK」と出したこと、stepが流暢なこと、最終結果が一度合ったことを安全完了の証拠としない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## Practice generator/verifier model/API/license、trace exposure、tool/state snapshot、rubric/spec、human escalation、privacy、latency/costを確認する。実generator/verifier run未実施。 ## Practice typed output→schema/policy/static check→independent verifier→human gate→commit/actionの多段制御を設計候補。verifier passを実行権限へ直結しない。 ## Practice final outcome accuracyとstep-level validity、constraint violations、evidence entailment、verifier precision/recall、false accept/reject、time/cost、adversarial perturbationを分けて測る。 ## Practice SECURITY/PRIVACY: verifierへ必要最小のredacted trace、untrusted output隔離。AUDIT: generator/verifier IDs、spec/rubric、step hash、decision、human override。COST: every-step verification、retry、human review。OPERABILITY: fail closed、unknown queue、verifier unavailable時のdeny。 ## Practice 本文では outcome/process、generator/verifier、artifact/state、static/human checkを分離する。code・document・transactionごとに検証可能なspecを作り、研究値を業務保証に変換しない。 ## WHY_THIS_MATTERS_TO_UPDATE 作るモデルと検証するモデルを分け、最終結果だけでなく中間step・制約・証拠を検査する設計は、業務agentの誤りを早期停止する入口になる。 ## SCOPE_ROUTING multi-LLM / evaluation / implementation / security / audit ## CLAIM_OR_RESEARCH_QUESTION process supervision研究は、outcome supervisionよりstep-level verificationが信頼性向上に有効と示すか。数学trainingの結果を一般agentのruntime verifierへ適用できるか。 ## EVIDENCE TABLE - source class: primary research paper; exact title: Let's Verify Step by Step; author/org: Hunter Lightman et al.; canonical URL: https://arxiv.org/abs/2305.20050; publication/update/access: submitted 2023-05-31 / accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: arXiv v1; supporting locator: abstract lines 8-22（outcome vs process supervision、process supervisionがMATHでoutcome supervisionを上回るとの報告、MATH representative subset 78%、PRM800K release）; evidence label: RESEARCH; relation: support / limit. - source class: primary research paper; exact title: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena; author/org: Lianmin Zheng et al.; canonical URL: https://arxiv.org/abs/2306.05685; publication/update/access: revised v4 2023-12-24 / accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: arXiv v4; supporting locator: abstract lines 16-23（judge limitations and benchmarked human-preference agreement）; evidence label: RESEARCH; relation: context / limit. ## FINDINGS Let's Verify Step by Stepは、最終結果へのfeedbackと各intermediate reasoning stepへのprocess feedbackを比較し、論文のMATH条件ではprocess supervisionが優れ、代表subsetで78%を解いたと報告する。これは中間step検証の研究根拠である。ただし、generatorが作る任意のcode、メール、契約、tool actionを、別LLM verifierが安全に検証できることは確立しない。verifierが同じモデル知識/誤りを共有する場合、独立性は弱い。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE MATH training・reward model・step labelsという設定であり、enterprise runtimeのdeterministic verifierではない。process traceが真のchain-of-thoughtか、検証可能な外部stateかを分ける必要がある。verifierのfalse negative/positive、spec incompleteness、hidden side effect、long-horizon state driftは未確立。 ## AVAILABILITY_GATES generator/verifier model/API/license、trace exposure、tool/state snapshot、rubric/spec、human escalation、privacy、latency/costを確認する。実generator/verifier run未実施。 ## IMPLEMENTATION_STATE typed output→schema/policy/static check→independent verifier→human gate→commit/actionの多段制御を設計候補。verifier passを実行権限へ直結しない。 ## BENCHMARK_OR_EVAL final outcome accuracyとstep-level validity、constraint violations、evidence entailment、verifier precision/recall、false accept/reject、time/cost、adversarial perturbationを分けて測る。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY SECURITY/PRIVACY: verifierへ必要最小のredacted trace、untrusted output隔離。AUDIT: generator/verifier IDs、spec/rubric、step hash、decision、human override。COST: every-step verification、retry、human review。OPERABILITY: fail closed、unknown queue、verifier unavailable時のdeny。 ## SAFE_WORDING_FOR_FUTURE_BOOK 「Process supervision研究は、MATHの特定条件で中間stepへの検証が有効であると報告する。Generator–Verifierはruntime safetyの設計候補だが、verifier passは任意業務の正しさ・副作用なし・法的適合を保証せず、specと独立評価が必要である。」 ## UPDATE_WORK_HANDOFF 本文では outcome/process、generator/verifier、artifact/state、static/human checkを分離する。code・document・transactionごとに検証可能なspecを作り、研究値を業務保証に変換しない。 ## OPEN_UNKNOWN runtime process verifierの有効性、verifier independence、tool side-effect検出、spec coverage、adversarial evasion、cost/latency frontier。 ## STOP_CONDITION verifierが「OK」と出したこと、stepが流暢なこと、最終結果が一度合ったことを安全完了の証拠としない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.