ジェネレーター・検証器（Generator–Verifier）

作るモデルと検証するモデルを分け、最終結果だけでなく中間step・制約・証拠を検査する設計は、業務agentの誤りを早期停止する入口になる。

multi-LLM / evaluation / implementation / security / audit

process supervision研究は、outcome supervisionよりstep-level verificationが信頼性向上に有効と示すか。数学trainingの結果を一般agentのruntime verifierへ適用できるか。

• source class: primary research paper; exact title: Let's Verify Step by Step; author/org: Hunter Lightman et al.; canonical URL: https://arxiv.org/abs/2305.20050 publication/update/access: submitted 2023-05-31 / accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: arXiv v1; supporting locator: abstract lines 8-22（outcome vs process supervision、process supervisionがMATHでoutcome supervisionを上回るとの報告、MATH representative subset 78%、PRM800K release）; evidence label: RESEARCH; relation: support / limit.
• source class: primary research paper; exact title: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena; author/org: Lianmin Zheng et al.; canonical URL: https://arxiv.org/abs/2306.05685 publication/update/access: revised v4 2023-12-24 / accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: arXiv v4; supporting locator: abstract lines 16-23（judge limitations and benchmarked human-preference agreement）; evidence label: RESEARCH; relation: context / limit.

Let's Verify Step by Stepは、最終結果へのfeedbackと各intermediate reasoning stepへのprocess feedbackを比較し、論文のMATH条件ではprocess supervisionが優れ、代表subsetで78%を解いたと報告する。これは中間step検証の研究根拠である。ただし、generatorが作る任意のcode、メール、契約、tool actionを、別LLM verifierが安全に検証できることは確立しない。verifierが同じモデル知識/誤りを共有する場合、独立性は弱い。

MATH training・reward model・step labelsという設定であり、enterprise runtimeのdeterministic verifierではない。process traceが真のchain-of-thoughtか、検証可能な外部stateかを分ける必要がある。verifierのfalse negative/positive、spec incompleteness、hidden side effect、long-horizon state driftは未確立。

generator/verifier model/API/license、trace exposure、tool/state snapshot、rubric/spec、human escalation、privacy、latency/costを確認する。実generator/verifier run未実施。

typed output→schema/policy/static check→independent verifier→human gate→commit/actionの多段制御を設計候補。verifier passを実行権限へ直結しない。

final outcome accuracyとstep-level validity、constraint violations、evidence entailment、verifier precision/recall、false accept/reject、time/cost、adversarial perturbationを分けて測る。

SECURITY/PRIVACY: verifierへ必要最小のredacted trace、untrusted output隔離。AUDIT: generator/verifier IDs、spec/rubric、step hash、decision、human override。COST: every-step verification、retry、human review。OPERABILITY: fail closed、unknown queue、verifier unavailable時のdeny。

「Process supervision研究は、MATHの特定条件で中間stepへの検証が有効であると報告する。Generator–Verifierはruntime safetyの設計候補だが、verifier passは任意業務の正しさ・副作用なし・法的適合を保証せず、specと独立評価が必要である。」

本文では outcome/process、generator/verifier、artifact/state、static/human checkを分離する。code・document・transactionごとに検証可能なspecを作り、研究値を業務保証に変換しない。

runtime process verifierの有効性、verifier independence、tool side-effect検出、spec coverage、adversarial evasion、cost/latency frontier。

verifierが「OK」と出したこと、stepが流暢なこと、最終結果が一度合ったことを安全完了の証拠としない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED

---