# Risk- and Uncertainty-Aware Human Escalation Router CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-511-risk-and-uncertainty-aware-human-escalation-router CLAIM_IDS: none EVIDENCE_IDS: EA-511-CURRENT-APPROVAL, EA-511-CURRENT-BODY-READBACK UNKNOWN_IDS: EA-511-UNKNOWN-01 OPS_IDS: none ## Summary 「高影響または高不確実なAI操作では、人間承認の有無だけでなく、承認対象となるexact effect、レビュー担当者の現在権限、要求の期限、resume時の対象状態とauthorizationを結び付けて検証する。承認待ちの容量不足は自動承認で解消せず、backpressureまたはfail-closedを用いる。普遍的なしきい値や、人間介在そのものによる安全性向上は仮定しない。」 ## Current judgment 「高影響または高不確実なAI操作では、人間承認の有無だけでなく、承認対象となるexact effect、レビュー担当者の現在権限、要求の期限、resume時の対象状態とauthorizationを結び付けて検証する。承認待ちの容量不足は自動承認で解消せず、backpressureまたはfail-closedを用いる。普遍的なしきい値や、人間介在そのものによる安全性向上は仮定しない。」 ## Scope Risk- and Uncertainty-Aware Human Escalation Router ## Confirmed ## UNKNOWN - EA-511-UNKNOWN-01: 非blocking UNKNOWNとして、provider-neutralな定量しきい値、組織別reviewer competence/coverage基準、approval fatigueの直接因果を示す独立production incident、すべてのruntimeに共通するrevocation/expiry raceの定量特性を残します。これらは強い普遍主張には必要ですが、本項のbounded control patternを公開するための必須条件とはしません。具体的なprovider機能へ適用する場合は、その時点のversion、plan、権限モデル、approval semanticsを別途検証します。 ## Evidence - EA-511-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応 - EA-511-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合 ## Failure / limits 第一の失敗は、承認対象と実際の実行内容がずれることです。表示後に引数が変わる、別のtool callへ差し替わる、対象IDが再解決される、といった変化があれば、承認はexact effectを拘束していません。第二はstale approvalです。承認後に担当者の権限が失効したり、対象状態が変化したりしても、そのままresumeすると現在のauthorizationを満たしません。第三はapproval floodingです。大量の低品質要求が人間の注意を消費し、高リスク判断の品質を下げます。第四は責任境界の不明確化で、承認者が何を判断したのか、エージェントが何を実行したのか、後から再構成できなくなります。 ## Failure / limits 人間を経由すれば常に品質が上がるという前提は置けません。レビュー担当者も誤り、情報不足、過負荷、権限誤認を起こします。承認率の高さや人手介在率の高さを監督品質の代理指標にしてはいけません。組織別の適正なstaffing、competence基準、定量的な疲労しきい値、approval fatigueが特定事故を直接引き起こしたという一般化可能なproduction evidenceは、本revisionでは確定していません。 ## 要点と前提 AIエージェントに人間承認を置くだけでは、重大な操作を安全にできるとは限りません。必要なのは、どの状態を人へ上げるか、誰が判断できるか、承認待ちの間に権限や対象状態が変化した場合にどう扱うかを、実行経路として設計することです。本項は、リスクと不確実性に応じて人間へエスカレーションするルータを、法人運用で検証可能な制御として扱います。 ## 運用上の問い 判断対象は「人間が一度見たか」ではありません。実行直前の効果が、現在の権限・対象状態・リスク水準に対してなお許容できるかが中心です。エージェントが送金、削除、権限変更、外部公開、顧客通知などの不可逆または高影響操作を提案した場合、ルータは少なくとも影響度、不確実性、可逆性、権限境界、証拠充足度を評価し、自動実行・人間確認・停止のいずれかへ振り分けます。 ## 中核となる制御 エスカレーション要求には、抽象的な「この操作を許可しますか」ではなく、保留中のexact effectを固定します。対象リソース、操作種別、主要引数、想定される外部効果、根拠となる証拠スナップショット、要求作成時刻、有効期限、要求IDを保存します。レビュー担当者についても、単なるユーザー名ではなく、現在の役割、対象scopeに対する権限、必要な場合は職務分離や専門性の条件を確認します。 承認は将来の無期限な実行権ではありません。待ち行列で数分・数時間滞留しただけでも、対象データ、残高、契約状態、アクセス権、ポリシー、モデル出力の前提が変化し得ます。したがってresume時には、承認時のeffect identityと現在実行しようとしているeffectが一致することを確認し、現在のauthorizationと重要なpreconditionを再検証します。期限切れ、権限失効、対象状態の競合、操作内容の変更があれば、古い承認を流用せず再評価へ戻します。 ## リスクと不確実性の扱い 固定しきい値だけに依存すると、業務ごとの損失構造やデータ品質差を吸収できません。ルータは少なくとも consequence tier と uncertainty signal を分けて記録します。高影響で低不確実な操作でも承認が必要な場合があり、低影響でも根拠欠落や対象同定不能なら停止が妥当な場合があります。逆に、すべてを人へ送る設計は安全側とは限りません。承認キューが飽和すると遅延、見落とし、形式的な承認が増え、実質的な監督能力を失う可能性があります。 このため、レビュー容量は有限資源として扱います。キュー長、最古要求のage、要求のrisk tier、担当者の利用可能性、decision latency、期限切れ件数を観測し、容量を超えた場合は高リスク要求を優先しつつ、低優先度要求を自動承認へ落とすのではなく、backpressure、処理延期、機能縮退、fail-closedを選択できるようにします。SLO超過を承認と同義にしてはいけません。 ## 失敗モード 第一の失敗は、承認対象と実際の実行内容がずれることです。表示後に引数が変わる、別のtool callへ差し替わる、対象IDが再解決される、といった変化があれば、承認はexact effectを拘束していません。第二はstale approvalです。承認後に担当者の権限が失効したり、対象状態が変化したりしても、そのままresumeすると現在のauthorizationを満たしません。第三はapproval floodingです。大量の低品質要求が人間の注意を消費し、高リスク判断の品質を下げます。第四は責任境界の不明確化で、承認者が何を判断したのか、エージェントが何を実行したのか、後から再構成できなくなります。 ## 実装上の記録 監査可能な最小記録として、request ID、agent/run ID、risk tier、uncertainty reason、pending effectのcanonical表現またはdigest、証拠スナップショット参照、reviewer identity、reviewer role、decision、decision timestamp、reason、expiry、resume timestamp、resume時のauthorization/precondition readback、最終effect IDを分離して保持します。承認UIの表示ログだけを実行証跡にしません。外部システムに副作用がある場合は、可能ならprovider側operation IDや対象オブジェクト状態もreadbackし、エージェント自身が書き換えられるtranscriptと独立した証拠を残します。 ## 適用境界 必要なrisk tier、reviewer competence、最大待ち時間、同時処理数は組織・業務・法規制・対象システムで異なります。本項は普遍的な数値しきい値を定めません。また、あるproviderの「human approval」機能が存在するだけで、exact-effect binding、現在権限の再検証、single-use、期限管理、監査証跡が自動的に満たされるとはみなしません。製品、plan、region、organization policy、runtime versionによって実装可能なhookやreadback surfaceは異なるため、導入時に現行仕様を確認します。 ## 反証・限界 人間を経由すれば常に品質が上がるという前提は置けません。レビュー担当者も誤り、情報不足、過負荷、権限誤認を起こします。承認率の高さや人手介在率の高さを監督品質の代理指標にしてはいけません。組織別の適正なstaffing、competence基準、定量的な疲労しきい値、approval fatigueが特定事故を直接引き起こしたという一般化可能なproduction evidenceは、本revisionでは確定していません。 ## OPEN_UNKNOWN 非blocking UNKNOWNとして、provider-neutralな定量しきい値、組織別reviewer competence/coverage基準、approval fatigueの直接因果を示す独立production incident、すべてのruntimeに共通するrevocation/expiry raceの定量特性を残します。これらは強い普遍主張には必要ですが、本項のbounded control patternを公開するための必須条件とはしません。具体的なprovider機能へ適用する場合は、その時点のversion、plan、権限モデル、approval semanticsを別途検証します。 ## SAFE_WORDING 「高影響または高不確実なAI操作では、人間承認の有無だけでなく、承認対象となるexact effect、レビュー担当者の現在権限、要求の期限、resume時の対象状態とauthorizationを結び付けて検証する。承認待ちの容量不足は自動承認で解消せず、backpressureまたはfail-closedを用いる。普遍的なしきい値や、人間介在そのものによる安全性向上は仮定しない。」 ## Evidence / provenance - EA_REVISION_LEDGER: EA-511-R1-20261011。2026-10-17のGate correctionでRESEARCH_GATE_PASS、TARGET_BUILD_ACTIVE。 - Continuation research log: marker `EA-511 FORMAL RESEARCH BOUNDED UNIT 2026-10-11 22:33 JST` および `EA-511 WIP DRAIN CHECKPOINT 2026-10-17 12:28 JST`。 - arXiv:2606.22721、arXiv:2606.08919。人間エスカレーション、リスク・不確実性ルーティングに関する既存研究証拠として台帳に紐付け済み。 - 現行運用証拠群: NIST、OpenAI、Microsoft、Google SREに関する既存source locator。各provider固有の機能可用性は導入時にcurrentnessを再確認する。 ## 運用チェック 実装前に、(1) high-consequence action一覧、(2) uncertainty signal、(3) exact-effect canonicalization、(4) reviewer role/authority確認、(5) expiry、(6) queue/backpressure、(7) resume-time revalidation、(8) final effect readback、(9)独立監査ログを定義します。テストでは、承認後の引数変更、権限失効、対象更新、期限切れ、レビューキュー飽和を注入し、古い承認で副作用が実行されないことを確認します。 NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.