本文へスキップ

AI運用の判断と根拠を引く

トップへ戻る

人とAIのやり取りを設計する。確信度、根拠表示、訂正、承認、操作の取り消しなど、AI特有の画面や操作を、能力の限界・不確実性・元に戻せること・人による統制の観点から設計する。

用語・参照用語・参照公式仕様のみ公式仕様のみ鮮度未確認鮮度を確定できない

記事状態: 公開 · 最終確認: 未確認

要点

「AI特有のUIでは、結果を見せるだけでなく、何ができるか・何を根拠にしたか・どこに不確実性があるか・誤ったときにどう訂正/却下/復旧できるかを設計する。確信度は正答確率とは限らず、根拠表示も正しさの保証ではない。外部作用を伴うAgentでは、承認対象を固定し、実行後の操作の取り消しまたは補償手段まで含めて人間統制を設計する。」

現在の判断

  • AI UIの最小契約は「出力表示」ではなく、EXPECTATION / 根拠 / UNCERTAINTY / 訂正 / DISMISSAL / 承認 / REVERSIBILITY / ESCALATION / FEEDBACKを別状態として扱うべきである。
  • confidenceは万能な真実確率ではない。モデル score、classifier probability、検索・取得 score、self-reported 確信度、rule-based リスク tierを同じ「信頼度%」へ潰さない。数値評価と実態の対応調整 根拠がない生成AI自己申告値を正答確率として表示しない。
  • 根拠表示は「なぜこの結果か」を理解・検証する補助であり、根拠が表示されたこと自体は正しさを保証しない。引用/根拠 出典・来歴とモデル explanationを分離する。
  • 訂正・dismiss・操作の取り消しは、AIが誤ることを前提としたリカバリ領域である。頻繁な訂正が必要な場合は、UXの改善だけでなく、機能の無効化、決定論的なフォールバック、または人による確認・承認(human-only)へ戻す判断を含む。
  • Agent承認は、提案内容、対象resource、権限、不可逆外部への変更・送信、費用、実行時刻/expiry、承認後の変更有無を明示して初めて意味を持つ。承認後にpayload/ツール 対象が変化する場合は再承認が必要という設計をCore候補とする。

どこまで当てはまるか

企業AI運用の共通原則: human oversight / interaction 条件・契約 / recoverability / 出典・来歴 UX。 組織のオーバーレイ: 承認権限、役割、リスク層、アクセシビリティ、トレーニング。 運用管理・統制: human factors monitoring、incident/復旧。 実装: UI 状態遷移マシン、アクションプレビュー、修正/元に戻す、根拠パネル。

詳しく理解する

なぜ重要か

AI業務UIにおいては、「生成結果を表示できること」と、「利用者がAIの能力や限界を理解し、誤りを発見して、訂正・却下・承認・元に戻す(操作の取り消し)操作ができること」は別問題です。特にエージェントや自動実行においては、UI上の「承認」が何を承認するものなのか、実行後に何を元に戻せるのか、根拠の表示が何を保証しないのかを明示しなければ、自動化バイアス、誤操作、あるいは過信を増幅させる恐れがあります。

対象範囲と前提

企業AI運用の共通原則: human oversight / interaction 条件・契約 / recoverability / 出典・来歴 UX。 組織のオーバーレイ: 承認権限、役割、リスク層、アクセシビリティ、トレーニング。 運用管理・統制: human factors monitoring、incident/復旧。 実装: UI 状態遷移マシン、アクションプレビュー、修正/元に戻す、根拠パネル。

検討ポイント

Q1. Human-AI UIは通常UIに加えて、AIの能力・不確実性・根拠・訂正・却下・承認・可逆性をfirst-class 状態として持つべきか。 Q2. 確信度表示はいつ有用で、いつ誤った確信や数値の過大解釈を生むか。 Q3. Agentの承認/操作の取り消しを「ボタンがある」ではなく、実際の外部への変更・送信境界・以前の状態へ戻す操作可能性まで含む契約として設計できるか。

根拠資料の対応表

  • 資料の種類: primary research / author-maintained design guidance 原資料の題名: Guidelines for Human-AI Interaction / HAX Toolkit 著者・組織: Microsoft Research / Microsoft 原資料の正式なURL: https://www.microsoft.com/en-us/haxtoolkit/ai-guidelines/ publication/update/access: underlying CHI research 2019; toolkit 参照日 2026-09-16 バージョン: 18 Guidelines; 現在の web toolkit 根拠の分類: RESEARCH + VERIFIED_SPEC 裏付ける該当箇所: Guidelines 7-11; especially 裏付け efficient dismissal, 裏付け efficient 訂正, 適用範囲 services when in doubt, Make clear why the システム did what it did 対応関係: 裏付け established: human-AI interaction guidance explicitly treats AI 失敗/uncertainty as normal operating conditions and recommends invocation/dismissal/訂正, graceful scoping when uncertain, and explanation access.
  • 資料の種類: author-maintained 実装 pattern 原資料の題名: Pattern 9C: 操作の取り消し automated actions org: Microsoft HAX Toolkit 原資料の正式なURL: https://www.microsoft.com/en-us/haxtoolkit/pattern/g9-c-undo-automated-actions/ access: 2026-09-16 バージョン: 現在の web pattern 根拠の分類: VERIFIED_SPEC + OSS_PRACTICE-like design practice 対応関係: 裏付け / limit 裏付ける該当箇所: Problem / Solution / Use when / Common pitfalls 確立事項:自動化された変更は通知され、かつ元に戻せる(reversible)必要がある。繰り返される修正は手動で行うよりもコストが高くなる可能性があるため、修正用のユーザー体験(UX)を改善するだけでは、本質的に品質の低いAI機能の問題を解決することはできない。
  • 出典の分類: 作成者によって維持されている設計ガイダンス 原資料の題名: People + AI Guidebook org: Google PAIR 原資料の正式なURL: https://pair.withgoogle.com/old-gb/ publication/access: published 2019-05-08; 参照日 2026-09-16 バージョン: 6章構成のガイドブック 根拠の分類: RESEARCH + SOURCE_REPORT 対応関係: 裏付け / limit 支持するロケーター: メンタルモデル;説明責任 + 信頼;フィードバック + 制御;エラー + 適切な失敗への移行 確立済み:人間中心のAI設計では、期待値の設定、説明責任/信頼、フィードバック/制御、および緩やかな失敗を分離する。信頼度の提示は、普遍的な要件ではなく設計上の決定事項である。
  • 資料の種類: standards/リスク framework 原資料の題名: Artificial Intelligence リスク Management Framework (AI RMF 1.0) 作成者/組織: NIST / Elham Tabassi 原資料の正式なURL: https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10 publication/access: 2023-01-26 / 参照日 2026-09-16 バージョン: NIST AI 100-1; 2026年時点で改訂プロセスが有効 分類ラベル: VERIFIED_SPEC + PRODUCT_VOLATILE(for 改訂版 状態) 対応関係: 文脈・入力情報 / 運用管理・統制 裏付ける該当箇所: Govern / Map / Measure / Manage framework 適用範囲 established: trustworthy AI リスク management covers design, development, 配備 and use; 現在の NIST page states AI RMF 1.0 is under 改訂版, therefore future-book wording must pin framework バージョン.
  • 出典の分類: 現在のNISTモニタリングレポート 原資料の題名: Challenges to the Monitoring of Deployed AI Systems org: NIST 原資料の正式なURL: https://www.nist.gov/news-events/news/2026/03/new-report-challenges-monitoring-deployed-ai-systems publication/update/access: 2026-03-09 / updated 2026-03-18 / 参照日 2026-09-16 バージョン: report/news 利用機能・接続経路 現在の 分類ラベル: RESEARCH + SOURCE_REPORT 対応関係: limit / 文脈・入力情報 裏付ける該当箇所: Human Factors Monitoring; highlighted gaps/barriers/open questions established: deployed-AI monitoring explicitly includes human-system interaction/transparency and notes insufficient research on human-AI feedback loops and burden/scaling of human-driven monitoring. Thus human oversight is not costless or automatically effective.

利用できる条件

製品固有UIは契約プラン/利用機能・接続経路/role/管理者 setting/region/段階的な提供に依存し得る。Coreは特定提供元 UIの存在を前提にせず、action リスクとreversibilityから必要interactionを決める。実際の承認/操作の取り消し/citation/確信度 利用機能・接続経路は公開直前に提供元別再確認する。

実装・運用

PROPOSAL: HUMAN_AI_INTERACTION_CONTRACT。 最低限必要なフィールド: interaction_id(対話ID)、user/role(ユーザー/ロール)、開示されたAI機能、入力/コンテキストの出典・来歴、出力成果物、根拠のリファレンス、不確実性の種類/ソース/較正状態、提案されたアクションの差分、対象リソース、副作用の分類、リスク層、承認要件/承認者、承認ペイロードのハッシュ、有効期限、実行受領書、修正/却下、取り消し/補償機能、エスカレーション経路、フィードバックの処理結果、UI/バージョン。 アクション状態遷移の候補: 下書き(DRAFT) → レビュー可能(REVIEWABLE) → 承認が必要(APPROVAL_REQUIRED) → 承認済み(APPROVED)(ペイロードのハッシュ値を固定) → 実行中(EXECUTING) → 確定済み(COMMITTED) → 取り消し/補填/エスカレーション済み(REVERSED/COMPENSATED/ESCALATED)。承認後にペイロード、対象、または権限が変化した場合は、承認が必要(APPROVAL_REQUIRED)の状態に戻す。

確認・評価方法

TEST_PROFILE(未実施): 正答、部分誤り、根拠不一致、高/低不確実性、誤った高確信度、irreversible action、承認 payload変更、操作の取り消し可能/不可能、連続承認 fatigueを含むfixtureを作る。評価: task 完了、error detection rate、unsafe 承認 rate、訂正 time、復旧 成功、false 確信度 reliance、citation verification、承認 fatigue、accessibility、user comprehension。UI A/Bだけで安全性を断定せず、risk-tier別に測る。

セキュリティとプライバシー

Security: 承認は認可の代替ではない。ツール/API側least privilegeを維持。 Privacy: explanation/feedback UIに秘密情報や不要なchain-of-thoughtを露出しない。必要なのは根拠/出典・来歴とdecision-relevant rationale。 監査:提案されたペイロードと承認されたペイロードのハッシュ、実行者、結果、ロールバック/補償処理を記録。 コスト/運用性: 人による確認の時間、訂正の時間、承認の遅延を、AI運用原価/SLOに含めること。人による監視(human oversight)を無料のキャパシティとして扱わないこと。

要点と前提

---

確認できていること

  • AI UIの最小契約は「出力表示」ではなく、EXPECTATION / 根拠 / UNCERTAINTY / 訂正 / DISMISSAL / 承認 / REVERSIBILITY / ESCALATION / FEEDBACKを別状態として扱うべきである。

  • confidenceは万能な真実確率ではない。モデル score、classifier probability、検索・取得 score、self-reported 確信度、rule-based リスク tierを同じ「信頼度%」へ潰さない。数値評価と実態の対応調整 根拠がない生成AI自己申告値を正答確率として表示しない。

  • 根拠表示は「なぜこの結果か」を理解・検証する補助であり、根拠が表示されたこと自体は正しさを保証しない。引用/根拠 出典・来歴とモデル explanationを分離する。

  • 訂正・dismiss・操作の取り消しは、AIが誤ることを前提としたリカバリ領域である。頻繁な訂正が必要な場合は、UXの改善だけでなく、機能の無効化、決定論的なフォールバック、または人による確認・承認(human-only)へ戻す判断を含む。

  • Agent承認は、提案内容、対象resource、権限、不可逆外部への変更・送信、費用、実行時刻/expiry、承認後の変更有無を明示して初めて意味を持つ。承認後にpayload/ツール 対象が変化する場合は再承認が必要という設計をCore候補とする。

よくある失敗・反証

  • 確信度 numberは数値評価と実態の対応調整されていなければ過信を誘う。数値表示を一律推奨しない。

  • explanationはtruth proofではない。もっともらしい説明やcitation UIが誤りを覆い隠す可能性を残す。

  • human-in-the-loopは万能な安全策ではない。承認 fatigue、automation bias、time pressure、専門知識不足、rubber-stampingが失敗条件になる。

  • 操作の取り消しは外部送信、削除、決済、第三者API等で完全可逆とは限らない。「操作の取り消し button」と「compensating action」を区別する。

  • feedbackを収集できても、即座にモデル学習へ反映することは別の運用管理・統制/privacy問題である。

  • HAX/PAIR/NISTの基礎根拠、反証、Core 条件・契約、未実施TEST_PROFILEまで揃ったためEA-098の初回bounded packetは完了。公開後Workでは現在の 提供元 UIとNIST改訂版のみ再pinし、組織の利用環境固有値は実測する。

実務での使い方

  • 製品固有UIは契約プラン/利用機能・接続経路/role/管理者 setting/region/段階的な提供に依存し得る。Coreは特定提供元 UIの存在を前提にせず、action リスクとreversibilityから必要interactionを決める。実際の承認/操作の取り消し/citation/確信度 利用機能・接続経路は公開直前に提供元別再確認する。

  • PROPOSAL: HUMAN_AI_INTERACTION_CONTRACT。 最低限必要なフィールド: interaction_id(対話ID)、user/role(ユーザー/ロール)、開示されたAI機能、入力/コンテキストの出典・来歴、出力成果物、根拠のリファレンス、不確実性の種類/ソース/較正状態、提案されたアクションの差分、対象リソース、副作用の分類、リスク層、承認要件/承認者、承認ペイロードのハッシュ、有効期限、実行受領書、修正/却下、取り消し/補償機能、エスカレーション経路、フィードバックの処理結果、UI/バージョン。 アクション状態遷移の候補: 下書き(DRAFT) → レビュー可能(REVIEWABLE) → 承認が必要(APPROVAL_REQUIRED) → 承認済み(APPROVED)(ペイロードのハッシュ値を固定) → 実行中(EXECUTING) → 確定済み(COMMITTED) → 取り消し/補填/エスカレーション済み(REVERSED/COMPENSATED/ESCALATED)。承認後にペイロード、対象、または権限が変化した場合は、承認が必要(APPROVAL_REQUIRED)の状態に戻す。

  • TEST_PROFILE(未実施): 正答、部分誤り、根拠不一致、高/低不確実性、誤った高確信度、irreversible action、承認 payload変更、操作の取り消し可能/不可能、連続承認 fatigueを含むfixtureを作る。評価: task 完了、error detection rate、unsafe 承認 rate、訂正 time、復旧 成功、false 確信度 reliance、citation verification、承認 fatigue、accessibility、user comprehension。UI A/Bだけで安全性を断定せず、risk-tier別に測る。

  • Security: 承認は認可の代替ではない。ツール/API側least privilegeを維持。 Privacy: explanation/feedback UIに秘密情報や不要なchain-of-thoughtを露出しない。必要なのは根拠/出典・来歴とdecision-relevant rationale。 監査:提案されたペイロードと承認されたペイロードのハッシュ、実行者、結果、ロールバック/補償処理を記録。 コスト/運用性: 人による確認の時間、訂正の時間、承認の遅延を、AI運用原価/SLOに含めること。人による監視(human oversight)を無料のキャパシティとして扱わないこと。

  • EA-098をEA-015監査証跡、EA-016 Evals、EA-092 BCP、EA-094 SLOと接続する。

  • プロバイダーのマッピング時には、ChatGPT/Gemini/Copilot/Claude等の承認、引用/根拠、確信度/不確実性、元に戻す操作/履歴、フィードバック画面を、基準時点(as-of)付きで個別に収集する。

  • 承認 payload hash、reversibility class、human-review costをCore データ形式の定義候補として検討する。

  • HAX/PAIRは設計研究・実践ガイドとして使用し、法的適合や製品保証へ外挿しない。

まだ確認できていないこと

  • EA-098-UNKNOWN-01

    / STOP_CONDITION

  • EA-098-UNKNOWN-02

    生成AIconfidence UIのtask別最適提示方式、cross-provider 現在の 承認/操作の取り消し 利用機能・接続経路、実組織での承認 fatigue閾値、risk-tier別human review capacity、NIST AI RMF改訂版の確定内容。

  • EA-098-UNKNOWN-CURRENTNESS

    外部根拠の再確認日が正式な本文・公開管理情報で確定していないため、現行性は未確認のまま保持する。確認日を推測して補わない。

根拠資料

  • 研究資料研究資料

    著者・組織: Microsoft Research / Microsoft

    原資料を開く

    確認上の限界

    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。

  • 研究資料研究資料

    org: Microsoft HAX Toolkit

    原資料を開く

    確認上の限界

    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。

  • 研究資料研究資料

    org: Google PAIR

    原資料を開く

    確認上の限界

    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。

  • 研究資料研究資料

    作成者/組織: NIST / Elham Tabassi

    原資料を開く

    確認上の限界

    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。

  • 研究資料研究資料

    org: NIST

    原資料を開く

    確認上の限界

    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
EA-098
最終確認日
—
提供元・モデル・プラン・利用環境
—
対象地域
—
元資料の全文と収録照合記録
WHY_THIS_MATTERS_TO_UPDATE

AI業務UIでは、生成結果を表示できることと、利用者がAIの能力・限界を理解し、誤りを発見し、訂正・却下・承認・undoできることは別問題である。特にAgent/自動実行では、UI上の「承認」が何を承認するのか、実行後に何を戻せるのか、根拠表示が何を保証しないのかを明示しないと、automation bias・誤操作・過信を増幅し得る。

SCOPE_ROUTING

Enterprise AI Core: human oversight / interaction contract / recoverability / provenance UX。 Organization overlay: approval authority、role、risk tier、accessibility、training。 Governance: human factors monitoring、incident/recovery。 Implementation: UI state machine、action preview、correction/undo、evidence panel。

CLAIM_OR_RESEARCH_QUESTION

Q1. Human-AI UIは通常UIに加えて、AIの能力・不確実性・根拠・訂正・却下・承認・可逆性をfirst-class stateとして持つべきか。 Q2. confidence表示はいつ有用で、いつ誤った確信や数値の過大解釈を生むか。 Q3. Agentの承認/undoを「ボタンがある」ではなく、実際のside effect境界・rollback可能性まで含む契約として設計できるか。

EVIDENCE TABLE
  • source class: primary research / author-maintained design guidance exact title: Guidelines for Human-AI Interaction / HAX Toolkit author/org: Microsoft Research / Microsoft canonical URL: https://www.microsoft.com/en-us/haxtoolkit/ai-guidelines/ publication/update/access: underlying CHI research 2019; toolkit accessed 2026-09-16 version: 18 Guidelines; current web toolkit evidence label: RESEARCH + VERIFIED_SPEC supporting locator: Guidelines 7-11; especially Support efficient dismissal, Support efficient correction, Scope services when in doubt, Make clear why the system did what it did relation: support established: human-AI interaction guidance explicitly treats AI failure/uncertainty as normal operating conditions and recommends invocation/dismissal/correction, graceful scoping when uncertain, and explanation access.
  • source class: author-maintained implementation pattern exact title: Pattern 9C: Undo automated actions org: Microsoft HAX Toolkit canonical URL: https://www.microsoft.com/en-us/haxtoolkit/pattern/g9-c-undo-automated-actions/ access: 2026-09-16 version: current web pattern evidence label: VERIFIED_SPEC + OSS_PRACTICE-like design practice relation: support / limit supporting locator: Problem / Solution / Use when / Common pitfalls established: automated alteration should be communicated and reversible; repeated correction can become costlier than doing the task manually, so correction UX alone does not rescue a persistently poor AI feature.
  • source class: author-maintained design guidance exact title: People + AI Guidebook org: Google PAIR canonical URL: https://pair.withgoogle.com/old-gb/ publication/access: published 2019-05-08; accessed 2026-09-16 version: six-chapter guidebook evidence label: RESEARCH + SOURCE_REPORT relation: support / limit supporting locator: Mental Models; Explainability + Trust; Feedback + Control; Errors + Graceful Failure established: human-centered AI design separates expectation setting, explainability/trust, feedback/control, and graceful failure; confidence presentation is a design decision rather than a universal requirement.
  • source class: standards/risk framework exact title: Artificial Intelligence Risk Management Framework (AI RMF 1.0) author/org: NIST / Elham Tabassi canonical URL: https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10 publication/access: 2023-01-26 / accessed 2026-09-16 version: NIST AI 100-1; revision process active as of 2026 label: VERIFIED_SPEC + PRODUCT_VOLATILE(for revision status) relation: context / governance supporting locator: Govern / Map / Measure / Manage framework scope established: trustworthy AI risk management covers design, development, deployment and use; current NIST page states AI RMF 1.0 is under revision, therefore future-book wording must pin framework version.
  • source class: current NIST monitoring report exact title: Challenges to the Monitoring of Deployed AI Systems org: NIST canonical URL: https://www.nist.gov/news-events/news/2026/03/new-report-challenges-monitoring-deployed-ai-systems publication/update/access: 2026-03-09 / updated 2026-03-18 / accessed 2026-09-16 version: report/news surface current label: RESEARCH + SOURCE_REPORT relation: limit / context supporting locator: Human Factors Monitoring; highlighted gaps/barriers/open questions established: deployed-AI monitoring explicitly includes human-system interaction/transparency and notes insufficient research on human-AI feedback loops and burden/scaling of human-driven monitoring. Thus human oversight is not costless or automatically effective.
FINDINGS
  • AI UIの最小契約は「出力表示」ではなく、EXPECTATION / EVIDENCE / UNCERTAINTY / CORRECTION / DISMISSAL / APPROVAL / REVERSIBILITY / ESCALATION / FEEDBACKを別stateとして扱うべきである。
  • confidenceは万能な真実確率ではない。model score、classifier probability、retrieval score、self-reported confidence、rule-based risk tierを同じ「信頼度%」へ潰さない。calibration evidenceがない生成AI自己申告値を正答確率として表示しない。
  • 根拠表示は「なぜこの結果か」を理解・検証する補助であり、根拠が表示されたこと自体は正しさを保証しない。引用/evidence provenanceとmodel explanationを分離する。
  • 訂正・dismiss・undoはAIが誤る前提のrecovery surfaceである。頻繁な訂正が必要ならUX改善だけでなくfeature disable / deterministic fallback / human-onlyへ戻す判断を含む。
  • Agent承認は、提案内容、対象resource、権限、不可逆side effect、費用、実行時刻/expiry、承認後の変更有無を明示して初めて意味を持つ。承認後にpayload/tool targetが変化する場合は再承認が必要という設計をCore候補とする。
LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE
  • confidence numberはcalibrationされていなければ過信を誘う。数値表示を一律推奨しない。
  • explanationはtruth proofではない。もっともらしい説明やcitation UIが誤りを覆い隠す可能性を残す。
  • human-in-the-loopは万能な安全策ではない。approval fatigue、automation bias、time pressure、専門知識不足、rubber-stampingがfailure modeになる。
  • undoは外部送信、削除、決済、第三者API等で完全可逆とは限らない。「undo button」と「compensating action」を区別する。
  • feedbackを収集できても、即座にmodel学習へ反映することは別のgovernance/privacy問題である。
AVAILABILITY_GATES

製品固有UIはplan/surface/role/admin setting/region/rolloutに依存し得る。Coreは特定provider UIの存在を前提にせず、action riskとreversibilityから必要interactionを決める。実際のapproval/undo/citation/confidence surfaceは公開直前にprovider別再確認する。

IMPLEMENTATION_STATE

PROPOSAL: HUMAN_AI_INTERACTION_CONTRACT。 最低fields: interaction_id; user/role; AI capability disclosed; input/context provenance; output artifact; evidence refs; uncertainty type/source/calibration status; proposed action diff; target resource; side-effect class; risk tier; approval requirement/approver; approval payload hash; expiry; execution receipt; correction/dismissal; undo/compensation capability; escalation route; feedback disposition; UI/version. Action state machine候補: DRAFT → REVIEWABLE → APPROVAL_REQUIRED → APPROVED(payload hash固定) → EXECUTING → COMMITTED → REVERSED/COMPENSATED/ESCALATED。payload/target/permissionが承認後変化した場合はAPPROVAL_REQUIREDへ戻す。

BENCHMARK_OR_EVAL

TEST_PROFILE(未実施): 正答、部分誤り、根拠不一致、高/低不確実性、誤った高confidence、irreversible action、approval payload変更、undo可能/不可能、連続approval fatigueを含むfixtureを作る。評価: task completion、error detection rate、unsafe approval rate、correction time、recovery success、false confidence reliance、citation verification、approval fatigue、accessibility、user comprehension。UI A/Bだけで安全性を断定せず、risk-tier別に測る。

SECURITY / PRIVACY / AUDIT / COST / OPERABILITY

Security: approvalはauthorizationの代替ではない。tool/API側least privilegeを維持。 Privacy: explanation/feedback UIに秘密情報や不要なchain-of-thoughtを露出しない。必要なのはevidence/provenanceとdecision-relevant rationale。 Audit: proposed payloadとapproved payload hash、executor、result、rollback/compensationを記録。 Cost/Operability: human review時間・訂正時間・approval latencyをAI運用原価/SLOへ含める。human oversightを無料capacityとして扱わない。

SAFE_WORDING_FOR_FUTURE_BOOK

「AI特有のUIでは、結果を見せるだけでなく、何ができるか・何を根拠にしたか・どこに不確実性があるか・誤ったときにどう訂正/却下/復旧できるかを設計する。confidenceは正答確率とは限らず、根拠表示も正しさの保証ではない。外部作用を伴うAgentでは、承認対象を固定し、実行後のundoまたは補償手段まで含めて人間統制を設計する。」

UPDATE_WORK_HANDOFF
  • EA-098をEA-015監査証跡、EA-016 Evals、EA-092 BCP、EA-094 SLOと接続する。
  • provider mapping時はChatGPT/Gemini/Copilot/Claude等のapproval、citation/evidence、confidence/uncertainty、undo/history、feedback surfaceをas-of付きで別採集する。
  • approval payload hash、reversibility class、human-review costをCore schema候補として検討する。
  • HAX/PAIRは設計研究・実践ガイドとして使用し、法的適合や製品保証へ外挿しない。
OPEN_UNKNOWN

/ STOP_CONDITION

OPEN_UNKNOWN

生成AIconfidence UIのtask別最適提示方式、cross-provider current approval/undo surface、実組織でのapproval fatigue閾値、risk-tier別human review capacity、NIST AI RMF改訂版の確定内容。

STOP_CONDITION

HAX/PAIR/NISTの基礎根拠、counterevidence、Core contract、未実施TEST_PROFILEまで揃ったためEA-098の初回bounded packetは完了。公開後Workではcurrent provider UIとNIST改訂版のみ再pinし、tenant固有値は実測する。

要点と前提

---

  • EVD-EA-098-URL-4791498B34A9研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    author/org: Microsoft Research / Microsoft

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-098-URL-4791498B34A9
    検証箇所
    EVIDENCE TABLE · canonical URL: https://www.microsoft.com/en-us/haxtoolkit/ai-guidelines/
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-098-URL-A3A4A3A95E3D研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    org: Microsoft HAX Toolkit

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-098-URL-A3A4A3A95E3D
    検証箇所
    EVIDENCE TABLE · canonical URL: https://www.microsoft.com/en-us/haxtoolkit/pattern/g9-c-undo-automated-actions/
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-098-URL-64614D476C42研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    org: Google PAIR

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-098-URL-64614D476C42
    検証箇所
    EVIDENCE TABLE · canonical URL: https://pair.withgoogle.com/old-gb/
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-098-URL-1454FD30DDBD研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    author/org: NIST / Elham Tabassi

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-098-URL-1454FD30DDBD
    検証箇所
    EVIDENCE TABLE · canonical URL: https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-098-URL-B4138DBAA9AD研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    org: NIST

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-098-URL-B4138DBAA9AD
    検証箇所
    EVIDENCE TABLE · canonical URL: https://www.nist.gov/news-events/news/2026/03/new-report-challenges-monitoring-deployed-ai-systems
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EA-098-R11-RESEARCH研究資料研究資料根拠の出所: AUDITED_CANONICAL_RESEARCH_PACKET

    EA-098 監査済みresearch / canonical revision binding

    裏付ける内容
    1. AI UIの最小契約は「出力表示」ではなく、EXPECTATION / EVIDENCE / UNCERTAINTY / CORRECTION / DISMISSAL / APPROVAL / REVERSIBILITY / ESCALATION / FEEDBACKを別stateとして扱うべきである。 2. confidenceは万能な真実確率ではない。model score、classifier probability、retrieval score、self-reported confidence、rule-based risk tierを同じ「信頼度%」へ潰さない。calibration evidenceがない生成AI自己申告値を正答確率として表示しない。 3. 根拠表示は「なぜこの結果か」を理解・検証する補助であり、根拠が表示されたこと自体は正しさを保証しない。引用/evidence provenanceとmodel explanationを分離する。 4. 訂正・dismiss・undoはAIが誤る前提のrecovery surfaceである。頻繁な訂正が必要ならUX改善だけでなくfeature disable / deterministic fallback / human-onlyへ戻す判断を含む。 5. Agent承認は、提案内容、対象resource、権限、不可逆side effect、費用、実行時刻/expiry、承認後の変更有無を明示して初めて意味を持つ。承認後にpayload/tool targetが変化する場合は再承認が必要という設計をCore候補とする。
    確認日
    —
    出典・実験ID
    COMM-089-EA0098
    検証箇所
    COMM-089-EA0098 · EA-098-R5-LEGACY-MIGRATION-20261008-R1 · content/staging/EA-098.md
    適用範囲
    監査済みEA本文・canonical revision・既存Source Graph relationの範囲。欠損currentnessは推測で閉じない。
    出典・来歴
    AUDIT_PASS_CANONICAL_BINDING
    限界
    canonical監査・revision bindingの存在を示す。外部ソースcurrentnessが本文またはcontrol-planeで確定していない場合は、currentnessをUNKNOWNのまま保持する。
  • EA-098-R11-WEB-READBACK実装資料実装資料根拠の出所: IMPLEMENTATION_READBACK

    EA-098 Web body identity / canonical readback

    裏付ける内容
    canonical staging bodyのSHA-256一致とR9 canonical ledger readbackをProduction projectionの入力として検証する。
    確認日
    —
    出典・実験ID
    WEBBODY-EA0098-R8-5B116C52
    検証箇所
    WEBBODY-EA0098-R8-5B116C52 · content/staging/EA-098.md · EA-098-R5-LEGACY-MIGRATION-20261008-R1
    適用範囲
    R9/R10 canonical readback後のProduction生成時body identity。
    出典・来歴
    CANONICAL_READBACK_BODY_HASH_MATCH
    限界
    body identity/readbackは本文claim自体の真偽や外部ソースの最新性を追加保証しない。
出典ID
COMM-089-EA0098, SRC-EA-098-URL-4791498B34A9, SRC-EA-098-URL-A3A4A3A95E3D, SRC-EA-098-URL-64614D476C42, SRC-EA-098-URL-1454FD30DDBD, SRC-EA-098-URL-B4138DBAA9AD, WEBBODY-EA0098-R8-5B116C52
追跡中のUNKNOWN ID
EA-098-UNKNOWN-01, EA-098-UNKNOWN-02, EA-098-UNKNOWN-CURRENTNESS
再確認のきっかけ
正式な 改訂版/publication 状態 change · 本文 成果物 hash change · 出典 現行性 change · new contradiction or 実装 結果の照合

機械検査: 通過 — 機械検査の結果です。情報の正確性や実行の承認を保証するものではありません。

    同じ記事IDの機械可読データです。