AI Kill Switch／Rollback設計

自律agentやtool-using workflowでは、異常時にmodel APIを止めるだけでは不十分である。異常componentを最小範囲で隔離し、必要なら全体を緊急停止し、known-good revisionへ戻し、外部副作用や汚染状態を別途処理できなければ、停止そのものが大規模業務停止または不完全復旧を生む。Kill SwitchとRollbackはAI safety機能というより、versioned deployment/control-plane/incident-response設計として扱う必要がある。

Enterprise AI Core / Operations / Security / AgentOps / AI-SRE / implementation / non-LLM component / provider mapping / organization overlay

• AIのKill Switchは「全停止ボタン」で十分か。
• model/prompt/workflow/tool/RAG等をknown-good stateへ安全に切り戻すために必要な前提は何か。
• 実行済み外部副作用とdeployment rollbackをどう区別すべきか。

• Source class: official national AI incident-response guidance Exact title: AI Incident Response Approach Book / AI-IRS v1.0 Author/org: AI Safety Institute, Japan (J-AISI) Canonical URL: https://aisi.go.jp/assets/pdf/ai-irs_v1.0_ja.pdf Publication/update/access: 2026-01-09; accessed 2026-09-14 Version: AI-IRS v1.0 Supporting locator: pp.16, 18-19; local stop/over-control; design-time controllability; model-version switch; malicious-data handling; unauthorized API disconnection; isolated higher-authority control interface Evidence label: SOURCE_REPORT / VERIFIED_SPEC Relation: support/limit Claim supported: safe containmentは全停止より局所停止を優先し得る。controlabilityをdesign timeに組み込み、異常modelから別version/alternate modelへの切替、不正API切離し、異常の影響を受けない上位control interface等が具体例として示される。局所隔離できなければagent全体停止によるbusiness interruptionというover-control riskがある。

• Source class: official cyber incident-response standard/guidance Exact title: NIST SP 800-61 Rev. 3 Author/org: NIST Canonical URL: https://csrc.nist.gov/pubs/sp/800/61/r3/final Publication/update/access: April 2025; accessed 2026-09-14 Version: Final SP 800-61r3 Supporting locator: containment, recovery, risk-management integration Evidence label: VERIFIED_SPEC Relation: context/support Claim supported: containment/recoveryはincident responseの基礎。AI固有kill switchはこの一般IR controlを具体化・拡張するものとして位置づけるのが妥当。

• Source class: official OSS implementation documentation Exact title: Updating a Deployment / Rolling Back a Deployment Author/org: Kubernetes project Canonical URL: https://kubernetes.io/docs/concepts/workloads/controllers/deployment/ ; https://kubernetes.io/docs/tasks/run-application/update-deployment-rolling/ Publication/update/access: current docs accessed 2026-09-14; page modified 2026-03-12 in current documentation Version: current Kubernetes documentation Supporting locator: rollout history / kubectl rollout undo / revisionHistoryLimit Evidence label: OSS_PRACTICE Relation: support/limit Claim supported: generic deployment rollback is implemented through retained/versioned prior revisions; rollback capability depends on revision history retention. This is an implementation pattern, not evidence that an AI model/prompt/workflow automatically rolls back.

• Source class: author-maintained OSS documentation Exact title: MLflow Model Registry / Model Registry Workflow Author/org: MLflow Canonical URL: https://mlflow.org/docs/latest/ml/model-registry/ ; https://www.mlflow.org/docs/latest/ml/model-registry/workflow/ Publication/update/access: current latest docs accessed 2026-09-14 Version: current latest documentation Supporting locator: model versions, aliases/tags; reassignable alias such as champion pointing to a model version Evidence label: OSS_PRACTICE Relation: support/context Claim supported: model versionをaddressableに保持しaliasを切り替える実装は、known-good modelへtraffic/referenceを切り替えるrollback/switch patternとして利用できる。

• 「Kill Switch」を一個の物理／論理ボタンとして一般化しない。実務Coreはprivileged control plane + 複数のcontainment scopeで設計する。
• containment hierarchyの推奨順は、(1) specific tool/API/credential deny、(2) specific agent/module/workflow branch pause、(3) model endpoint/version switch、(4) retrieval/data source quarantine、(5) whole workflow/agent stop、(6) system-wide emergency stop。実際の順序はincident severityとdependency graphで変わる。
• control pathは対象AIの異常挙動やprompt/tool chainから独立し、より高いauthorityを持つout-of-band経路にする。AI自身に自分のkill switch判断を全面委任しない。
• Rollbackは最低でもmodel、prompt/config、workflow/orchestrator、tool/policy、retrieval/index/data snapshot、runtime/deployment imageをversion-addressableにする必要がある、という設計仮説が強い。一次証拠が直接確立しているのはmodel version switchと一般deployment revision rollbackであり、prompt/workflow全層の共通標準は未確認。
• known-good stateの定義にはversion番号だけでなく、compatibility（tool schema, policy, index, secrets/identity, downstream dependency）を含めるべき。
• deployment rollbackは「実行済み副作用のundo」と同義ではない。送信済みメール、外部API mutation、DB書込み、支払等は以前のmodel/workflowへ戻しても自動的には取り消されない。compensating actionまたはmanual remediationを別runbookとして持つ必要がある（INFERENCE/PROPOSAL）。
• incident evidenceを失わないため、可能ならcontainment前後のrevision/trace/action stateをcaptureする。ただし進行中の害を止める緊急性が証拠保存より優先する場合がある。

• AI-IRS v1.0はapproach book/guidanceであり、普遍的なkill-switch標準や法的義務ではない。
• 局所停止にはdependency graphとcontrol pointが必要。dependency不明、shared credential/shared runtime、hidden stateがあると局所隔離に失敗し、全停止を余儀なくされる。
• rollback先が存在しても、schema/data migration、external state、provider model retirement、API incompatibility、vector index変更等で実際には戻せない可能性がある。
• Kubernetes/MLflowはimplementation precedentであり、AI workflow全体のatomic rollbackや副作用補償を保証しない。
• modelだけ戻してprompt/tool/data/indexが新しいままなら「部分rollback」による新たな不整合を起こし得る。
• fail-open control plane、同一credentialでのkill/restart、agent自身から書換可能なpolicy、単一provider control API依存はkill switchの信頼境界を弱める。

• provider model alias/version pinning、prompt versioning、workflow revision、tool disable、credential revoke、RAG snapshot/index rollbackの有無はprovider/product/planによる。
• model providerが旧versionをretireした場合、同一modelへのrollbackが不可能なためalternate model/fallback qualificationが必要。
• SaaS agentではsystem-wide stopやforensic snapshot権限がcustomer adminへ公開されない場合があるため、provider mappingで確認する。

Evidence-backed Core design (PROPOSAL): CONTROL PLANE (out-of-band, privileged, audited) -> scope selector [tool / credential / module / workflow / model / retrieval / global] -> action [deny / pause / disconnect / route-switch / revision-switch / stop] -> evidence snapshot -> health/eval gate -> recover or escalate.

Rollback manifest案: - application/workflow revision - model provider + model ID/version - system/developer prompt/config revision - tool schema/policy revision - retrieval corpus/index/snapshot revision - runtime/container/dependency revision - credential/identity/policy bindings - evaluator/test-set revision - migration/compatibility notes - external side-effect reconciliation status

安全なtabletop/game-dayで、以下を測る: - kill latency / containment latency - local-stop成功率とglobal-stop fallback率 - known-good revisionへの復旧時間 - rollback後のeval/regression pass率 - evidence capture completeness - orphaned tool calls/queued actions数 - uncompensated external side effects数 - control-plane availability and authorization failure 数値thresholdはorganization risk tierごとに定めるPROPOSALであり、共通業界値として断定しない。

kill/rollback権限をagent runtimeから分離し、least privilege + strong admin auth + dual controlを高impact用途で検討。

emergency snapshotに秘密情報やPIIが含まれ得るためincident evidence retention policyを定義。 AUDIT: 誰が、何を、どのscopeで停止/切替し、どのrevisionへ戻し、何を検証したかを記録。

warm standby/alternate provider、revision retention、snapshot、game-dayには追加costがあるが、復旧不能リスクとのtrade-offとして扱う。

kill switchは存在確認だけでなく定期drillが必要。unused emergency controlは権限切れ・API変更・runbook陳腐化を起こし得る。

「AIのKill Switchは、単一の『全停止ボタン』よりも、異常部分を最小単位で隔離し、必要に応じて全体停止へ拡大できる制御面として設計する方が実務的である。Rollbackにはknown-good revisionの保持とversion provenanceが必要だが、モデルやworkflowの切戻しは、既に外部世界へ生じた副作用を自動的に取り消すものではない。2026年時点で、model・prompt・workflow・tool・retrievalを一括してatomic rollbackする普遍的AI標準は確認できない。」

• EA-053 Incident Responseのcontainment/recovery mechanismとしてcross-reference。
• provider mappingでは model version pin/alias、prompt/config revision、workflow revision、tool disable、credential revoke、RAG/index snapshot、global stop、audit log、rollback retentionを別々に確認。
• post-update Workでは実機を伴う場合、破壊的操作を避けたTEST_PROFILEとして「dummy agent + mock tool + reversible state」でlocal kill/global kill/revision switchを検証。
• irreversible side effectsはcompensation/idempotency設計へ別論点として接続し、rollbackと混同しない。

• provider横断のstandardized kill/control interfaceの成熟状況。
• prompt/workflow/tool/retrievalを含むmulti-layer rollback manifestの標準化有無。
• stateful agent memory/long-running taskをrollbackする一般的方式。

provider横断control標準または主要agent platformのversioned rollback機能が成熟した時点、J-AISI/NIST/ISO guidanceが更新された時点で再採集。現時点の初回Packetは設計・採否判断に十分。

---

Kill/rollback remains an out-of-band scoped control-plane proposal. Local containment may precede global stop where dependencies permit. Kubernetes revision rollback and MLflow model-version/alias switching are implementation precedents, not evidence of atomic AI-workflow rollback. Revision rollback does not undo already committed external side effects. Preserve provider/product availability gates and all OPEN_UNKNOWN.