AI Restore Drill／Disaster 復旧 Exercise

DR drillの成功は「failover jobが完了した」ことではなく、定義したrecovery pointから隔離された環境へ復旧し、AIのcritical journeyとstate整合性を検証し、RTO/RPO・安全性・failback/reprotectまで観測できたことを意味します。drill結果はそのscenario/runに対する証拠であり、将来の災害時成功を保証しません。

各drillはscenario、scope、recovery point、RTO/RPO、isolation、owner、開始/停止条件、validation oracle、cleanup、failback/reprotect、evidence retentionを固定します。RTO/RPOは業務影響から定義し、製品の推奨値やbackup scheduleだけで達成扱いにしません。

復旧対象をDBだけに限定しません。少なくともcheckpoint/memory、retrieval corpus/index/embedding、prompt/policy、model/provider routing、tool schema/permission、workflow/runtime config、credential/KMS参照、observability設定を列挙し、各stateのsource of truthと再構築可能性を記録します。

Test failoverは本番と分離したnetwork/account/project/tenantを既定とします。メール送信、決済、チケット更新、外部API書込み等はstub/sandbox/denyで封じます。実副作用が必要な試験は専用scope、idempotency、cleanup、authoritative readbackを要求します。

「VMが起動した」「endpointが200を返した」で閉じません。最低限、identity/secret解決、model接続、retrieval、tool permission、representative agent journey、policy/guardrail、state freshness、duplicate side effect、observability、operator accessを検査します。復旧後のmodel aliasや外部provider挙動がbackup時点と同一とは仮定しません。

DR製品のtest-failover成功は業務アプリ全体の復旧保証ではありません。isolated drillは本番DNS、traffic、quota、external dependency、human escalationを完全には再現しません。頻繁なdrillも未検証failure modeをゼロにはしません。

• recovery pointは存在するが、cross-store時点が不整合。
• DBは戻るがvector index/checkpoint/prompt/tool schemaが非互換。
• KMS/credential/IAMが復旧先で解決できない。
• test環境から実外部side effectが発生する。
• failover成功後のfailback/reprotectが未検証。
• RTO内にinfraは起動するがAI critical journeyが成立しない。
• provider/model alias、quota、region availabilityがdrill時に変化する。
• cleanup漏れがcost/security exposureを残す。

DR製品/version、region/account support、recovery-point availability、target capacity/network、credential/KMS、provider/model availabilityとquotaをdrill前にreadbackします。

AWS Well-Architectedのrecovery testing/RTO-RPO/backup recovery guidance、Azure Site Recoveryのtest-failover validation/cleanup guidance、NIST SP 800-34のcontingency testing guidanceを根拠とします。これらは特定tenantのrecoverability保証ではなく、AI固有の実現状態は別途検証が必要です。

DR drillは復旧手順を検証する証拠であり、将来の災害時成功を保証しません。AIシステムではinfra起動だけでなく、複数stateの整合性、model/tool/retrieval/policyを含むcritical journey、副作用隔離、failback/reprotectを検証し、観測したRTO/RPOと未検証条件を残します。

組織RTO/RPO、critical journey、state inventory、recovery topology、DR製品/version、network isolation、provider quota、credential/KMS recovery、side-effect sandbox、validation oracle、failback/reprotect手順、drill cadence、tenant実挙動は未確認です。

• business impactからRTO/RPOとscenarioを定義する。
• recovery pointと全AI state inventoryを固定する。
• isolated targetとside-effect containmentを準備する。
• failover後にcritical journeyをauthoritative sourceで検証する。
• 実測RTO/RPO、data/state divergence、operator手順を記録する。
• cleanup、failback、reprotectまで試験する。
• 失敗・UNKNOWNをrunbook/architectureへ戻し、重大変更後に再試験する。