Chaos Engineering／Fault Injection for AI

AI/AgentへのChaos Engineeringでは、faultを注入できたこと自体をresilienceの証明にしません。

実験前のsteady state、resolved target、blast radius、fault/version、stop condition、revert経路を固定し、実行後にservice SLI、data integrity、queue/backlog、tool side effect、Agent task-level invariantをreadbackします。

各experimentにhypothesis/expected invariant、environment、target selectorとresolved target、fault/action/version、intensity/duration、steady-state SLI/SLO、stop/abort condition、revert path、owner/approver、post-fault acceptance、definition hashを保存します。

selector/tag/queryだけを安全境界にしません。shared subnet、gateway、queue、database、identity service等をtargetにすると複数applicationへ影響する場合があります。実行時resolved target setをreadbackしplanned setとの差分を確認します。productionでは小さいblast radiusから開始しpre-productionで先に検証します。

stop conditionはguardrailですが完全復旧の証明ではありません。停止後にfault removal/revert、resource health、data integrity、queue/backlog、retry/duplicate side effectを確認します。revert failure/partial revertをfailure envelopeへ含めます。

fault action/job成功、terminal status、Completed表示だけでPASSにしません。pre-fault steady stateとpost-fault acceptanceを比較し、service SLI/SLOとtask-level invariantを評価します。

LLM/API 429・5xx・timeout・latency、stream truncation/malformed response、model/provider failover、retrieval empty/stale/permission denial、vector/index lag、tool/MCP timeout/partial success、retry/duplicate side effect、queue delay/backlog、identity/token expiry、context-window pressure、policy/guardrail dependency unavailableを候補化します。

provider-managed hidden backendなど直接injectできない領域はproxy/stub/faulting dependency等で再現可能な境界とUNKNOWNを分けます。

決済、通知、削除、署名、外部更新等のtoolを含むexperimentではsandbox/allowlistを使い、idempotency、readback、compensationを検証します。chaos automationが本番副作用を無制御に発火できる権限を持たないようにします。

fault injection開始権限とtarget resource操作権限をleast privilegeで管理します。production experimentはowner/approver、対象、期間、stop conditionを明示し、自動化経路にも同じauthorization boundaryを適用します。

AWS FISはreal AWS resourcesへreal actionsを行うため、pre-production planningとstop conditionsを前提にします。Azure Chaos Studioはcurrent WorkspacesとExperiments (classic)を区別し、classic固有記述をcurrent Workspacesへ無条件に一般化しません。Google Cloud Fault Injection Testingは2026-10-06時点でPreview/Pre-GAであり、terminal Completedはpremature cancelを含み得るため状態名だけをPASS判定にしません。LitmusChaosではpre-chaos steady-state validation、fault injection、revert、post-chaos status checkを別工程として扱います。

resolved target set、actual fault start/end、stop-condition state、telemetry window、revert state、post-fault SLI/SLO、data-integrity result、queue/backlog state、external side-effect result、Agent task-level invariant、exception/break-glassを保存します。

LLM/Agent出力は非決定的になり得ます。単一文字列一致だけでresilienceを評価せず、task completion、tool correctness、policy violation、latency/error budget等のinvariantをfault hypothesisに合わせて定義します。infrastructure recoveryとAgent behavioral recoveryを別gateにします。

wrong target、selector expansion、shared-resource collateral impact、stop alarm不備、telemetry outage、stop delay、revert/partial-revert failure、data corruption、backlog、duplicate side effect、failover bypass、fault path coverage不足、overprivileged experiment identity、approval bypass、model/API drift、nondeterministic oracle、cost runawayを想定します。

本項は2026-10-06時点のAWS FIS、Azure Chaos Studio、Google Cloud Fault Injection Testing、LitmusChaos公開資料に基づきます。organization環境へのlive fault injectionは未実施です。

AI/AgentへのChaos Engineeringでは、faultを注入できたこと自体をresilienceの証明にしません。実験前のsteady state、resolved target、blast radius、fault/version、stop condition、revert経路を固定し、実行後にservice SLI、data integrity、queue/backlog、tool side effect、Agent task-level invariantをreadbackします。production実行はpre-production検証、least privilege、承認、明示的なabort条件を伴わせます。

organization chaos platform/version、environment topology、target inventory/selectors、IAM/approval、SLI/SLO、LLM/provider/tool dependencies、side-effect sandbox、stop alarms、rollback/revert implementation、data-integrity oracle、queue/backlog thresholds、failover、experiment cadence、cost/capacity、incident freeze policy、tenant realized stateは未確認です。

MANIFEST acceptance: separates fault injection from resilience verdict; fixes target/blast-radius/steady-state/stop/revert/auth/readback and AI-specific fault/oracle boundaries. risk: mis-targeted or overprivileged chaos can itself cause outages or side effects; successful injection or terminal status can mask failed recovery or untested paths. rollback: new path only; if later integrated and rejected, remove candidate-added path while preserving evidence/revision history. local_tests: deterministic experiment-policy fixture 11/11 PASS; required sections PASS; READY/AUDIT_PASS absent. local_payload_sha256: 0dca8e99f270d985f3c25fd9ca5a6cfd99a640c5767e52f2365b5504bddcbefc local_manifest_sha256: e9619711f35549d120b5817eb7b6357d4f5d0dda4a50b3f5708ae7d7a2baefa3

1wnDmJjwZOy3zYWpkNJjE61smP_9iVTpgYRhk4mrcCTU