Circuit Breaker／Bulkhead／Load Shedding × AI

Circuit Breaker、Retry、Bulkhead、Load Sheddingは同じ機能ではありません。

Retryは一時障害からの回復を試みます。Circuit Breakerは失敗しやすい依存先を一定期間fail-fastにします。Bulkheadは同時実行・thread/connection/worker等のresourceを分離します。Load Sheddingはcapacityを超えるworkをadmission段階で拒否します。

AI/Agentでは、この4つにtimeout/deadlineを加えて設計します。

remote callには明示的なconnection/request/operation deadlineを設定します。長すぎるtimeoutはresourceを保持し、短すぎるtimeoutはretry trafficを増幅します。

retryは各layerで無制限に重ねません。end-to-end attempt budgetを決め、retry ownerを固定し、transient failureだけをbounded exponential backoff + jitterへ入れます。

schema invalid、policy denial、permission error等のdeterministic failureをdependency-health retryへ混ぜません。

breakerは少なくともClosed/Open/Half-Openのstateを持ちます。

Open中はlikely-failing dependencyへのrequestをfail-fastにし、Half-Openでは限定probeだけを通します。回復直後に全trafficを戻しません。

failure thresholdはerror countだけで固定せず、slow-call率、429/5xx、timeout、minimum sample、window、provider固有signalを区別します。authorizationやcaller validation failureを無条件にbreaker failureへ数えません。

bulkheadはconcurrency/resource isolationです。

interactive/high-priority requestとbatch/eval/background Agentを同一resource poolへ無制限に入れません。dependency別またはworkload class別にin-flight上限とqueue上限を持ち、queue待ちがdeadlineを超えるworkは実行前に拒否します。

load sheddingはoverload後の例外処理だけではなくadmission controlとして扱います。

queue depth/age、in-flight concurrency、deadline slack、estimated token/compute、provider quota、tenant budget、priorityを使ってadmissionを判断します。

low-priority/background workを先にshedできるようreserved capacityを設けます。ただしbusiness priorityをprompt長やmodel名だけから推定しません。

retryは可用性を上げる場合がありますが、障害を増幅する場合もあります。

2025年のGoogle Cloud AppSheet incidentでは、primary database障害後のretry surgeがsecondary authentication databaseをoverloadし、その後のtraffic migrationとlicense-entitlement負荷、aggressive load sheddingがlatencyをさらに悪化させました。

そのため、retry countだけでなくoriginal requestに対するtotal downstream attemptsをretry amplificationとして観測します。

fallback responseが返ったことを“成功”と同義にしません。

cache、small model、別provider、retrievalなし回答等へfallbackすると、freshness、quality、tool support、structured-output contract、policy、data residencyが変わる場合があります。

fallback routeごとに許可されたdata classification、capability、policy、residency、quality floorを固定し、degraded responseであることをtraceへ残します。

Circuit Breakerがopenになったことやclient timeoutが発生したことは、直前のexternal tool actionが実行されなかった証明ではありません。

payment、email、ticket update等のside-effecting callにはstable operation ID/idempotency keyを付け、timeout/connection loss時はauthoritative statusをreadbackしてreconcileします。

Resilience4jのようなlibraryはCircuitBreaker、Retry、RateLimiter、Bulkhead、TimeLimiterをcomposeできますが、decorator order、configuration、framework integration、versionによってobservable behaviorが変わります。

current release名だけでcompatibilityを推定せず、exact library/framework versionをpinしてfixtureを通します。v2.4.0ではSpring Boot 4 support artifactのBOM omissionがupstream issueとして報告されているため、release存在だけをintegration-completeの証拠にしません。

少なくともdependency latency/timeout、429/503 mix、nested retry、provider quota exhaustion、half-open recovery、queue/bulkhead saturation、interactive vs batch contention、fallback provider/model/cache、external side effect成功後response loss、capacity migration中のretry/load sheddingをfault injectionします。

breaker open duration/flapping、bulkhead rejection、shed rate、queue age、retry amplification、fallback quality、token/compute cost、recovery timeを記録します。

slow/hard outage、429/503、timeout misconfiguration、retry storm、nested/synchronized retries、half-open probe flood、shared-breaker blast radius、bulkhead starvation、priority inversion、queue growth、quota exhaustion、fallback semantic mismatch、stale cache、residency/policy mismatch、ambiguous side effect、breaker flapping、wrong failure classification、manual override misuse、capacity migration overloadを想定します。

本項は2026-10-05時点のAzure architecture guidance、AWS resiliency guidance、Resilience4j author-maintained repository/release/issue、Google Cloud production incident reportとbounded local fixtureに基づきます。production provider overload、service mesh、external side effect mutationは未実施です。

Circuit Breaker、Bulkhead、Load Shedding、Timeout、Retryは別の障害制御です。Circuit Breakerは失敗しやすい依存先をfail-fastにしますが、長時間実行中のresource占有、過剰な同時実行、retry amplification、外部side effectの重複まで自動的に防ぎません。依存先別のtimeout/breaker/bulkhead、end-to-end retry budget、priority-aware admission、限定half-open probe、fallbackの意味的適合性、side-effect readback/reconciliationを組み合わせてください。

対象Agent runtime、provider/model/tool、retry layer、timeout/deadline、breaker threshold、bulkhead size、priority class、load-shed policy、fallback route、residency、external status/idempotency API、SLO/cost、production failure distribution、library/framework exact versionsは未確認です。

Circuit Breaker/Retry/Bulkhead/Load Sheddingを別controlとして分離し、retry amplificationとload sheddingのproduction counterevidence、dependency-specific isolation、fallback/side-effect boundaryを監査可能な形で固定します。