# KV-cache-aware routingを使うLLM serving control plane

CURRENT_STATUS: CURRENT
OBSERVATION: SPEC_ONLY
FRESHNESS: CURRENT
PAGE_TYPE: reference
CANONICAL_URL: /tools/ea-751-kv-cache-aware-routing-llm-serving-control-plane
CLAIM_IDS: none
EVIDENCE_IDS: EVD-EA-751-URL-057FBA35017C, EVD-EA-751-URL-2D3E3E27A18A, EVD-EA-751-URL-1D94E2E6E406, EVD-EA-751-URL-6D3F650A6E04, EA-751-CURRENT-APPROVAL, EA-751-CURRENT-BODY-READBACK
UNKNOWN_IDS: EA-751-UNKNOWN-01
OPS_IDS: none

## Summary
LLM servingのroutingは、単純なround-robinや現在負荷だけでなく、各workerに再利用可能なKV cache prefixがどれだけ存在するかと、prefill/decodeの進行中負荷を同時に評価できる。NVIDIA DynamoのKV-aware routerは、workerごとのprefix overlapとactive loadを組み合わせ、再計算するprefill量を減らしつつcache-rich workerへの集中を避ける設計を採る。

## Current judgment
LLM servingのroutingは、単純なround-robinや現在負荷だけでなく、各workerに再利用可能なKV cache prefixがどれだけ存在するかと、prefill/decodeの進行中負荷を同時に評価できる。NVIDIA DynamoのKV-aware routerは、workerごとのprefix overlapとactive loadを組み合わせ、再計算するprefill量を減らしつつcache-rich workerへの集中を避ける設計を採る。

## Scope
EA-751は、複数LLM workerを束ねるserving control planeにおいて、KV cache stateをrouting signalとして使う設計を扱う。aggregated servingとprefill/decodeを分離するdisaggregated serving、KV eventによるstate tracking、loadとのtrade-off、fallback、tenant/security境界、観測・検証を対象とする。

## Confirmed

## UNKNOWN
- EA-751-UNKNOWN-01: - 実運用workloadでのprefix共有率とKV-aware routingの損益分岐点
- event lag/dropがrouting品質へ与える定量影響
- tenant固有のcache namespace、salt、adapter、multimodal key設計
- offloaded KVのtier別hitをrouting costへどう重み付けするか
- disaggregated servingでrouting gainとKV transfer costを統合する最適なcost model
- Dynamo以外のcontrol planeで同等のcache/load joint routingを採用した場合の比較結果

UNKNOWNを公開資料から推測で閉じない。組織固有値はworkload replayと実測で確定する。

## Evidence
- EVD-EA-751-URL-057FBA35017C (RESEARCH): NVIDIA Dynamo v1.3.0 Introduction: — https://docs.nvidia.com/dynamo/v1.3.0/getting-started/introduction
- EVD-EA-751-URL-2D3E3E27A18A (RESEARCH): NVIDIA Dynamo v1.3.0 Router Guide: — https://docs.nvidia.com/dynamo/v1.3.0/user-guides/kv-cache-aware-routing
- EVD-EA-751-URL-1D94E2E6E406 (RESEARCH): NVIDIA Dynamo current KV-Aware Routing: — https://docs.nvidia.com/dynamo/knowledge-base/concepts/system-architecture/kv-aware-routing
- EVD-EA-751-URL-6D3F650A6E04 (RESEARCH): vLLM Automatic Prefix Caching: — https://docs.vllm.ai/en/latest/design/prefix_caching/
- EA-751-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応
- EA-751-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合

## Failure / limits
STALE CACHE VIEW: create/evict eventの欠落・遅延でrouterのcache indexが実状態と乖離する。
## Failure / limits
HOT-SPOT AFFINITY: cache hitを過大評価し、同じworkerへtrafficが集中してqueueing latencyが増える。
## Failure / limits
FALSE MISS / FALSE HIT: block identity、salt、multimodal key、tier情報の扱い不一致でcache reuse見積りを誤る。
## Failure / limits
EVENT-PLANE FAILURE: KV event transport停止時にcache-aware scoringが成立しない、または近似stateの誤差が拡大する。
## Failure / limits
WORKLOAD MISMATCH: prefix共有が少ないtrafficではtracking/routing overheadに対する利益が小さい。
## Failure / limits
TENANT BOUNDARY ERROR: tenant間で再利用してはならないcache namespaceを同一視すると情報境界を破る。
## Failure / limits
DISAGGREGATED MISMATCH: prefill/decode分離時にworker選択とKV transferを同一問題として扱い、転送コストや到着時刻を無視する。
## Failure / limits
cache-aware routingはprefix共有が乏しいworkloadでは利得が小さく、通常のload balancingが十分な場合がある。
## Failure / limits
event-driven cache indexは実状態の完全な同期を保証しない。event loss、eviction race、restart、TTL、network partitionを考慮する必要がある。
## Failure / limits
cache hitが大きくてもworkerが混雑していれば最適workerとは限らない。
## Failure / limits
offloaded KVやdisaggregated KV transferでは「cacheがある」だけでなくtierと転送コストが重要になる。
## Failure / limits
provider/backend固有のblock hashing、salt、adapter、multimodal keyの仕様差があり、routing indexの互換性を仮定できない。
## Practice
cache keyやevent streamにraw prompt、tenant secret、customer contentを不要に載せない。tenant isolationに必要なnamespaceをhash/cache identityへ含め、cross-tenant reuseを許可する場合は明示的な安全設計を要求する。routerのdecision logはprompt本文ではなく、必要最小限のcache identifier、overlap量、worker、load、reasonを保持する。

運用コストはGPU inferenceだけでなく、router、indexer、event plane、KV transfer、offload storage、observabilityの追加負荷を含めて評価する。
## Public claim
LLM servingのroutingは、単純なround-robinや現在負荷だけでなく、各workerに再利用可能なKV cache prefixがどれだけ存在するかと、prefill/decodeの進行中負荷を同時に評価できる。NVIDIA DynamoのKV-aware routerは、workerごとのprefix overlapとactive loadを組み合わせ、再計算するprefill量を減らしつつcache-rich workerへの集中を避ける設計を採る。

KV localityは固定的なsession affinityではない。cache overlapによるprefill節約とactive prefill/decode負荷を同じplacement decisionに入れ、cache hitの利益より混雑コストが大きい場合は別workerを選べることが重要である。

## Scope
EA-751は、複数LLM workerを束ねるserving control planeにおいて、KV cache stateをrouting signalとして使う設計を扱う。aggregated servingとprefill/decodeを分離するdisaggregated serving、KV eventによるstate tracking、loadとのtrade-off、fallback、tenant/security境界、観測・検証を対象とする。

## Evidence and provenance
- NVIDIA Dynamo v1.3.0 Introduction: https://docs.nvidia.com/dynamo/v1.3.0/getting-started/introduction — KV cache-aware routing、KV cache offloading、disaggregated servingを主要技術として説明する。
- NVIDIA Dynamo v1.3.0 Router Guide: https://docs.nvidia.com/dynamo/v1.3.0/user-guides/kv-cache-aware-routing — KV overlapを用いたprefill costとactive decode/prefill loadを考慮し、KV eventまたは近似stateをroutingへ利用する。
- NVIDIA Dynamo current KV-Aware Routing: https://docs.nvidia.com/dynamo/knowledge-base/concepts/system-architecture/kv-aware-routing — cache localityとactive loadを組み合わせ、cache-hot workerへの過集中を避けるcost-based placementを説明する。
- vLLM Automatic Prefix Caching: https://docs.vllm.ai/en/latest/design/prefix_caching/ — shared prefixのKV blocksを再利用し、重複prefill計算を避ける基礎機構を説明する。

## Operational meaning
KV-aware routingが効くのは、長いsystem prompt、共通文書prefix、multi-turn session、agent scaffoldなど、prefix再利用が実際に発生するworkloadである。routing layerがworker-local cache residencyを把握できなければ、同じprefixが別workerへ散ってprefillを繰り返す。

一方、cache localityだけを最大化するとhot workerを作る。control planeはprefix overlap、active prefill、active decode、worker eligibility/healthを分離して観測し、最終routing scoreへ統合する必要がある。

## Failure modes
- STALE CACHE VIEW: create/evict eventの欠落・遅延でrouterのcache indexが実状態と乖離する。
- HOT-SPOT AFFINITY: cache hitを過大評価し、同じworkerへtrafficが集中してqueueing latencyが増える。
- FALSE MISS / FALSE HIT: block identity、salt、multimodal key、tier情報の扱い不一致でcache reuse見積りを誤る。
- EVENT-PLANE FAILURE: KV event transport停止時にcache-aware scoringが成立しない、または近似stateの誤差が拡大する。
- WORKLOAD MISMATCH: prefix共有が少ないtrafficではtracking/routing overheadに対する利益が小さい。
- TENANT BOUNDARY ERROR: tenant間で再利用してはならないcache namespaceを同一視すると情報境界を破る。
- DISAGGREGATED MISMATCH: prefill/decode分離時にworker選択とKV transferを同一問題として扱い、転送コストや到着時刻を無視する。

## Controls / implementation implications
1. round-robinまたはload-only routingをbaselineにし、KV-aware routingとの差を同一workloadでA/B測定する。
2. router decisionごとにprefix overlap、predicted prefill work、active prefill/decode load、selected worker、fallback reasonを記録する。
3. KV create/remove eventのlag、drop、recoveryを監視し、event plane不調時のfallbackを明示する。
4. cache localityだけでなくqueueing/active loadをcostへ入れ、hot-worker集中を防ぐ。
5. tenant/model/adapter/cache-salt等、cache identityに必要なnamespaceをrouting indexにも反映する。
6. aggregatedとdisaggregated servingを別fixtureで評価し、後者ではrouting decisionとKV transferを別々に計測する。
7. TTFT、throughput、cache-hit/overlap、prefill tokens saved、p95/p99 latency、worker imbalance、routing overheadを同時に測る。
8. version upgrade時はevent semantics、router cost、TTL/pruning、backend integrationの変更を回帰試験する。

## Applicability boundary
prefix sharingが高いほど再利用余地は大きいが、改善幅はmodel、prompt長、request arrival pattern、worker数、cache容量、backend、network、event freshness、load分布に依存する。NVIDIAが示す個別性能値を別環境の保証値として扱わない。

vLLMのAutomatic Prefix Cachingはworker内部のprefix reuse機構を説明するもので、単独ではmulti-worker routing policyを規定しない。Dynamoのrouter設計とbackend cache機構を区別する。

## Counterevidence / limitations
- cache-aware routingはprefix共有が乏しいworkloadでは利得が小さく、通常のload balancingが十分な場合がある。
- event-driven cache indexは実状態の完全な同期を保証しない。event loss、eviction race、restart、TTL、network partitionを考慮する必要がある。
- cache hitが大きくてもworkerが混雑していれば最適workerとは限らない。
- offloaded KVやdisaggregated KV transferでは「cacheがある」だけでなくtierと転送コストが重要になる。
- provider/backend固有のblock hashing、salt、adapter、multimodal keyの仕様差があり、routing indexの互換性を仮定できない。

## Security / privacy / audit / cost / operability
cache keyやevent streamにraw prompt、tenant secret、customer contentを不要に載せない。tenant isolationに必要なnamespaceをhash/cache identityへ含め、cross-tenant reuseを許可する場合は明示的な安全設計を要求する。routerのdecision logはprompt本文ではなく、必要最小限のcache identifier、overlap量、worker、load、reasonを保持する。

運用コストはGPU inferenceだけでなく、router、indexer、event plane、KV transfer、offload storage、observabilityの追加負荷を含めて評価する。

## OPEN_UNKNOWN
- 実運用workloadでのprefix共有率とKV-aware routingの損益分岐点
- event lag/dropがrouting品質へ与える定量影響
- tenant固有のcache namespace、salt、adapter、multimodal key設計
- offloaded KVのtier別hitをrouting costへどう重み付けするか
- disaggregated servingでrouting gainとKV transfer costを統合する最適なcost model
- Dynamo以外のcontrol planeで同等のcache/load joint routingを採用した場合の比較結果

UNKNOWNを公開資料から推測で閉じない。組織固有値はworkload replayと実測で確定する。

## SAFE_WORDING
KV-cache-aware routingは、再利用可能なprefix stateを持つworkerを優先候補にしつつ、現在のprefill/decode負荷も考慮してrequestを配置する方法である。prefix共有が多いworkloadでは重複prefillを減らせる可能性があるが、効果はcache residency、event freshness、worker load、backend、network、workload分布に依存する。公開された個別ベンチマーク値を自環境の保証値として扱わず、load-only baselineとのA/B測定とauthoritative telemetryで確認する。

NEXT: /agent/start.json
STOP: This is a knowledge projection, not an execution order.