KV-cache-aware 処理先の振り分けを使うLLM serving 制御層

LLM servingのroutingは、単純なround-robinや現在負荷だけでなく、各workerに再利用可能なKV cache prefixがどれだけ存在するかと、prefill/decodeの進行中負荷を同時に評価できる。NVIDIA DynamoのKV-aware routerは、workerごとのprefix overlapとactive loadを組み合わせ、再計算するprefill量を減らしつつcache-rich workerへの集中を避ける設計を採る。

KV localityは固定的なsession affinityではない。cache overlapによるprefill節約とactive prefill/decode負荷を同じplacement decisionに入れ、cache hitの利益より混雑コストが大きい場合は別workerを選べることが重要である。

EA-751は、複数LLM workerを束ねるserving control planeにおいて、KV cache stateをrouting signalとして使う設計を扱う。aggregated servingとprefill/decodeを分離するdisaggregated serving、KV eventによるstate tracking、loadとのtrade-off、fallback、tenant/security境界、観測・検証を対象とする。

• NVIDIA Dynamo v1.3.0 Introduction: https://docs.nvidia.com/dynamo/v1.3.0/getting-started/introduction — KV cache-aware routing、KV cache offloading、disaggregated servingを主要技術として説明する。
• NVIDIA Dynamo v1.3.0 Router Guide: https://docs.nvidia.com/dynamo/v1.3.0/user-guides/kv-cache-aware-routing — KV overlapを用いたprefill costとactive decode/prefill loadを考慮し、KV eventまたは近似stateをroutingへ利用する。
• NVIDIA Dynamo current KV-Aware Routing: https://docs.nvidia.com/dynamo/knowledge-base/concepts/system-architecture/kv-aware-routing — cache localityとactive loadを組み合わせ、cache-hot workerへの過集中を避けるcost-based placementを説明する。
• vLLM Automatic Prefix Caching: https://docs.vllm.ai/en/latest/design/prefix_caching/ — shared prefixのKV blocksを再利用し、重複prefill計算を避ける基礎機構を説明する。

KV-aware routingが効くのは、長いsystem prompt、共通文書prefix、multi-turn session、agent scaffoldなど、prefix再利用が実際に発生するworkloadである。routing layerがworker-local cache residencyを把握できなければ、同じprefixが別workerへ散ってprefillを繰り返す。

一方、cache localityだけを最大化するとhot workerを作る。control planeはprefix overlap、active prefill、active decode、worker eligibility/healthを分離して観測し、最終routing scoreへ統合する必要がある。

• STALE CACHE VIEW: create/evict eventの欠落・遅延でrouterのcache indexが実状態と乖離する。
• HOT-SPOT AFFINITY: cache hitを過大評価し、同じworkerへtrafficが集中してqueueing latencyが増える。
• FALSE MISS / FALSE HIT: block identity、salt、multimodal key、tier情報の扱い不一致でcache reuse見積りを誤る。
• EVENT-PLANE FAILURE: KV event transport停止時にcache-aware scoringが成立しない、または近似stateの誤差が拡大する。
• WORKLOAD MISMATCH: prefix共有が少ないtrafficではtracking/routing overheadに対する利益が小さい。
• TENANT BOUNDARY ERROR: tenant間で再利用してはならないcache namespaceを同一視すると情報境界を破る。
• DISAGGREGATED MISMATCH: prefill/decode分離時にworker選択とKV transferを同一問題として扱い、転送コストや到着時刻を無視する。

• round-robinまたはload-only routingをbaselineにし、KV-aware routingとの差を同一workloadでA/B測定する。
• router decisionごとにprefix overlap、predicted prefill work、active prefill/decode load、selected worker、fallback reasonを記録する。
• KV create/remove eventのlag、drop、recoveryを監視し、event plane不調時のfallbackを明示する。
• cache localityだけでなくqueueing/active loadをcostへ入れ、hot-worker集中を防ぐ。
• tenant/model/adapter/cache-salt等、cache identityに必要なnamespaceをrouting indexにも反映する。
• aggregatedとdisaggregated servingを別fixtureで評価し、後者ではrouting decisionとKV transferを別々に計測する。
• TTFT、throughput、cache-hit/overlap、prefill tokens saved、p95/p99 latency、worker imbalance、routing overheadを同時に測る。
• version upgrade時はevent semantics、router cost、TTL/pruning、backend integrationの変更を回帰試験する。

prefix sharingが高いほど再利用余地は大きいが、改善幅はmodel、prompt長、request arrival pattern、worker数、cache容量、backend、network、event freshness、load分布に依存する。NVIDIAが示す個別性能値を別環境の保証値として扱わない。

vLLMのAutomatic Prefix Cachingはworker内部のprefix reuse機構を説明するもので、単独ではmulti-worker routing policyを規定しない。Dynamoのrouter設計とbackend cache機構を区別する。

• cache-aware routingはprefix共有が乏しいworkloadでは利得が小さく、通常のload balancingが十分な場合がある。
• event-driven cache indexは実状態の完全な同期を保証しない。event loss、eviction race、restart、TTL、network partitionを考慮する必要がある。
• cache hitが大きくてもworkerが混雑していれば最適workerとは限らない。
• offloaded KVやdisaggregated KV transferでは「cacheがある」だけでなくtierと転送コストが重要になる。
• provider/backend固有のblock hashing、salt、adapter、multimodal keyの仕様差があり、routing indexの互換性を仮定できない。

cache keyやevent streamにraw prompt、tenant secret、customer contentを不要に載せない。tenant isolationに必要なnamespaceをhash/cache identityへ含め、cross-tenant reuseを許可する場合は明示的な安全設計を要求する。routerのdecision logはprompt本文ではなく、必要最小限のcache identifier、overlap量、worker、load、reasonを保持する。

運用コストはGPU inferenceだけでなく、router、indexer、event plane、KV transfer、offload storage、observabilityの追加負荷を含めて評価する。

• 実運用workloadでのprefix共有率とKV-aware routingの損益分岐点
• event lag/dropがrouting品質へ与える定量影響
• tenant固有のcache namespace、salt、adapter、multimodal key設計
• offloaded KVのtier別hitをrouting costへどう重み付けするか
• disaggregated servingでrouting gainとKV transfer costを統合する最適なcost model
• Dynamo以外のcontrol planeで同等のcache/load joint routingを採用した場合の比較結果

UNKNOWNを公開資料から推測で閉じない。組織固有値はworkload replayと実測で確定する。

KV-cache-aware routingは、再利用可能なprefix stateを持つworkerを優先候補にしつつ、現在のprefill/decode負荷も考慮してrequestを配置する方法である。prefix共有が多いworkloadでは重複prefillを減らせる可能性があるが、効果はcache residency、event freshness、worker load、backend、network、workload分布に依存する。公開された個別ベンチマーク値を自環境の保証値として扱わず、load-only baselineとのA/B測定とauthoritative telemetryで確認する。