KVキャッシュ
この説明で扱う言葉: KV Cache ／ KVキャッシュ
ほかの呼び方: Key-Value Cache / attention KV cache / key/value cache
ひとことでいうと
Transformer系LLMの自己回帰推論で、過去tokenについてattention層が計算済みのKey/Value状態を保持し、次token生成時に同じ過去部分のK/Vを再計算せず再利用する推論時キャッシュ。容量はsequence長・同時request数・layer/head構成・dtype等に依存し、推論servingのメモリ設計とthroughput/concurrencyを左右する。
原資料の説明を確認する
Transformer系LLMの自己回帰推論で、過去tokenについてattention層が計算済みのKey/Value状態を保持し、次token生成時に同じ過去部分のK/Vを再計算せず再利用する推論時キャッシュ。容量はsequence長・同時request数・layer/head構成・dtype等に依存し、推論servingのメモリ設計とthroughput/concurrencyを左右する。
含むこと・含まないこと: モデルarchitectureごとの正確なKV容量式、GQA/MQA/MLA等での状態構造、quantized KVの品質影響、prefix cachingとの実装上の共有単位、provider固有runtimeでの管理方式は一律ではない。
混同に注意する言葉: Prefix Caching（request間で共有prefixの計算結果を再利用する仕組み） / Prompt Caching（provider/API側の入力prefix再利用・課金最適化概念） / model weight cache（重みのキャッシュ）
説明の出所を確認する
外部一次資料と候補台帳を照合した定義を掲載しています。
https://docs.vllm.ai/en/latest/api/vllm/config/cache/; https://docs.vllm.ai/en/latest/configuration/engine_args/; https://docs.vllm.ai/en/latest/features/kv_offloading_usage/
照合用の番号と原文
TERM-EXT-0005 · TERM_CANDIDATE_QUEUE!A7:T7:7
SHA-256: c2944eb96f19b478459db558dc425976cadb8e7bf723921f3cdc654836d38a45
Transformer系LLMの自己回帰推論で、過去tokenについてattention層が計算済みのKey/Value状態を保持し、次token生成時に同じ過去部分のK/Vを再計算せず再利用する推論時キャッシュ。容量はsequence長・同時request数・layer/head構成・dtype等に依存し、推論servingのメモリ設計とthroughput/concurrencyを左右する。 モデルarchitectureごとの正確なKV容量式、GQA/MQA/MLA等での状態構造、quantized KVの品質影響、prefix cachingとの実装上の共有単位、provider固有runtimeでの管理方式は一律ではない。