プロンプトキャッシュ
この説明で扱う言葉: Prompt Caching ／ プロンプトキャッシュ
ほかの呼び方: Context Caching / プロンプトキャッシュ / コンテキストキャッシュ
ひとことでいうと
同一または再利用可能と判定された入力prefix/contextの処理結果をキャッシュし、後続リクエストでその入力部分の再処理コストや遅延を削減する仕組み。過去の最終回答そのものを再利用するSemantic Response 再利用のための一時保存とは区別する。
原資料の説明を確認する
同一または再利用可能と判定された入力prefix/contextの処理結果をキャッシュし、後続リクエストでその入力部分の再処理コストや遅延を削減する仕組み。過去の最終回答そのものを再利用するSemantic Response Cacheとは区別する。
含むこと・含まないこと: canonical TERM_IDは未発行。Prompt CachingとContext Cachingを完全な同義語として扱える範囲はproviderごとに異なり得るため、この候補ではprovider固有仕様を確定しない。cache eligibility、minimum token、TTL、retention、accounting、routing境界はprovider・model・APIごとに異なるため、この候補では固定しない。
混同に注意する言葉: Semantic Response Cache / KV Cache / Saved Prompt
説明の出所を確認する
外部一次資料と候補台帳を照合した定義を掲載しています。
https://developers.openai.com/api/docs/guides/prompt-caching
照合用の番号と原文
TERM-EXT-0004 · TERM_CANDIDATE_QUEUE!A5:T5:5
SHA-256: c9a222f998c6ffad4ee762f33f0ebad272c5505d8feaadfbc56d2768cbc06fce
同一または再利用可能と判定された入力prefix/contextの処理結果をキャッシュし、後続リクエストでその入力部分の再処理コストや遅延を削減する仕組み。過去の最終回答そのものを再利用するSemantic Response Cacheとは区別する。 canonical TERM_IDは未発行。Prompt CachingとContext Cachingを完全な同義語として扱える範囲はproviderごとに異なり得るため、この候補ではprovider固有仕様を確定しない。cache eligibility、minimum token、TTL、retention、accounting、routing境界はprovider・model・APIごとに異なるため、この候補では固定しない。