投機的デコーディング
この説明で扱う言葉: Speculative Decoding ／ 投機的デコーディング
ほかの呼び方: draft model / assistant model / draft-then-verify / assisted decoding
ひとことでいうと
自己回帰LLM推論を高速化するデコード方式。高速・低コストなdraft/assistant側が複数の候補tokenを先行生成し、target/main AIの製品や種類が候補をまとめて検証して受理または棄却する。適切な受理・補正手順を用いる古典的方式ではtarget AIの製品や種類の出力分布を保ったまま高価なtarget forward pass回数を減らせる。
原資料の説明を確認する
自己回帰LLM推論を高速化するデコード方式。高速・低コストなdraft/assistant側が複数の候補tokenを先行生成し、target/main modelが候補をまとめて検証して受理または棄却する。適切な受理・補正手順を用いる古典的方式ではtarget modelの出力分布を保ったまま高価なtarget forward pass回数を減らせる。
含むこと・含まないこと: 実装ごとの受理規則、sampling時のdistribution-preserving保証、tokenizer互換条件、batch対応、実効speedupは方式・runtime・hardwareで異なる。provider固有の採用状況は未確認。current canonical TERM_ID集合の安全な取得も未完了。
混同に注意する言葉: Assisted Decoding（より広い支援生成の総称） / Self-Speculative Decoding（別の補助モデルを使わず同一モデルの中間層等でdraftする派生） / Multi-Token Prediction（複数token予測機構でありspeculative verificationと同義ではない）
説明の出所を確認する
外部一次資料と候補台帳を照合した定義を掲載しています。
https://arxiv.org/abs/2211.17192
照合用の番号と原文
TERM-EXT-0006 · TERM_CANDIDATE_QUEUE!A6:T6:6
SHA-256: c380e032c2a8bf2c8d03bc810a8b3626b29e433884820ad869c81bfb2becfd74
自己回帰LLM推論を高速化するデコード方式。高速・低コストなdraft/assistant側が複数の候補tokenを先行生成し、target/main modelが候補をまとめて検証して受理または棄却する。適切な受理・補正手順を用いる古典的方式ではtarget modelの出力分布を保ったまま高価なtarget forward pass回数を減らせる。 実装ごとの受理規則、sampling時のdistribution-preserving保証、tokenizer互換条件、batch対応、実効speedupは方式・runtime・hardwareで異なる。provider固有の採用状況は未確認。current canonical TERM_ID集合の安全な取得も未完了。