仕様・利用条件は変わることがあります。重要な判断は原典と実際の結果で再確認してください。
基本情報
- 種別
- LLM推論・servingソフト
- どこから使うか
- Python · CLI · API
使い始める
公式の導入案内からvLLMを用意し、対応版・接続先・利用条件を確認します。
主な能力
- モデル推論
- batch処理
- API配信
必要条件
- 対応する実行環境とモデルの利用条件
- 接続先・認証・費用とdataの共有範囲を確認する
向く場面
vLLMで検証用モデルの推論を試すなど、モデル推論を選択して使いたい場面。
向かない場面
対応hardwareや必要memoryを確認しない大規模実行。