仕様・利用条件は変わることがあります。重要な判断は原典と実際の結果で再確認してください。
基本情報
- 種別
- LLM推論ソフトウェア
- どこから使うか
- CLI · local server
使い始める
公式repositoryのbuildまたは配布手順を使い、モデルと端末への適合を確認します。
主な能力
- GGUFモデルの推論
- CPU/GPU実行
- ローカルサーバー
必要条件
- 対応アカウントまたは対応端末
- 利用するデータとモデルの利用条件を確認する
向く場面
llama.cppのCLIでGGUFモデルを実行するなど、GGUFモデルの推論を選択して使いたい場面。
向かない場面
ファイル形式や必要メモリーを確認しない大量実行。