Multi-LLM routing

複数モデルを条件付きで振り分ける設計は、品質・費用・遅延・可用性を同時に扱う更新論点であり、固定単価比較ではなく実効原価とaccepted outcomeで再評価する必要がある。

Enterprise AI Core / provider mapping / interoperability / benchmark / cost / operability。provider固有のrouter機能の存在と、router研究の性能主張を分離する。

LLM routerが入力・予算・品質要求に応じて候補モデルを選ぶ研究根拠があるか。費用削減・品質維持の数値がどの条件に依存するか。

• source_class=primary paper; exact_title=FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance; author/org=Lingjiao Chen, Matei Zaharia, James Zou; canonical_url=https://arxiv.org/abs/2305.05176 publication/update/access_date=2023-05-09 submitted / 2026-09-13 accessed JST; version/release/tag/commit/API revision=arXiv v1; supporting_locator=Abstract（prompt adaptation・LLM approximation・cascadeを組み合わせ、heterogeneous LLMをroutingする戦略、論文条件下で最大98% cost reductionまたは同費用で最大4% accuracy improvementとの報告）; evidence_label=RESEARCH; relation=support+limit
• source_class=primary paper; exact_title=RouteLLM: Learning to Route LLMs with Preference Data; author/org=Isaac Ong et al.; canonical_url=https://arxiv.org/abs/2406.18665 publication/update/access_date=2024-06-26 submitted / 2025-02-23 revised v4 / 2026-09-13 accessed JST; version/release/tag/commit/API revision=arXiv v4; supporting_locator=Abstract（preference dataでstrong/weak modelの選択器を学習し、特定条件で品質を保ちながら2倍超のcost reductionを報告、test-time model変更へのtransferも記述）; evidence_label=RESEARCH; relation=support+limit

• ESTABLISHED: 一次研究は、複数LLMの候補から条件付きで選択するcascade/routerを実装・評価する研究枠組みを示している。費用削減・品質の数値は、各論文のデータ、候補モデル、router、評価指標、時点に依存する。
• NOT_ESTABLISHED: 上記数値が任意のenterprise workload・provider・地域・契約・モデル更新へ再現すること、routerが常に品質を保つこと、推論コストを人間監督・tool call・retry・検索・失敗再実行まで含めて削減することは確立していない。

routerの誤選択、分布外入力、品質閾値近傍の不安定性、候補モデルの停止・rate limit・価格改定、追加判定遅延、データを複数providerへ送るリスクがある。benchmark結果は製品保証ではない。高影響actionでは品質推定だけで自動実行を許可しない。

候補モデルの契約・地域・組織設定・API revision・rate limit・データ処理条件、routerを置ける実行基盤、価格表と割引、fallback、品質閾値、監査ログ。モデル存在と特定tenantでの利用可否を別々に再確認する。

RESEARCH。実運用導入はPROPOSALで、shadow routing→offline replay→限定traffic→rollbackの順にTEST_PROFILE化する。

FrugalGPT/RouteLLMの数値は各原著の研究評価。将来Workでは固定holdout、品質下限、p50/p95 latency、accepted outcome原価、router失敗率、fallback率、provider障害時挙動を測る。現行tenantでの実測は未実施。

Security=high-impact系はrouter結果をguardrailの代替にしない。Privacy=入力を候補providerへ複製する経路と保持条件を記録。Audit=router version、候補一覧、選択理由、model ID、fallbackを保存。Cost=router判定・候補呼出し・retry・human reviewまで含む。Operability=価格・モデル・API変更を検知し、fail-closed/rollbackを持つ。

「Multi-LLM routingは、入力や品質要求に応じて候補LLMを選択し、費用・品質・遅延を調整する研究／実装パターンである。FrugalGPTやRouteLLMは条件付きの研究結果を示すが、数値を任意の業務や現行製品へ外挿せず、可用性・プライバシー・fallbackを別途検証する。」

provider mappingとCore routingを分離して本文候補へ渡す。採否判断には、router学習データのorigin、閾値校正、価格・契約as-of、品質下限、counterfactual（単一強モデル／単一弱モデル）、accepted outcome原価を必須列にする。

実業務でのrouter calibration、モデル更新への頑健性、router自体の攻撃、cross-provider privacy、long-tail/high-impact品質、tool-use経路を含む総原価。

論文のcost reductionをSLA・ROI・安全保証へ変換しない。token単価だけで採用を閉じず、品質下限未達・候補不可・ログ欠損時は未確定のまま停止する。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED

---

Conditional routing/cascade evidence is study-bounded; routing remains distinct from ensemble aggregation. Preserve OOD calibration, model/version drift, router attack, cross-provider privacy, tool-use total cost as UNKNOWN.

All UNKNOWN/PRODUCT_VOLATILE/provider- or organization-specific limits from the authority/audit remain open unless explicitly closed by the audited handoff.