# Multi-LLM routing CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-130-multi-llm-routing CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-130-URL-9C1F04FED0A9, EVD-EA-130-URL-4E19329870F7, EA-130-R11-RESEARCH, EA-130-R11-WEB-READBACK UNKNOWN_IDS: EA-130-UNKNOWN-01, EA-130-UNKNOWN-02, EA-130-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「Multi-LLM routingは、入力や品質要求に応じて候補LLMを選択し、費用・品質・遅延を調整する研究／実装パターンである。FrugalGPTやRouteLLMは条件付きの研究結果を示すが、数値を任意の業務や現行製品へ外挿せず、可用性・プライバシー・fallbackを別途検証する。」 ## Current judgment - ESTABLISHED: 一次研究は、複数LLMの候補から条件付きで選択するcascade/routerを実装・評価する研究枠組みを示している。費用削減・品質の数値は、各論文のデータ、候補モデル、router、評価指標、時点に依存する。 - NOT_ESTABLISHED: 上記数値が任意のenterprise workload・provider・地域・契約・モデル更新へ再現すること、routerが常に品質を保つこと、推論コストを人間監督・tool call・retry・検索・失敗再実行まで含めて削減することは確立していない。 ## Scope Enterprise AI Core / provider mapping / interoperability / benchmark / cost / operability。provider固有のrouter機能の存在と、router研究の性能主張を分離する。 ## Confirmed - ESTABLISHED: 一次研究は、複数LLMの候補から条件付きで選択するcascade/routerを実装・評価する研究枠組みを示している。費用削減・品質の数値は、各論文のデータ、候補モデル、router、評価指標、時点に依存する。 - NOT_ESTABLISHED: 上記数値が任意のenterprise workload・provider・地域・契約・モデル更新へ再現すること、routerが常に品質を保つこと、推論コストを人間監督・tool call・retry・検索・失敗再実行まで含めて削減することは確立していない。 ## UNKNOWN - EA-130-UNKNOWN-01: 実業務でのrouter calibration、モデル更新への頑健性、router自体の攻撃、cross-provider privacy、long-tail/high-impact品質、tool-use経路を含む総原価。 - EA-130-UNKNOWN-02: All UNKNOWN/PRODUCT_VOLATILE/provider- or organization-specific limits from the authority/audit remain open unless explicitly closed by the audited handoff. - EA-130-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-130-URL-9C1F04FED0A9 (RESEARCH): source_class=primary paper; exact_title=FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance; author/org=Lingjiao Chen, Matei Zaharia, James Zo — https://arxiv.org/abs/2305.05176 - EVD-EA-130-URL-4E19329870F7 (RESEARCH): source_class=primary paper; exact_title=RouteLLM: Learning to Route LLMs with Preference Data; author/org=Isaac Ong et al.; canonical_url= — https://arxiv.org/abs/2406.18665 - EA-130-R11-RESEARCH (RESEARCH): EA-130 監査済みresearch / canonical revision binding - EA-130-R11-WEB-READBACK (IMPL): EA-130 Web body identity / canonical readback ## Failure / limits routerの誤選択、分布外入力、品質閾値近傍の不安定性、候補モデルの停止・rate limit・価格改定、追加判定遅延、データを複数providerへ送るリスクがある。benchmark結果は製品保証ではない。高影響actionでは品質推定だけで自動実行を許可しない。 ## Failure / limits 論文のcost reductionをSLA・ROI・安全保証へ変換しない。token単価だけで採用を閉じず、品質下限未達・候補不可・ログ欠損時は未確定のまま停止する。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## Practice 候補モデルの契約・地域・組織設定・API revision・rate limit・データ処理条件、routerを置ける実行基盤、価格表と割引、fallback、品質閾値、監査ログ。モデル存在と特定tenantでの利用可否を別々に再確認する。 ## Practice RESEARCH。実運用導入はPROPOSALで、shadow routing→offline replay→限定traffic→rollbackの順にTEST_PROFILE化する。 ## Practice FrugalGPT/RouteLLMの数値は各原著の研究評価。将来Workでは固定holdout、品質下限、p50/p95 latency、accepted outcome原価、router失敗率、fallback率、provider障害時挙動を測る。現行tenantでの実測は未実施。 ## Practice Security=high-impact系はrouter結果をguardrailの代替にしない。Privacy=入力を候補providerへ複製する経路と保持条件を記録。Audit=router version、候補一覧、選択理由、model ID、fallbackを保存。Cost=router判定・候補呼出し・retry・human reviewまで含む。Operability=価格・モデル・API変更を検知し、fail-closed/rollbackを持つ。 ## Practice provider mappingとCore routingを分離して本文候補へ渡す。採否判断には、router学習データのorigin、閾値校正、価格・契約as-of、品質下限、counterfactual（単一強モデル／単一弱モデル）、accepted outcome原価を必須列にする。 ## Practice Conditional routing/cascade evidence is study-bounded; routing remains distinct from ensemble aggregation. Preserve OOD calibration, model/version drift, router attack, cross-provider privacy, tool-use total cost as UNKNOWN. ## WHY_THIS_MATTERS_TO_UPDATE 複数モデルを条件付きで振り分ける設計は、品質・費用・遅延・可用性を同時に扱う更新論点であり、固定単価比較ではなく実効原価とaccepted outcomeで再評価する必要がある。 ## SCOPE_ROUTING Enterprise AI Core / provider mapping / interoperability / benchmark / cost / operability。provider固有のrouter機能の存在と、router研究の性能主張を分離する。 ## CLAIM_OR_RESEARCH_QUESTION LLM routerが入力・予算・品質要求に応じて候補モデルを選ぶ研究根拠があるか。費用削減・品質維持の数値がどの条件に依存するか。 ## EVIDENCE_TABLE - source_class=primary paper; exact_title=FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance; author/org=Lingjiao Chen, Matei Zaharia, James Zou; canonical_url=https://arxiv.org/abs/2305.05176; publication/update/access_date=2023-05-09 submitted / 2026-09-13 accessed JST; version/release/tag/commit/API revision=arXiv v1; supporting_locator=Abstract（prompt adaptation・LLM approximation・cascadeを組み合わせ、heterogeneous LLMをroutingする戦略、論文条件下で最大98% cost reductionまたは同費用で最大4% accuracy improvementとの報告）; evidence_label=RESEARCH; relation=support+limit - source_class=primary paper; exact_title=RouteLLM: Learning to Route LLMs with Preference Data; author/org=Isaac Ong et al.; canonical_url=https://arxiv.org/abs/2406.18665; publication/update/access_date=2024-06-26 submitted / 2025-02-23 revised v4 / 2026-09-13 accessed JST; version/release/tag/commit/API revision=arXiv v4; supporting_locator=Abstract（preference dataでstrong/weak modelの選択器を学習し、特定条件で品質を保ちながら2倍超のcost reductionを報告、test-time model変更へのtransferも記述）; evidence_label=RESEARCH; relation=support+limit ## FINDINGS - ESTABLISHED: 一次研究は、複数LLMの候補から条件付きで選択するcascade/routerを実装・評価する研究枠組みを示している。費用削減・品質の数値は、各論文のデータ、候補モデル、router、評価指標、時点に依存する。 - NOT_ESTABLISHED: 上記数値が任意のenterprise workload・provider・地域・契約・モデル更新へ再現すること、routerが常に品質を保つこと、推論コストを人間監督・tool call・retry・検索・失敗再実行まで含めて削減することは確立していない。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE routerの誤選択、分布外入力、品質閾値近傍の不安定性、候補モデルの停止・rate limit・価格改定、追加判定遅延、データを複数providerへ送るリスクがある。benchmark結果は製品保証ではない。高影響actionでは品質推定だけで自動実行を許可しない。 ## AVAILABILITY_GATES 候補モデルの契約・地域・組織設定・API revision・rate limit・データ処理条件、routerを置ける実行基盤、価格表と割引、fallback、品質閾値、監査ログ。モデル存在と特定tenantでの利用可否を別々に再確認する。 ## IMPLEMENTATION_STATE RESEARCH。実運用導入はPROPOSALで、shadow routing→offline replay→限定traffic→rollbackの順にTEST_PROFILE化する。 ## BENCHMARK_OR_EVAL FrugalGPT/RouteLLMの数値は各原著の研究評価。将来Workでは固定holdout、品質下限、p50/p95 latency、accepted outcome原価、router失敗率、fallback率、provider障害時挙動を測る。現行tenantでの実測は未実施。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY Security=high-impact系はrouter結果をguardrailの代替にしない。Privacy=入力を候補providerへ複製する経路と保持条件を記録。Audit=router version、候補一覧、選択理由、model ID、fallbackを保存。Cost=router判定・候補呼出し・retry・human reviewまで含む。Operability=価格・モデル・API変更を検知し、fail-closed/rollbackを持つ。 ## SAFE_WORDING_FOR_FUTURE_BOOK 「Multi-LLM routingは、入力や品質要求に応じて候補LLMを選択し、費用・品質・遅延を調整する研究／実装パターンである。FrugalGPTやRouteLLMは条件付きの研究結果を示すが、数値を任意の業務や現行製品へ外挿せず、可用性・プライバシー・fallbackを別途検証する。」 ## UPDATE_WORK_HANDOFF provider mappingとCore routingを分離して本文候補へ渡す。採否判断には、router学習データのorigin、閾値校正、価格・契約as-of、品質下限、counterfactual（単一強モデル／単一弱モデル）、accepted outcome原価を必須列にする。 ## OPEN_UNKNOWN 実業務でのrouter calibration、モデル更新への頑健性、router自体の攻撃、cross-provider privacy、long-tail/high-impact品質、tool-use経路を含む総原価。 ## STOP_CONDITION 論文のcost reductionをSLA・ROI・安全保証へ変換しない。token単価だけで採用を閉じず、品質下限未達・候補不可・ログ欠損時は未確定のまま停止する。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## AUDITED_BOUNDARY Conditional routing/cascade evidence is study-bounded; routing remains distinct from ensemble aggregation. Preserve OOD calibration, model/version drift, router attack, cross-provider privacy, tool-use total cost as UNKNOWN. ## OPEN_UNKNOWN All UNKNOWN/PRODUCT_VOLATILE/provider- or organization-specific limits from the authority/audit remain open unless explicitly closed by the audited handoff. NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.