{ "format": "agent-article-v0", "article_id": "EA-130", "canonical_url": "/tools/ea-130-multi-llm-routing", "page_type": "reference", "claim_ids": [], "evidence_ids": [ "EVD-EA-130-URL-9C1F04FED0A9", "EVD-EA-130-URL-4E19329870F7", "EA-130-R11-RESEARCH", "EA-130-R11-WEB-READBACK" ], "unknown_ids": [ "EA-130-UNKNOWN-01", "EA-130-UNKNOWN-02", "EA-130-UNKNOWN-CURRENTNESS" ], "operational_object_ids": [], "provider": [], "models": [], "plans": [], "surfaces": [], "regions": [], "current_status": "UNKNOWN", "observation_status": "SPEC_ONLY", "freshness": "UNKNOWN", "last_verified": null, "supersedes": [], "superseded_by": [], "provenance": [ "COMM-043-EA0130", "SRC-EA-130-URL-9C1F04FED0A9", "SRC-EA-130-URL-4E19329870F7", "WEBBODY-EA0130-R8-FFA1160E" ], "article_sources": [ { "id": "EVD-EA-130-URL-9C1F04FED0A9", "evidence_class": "RESEARCH", "title": "source_class=primary paper; exact_title=FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance; author/org=Lingjiao Chen, Matei Zaharia, James Zo", "href": "https://arxiv.org/abs/2305.05176", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-130-URL-9C1F04FED0A9" ], "supporting_locators": [ "EVIDENCE_TABLE", "- source_class=primary paper; exact_title=FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance; author/org=Lingjiao Chen, Matei Zaharia, James Zou; canonical_url=https://arxiv.org/abs/2305.05176" ], "scope": "EVIDENCE_TABLE", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EVD-EA-130-URL-4E19329870F7", "evidence_class": "RESEARCH", "title": "source_class=primary paper; exact_title=RouteLLM: Learning to Route LLMs with Preference Data; author/org=Isaac Ong et al.; canonical_url=", "href": "https://arxiv.org/abs/2406.18665", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-130-URL-4E19329870F7" ], "supporting_locators": [ "EVIDENCE_TABLE", "- source_class=primary paper; exact_title=RouteLLM: Learning to Route LLMs with Preference Data; author/org=Isaac Ong et al.; canonical_url=https://arxiv.org/abs/2406.18665" ], "scope": "EVIDENCE_TABLE", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EA-130-R11-RESEARCH", "evidence_class": "RESEARCH", "title": "EA-130 監査済みresearch / canonical revision binding", "supports": [ "- ESTABLISHED: 一次研究は、複数LLMの候補から条件付きで選択するcascade/routerを実装・評価する研究枠組みを示している。費用削減・品質の数値は、各論文のデータ、候補モデル、router、評価指標、時点に依存する。\n- NOT_ESTABLISHED: 上記数値が任意のenterprise workload・provider・地域・契約・モデル更新へ再現すること、routerが常に品質を保つこと、推論コストを人間監督・tool call・retry・検索・失敗再実行まで含めて削減することは確立していない。" ], "limit": "canonical監査・revision bindingの存在を示す。外部ソースcurrentnessが本文またはcontrol-planeで確定していない場合は、currentnessをUNKNOWNのまま保持する。", "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET", "source_or_experiment_ids": [ "COMM-043-EA0130" ], "supporting_locators": [ "COMM-043-EA0130", "EA-130-R5-LEGACY-MIGRATION-20261008-R1", "content/staging/EA-130.md" ], "scope": "監査済みEA本文・canonical revision・既存Source Graph relationの範囲。欠損currentnessは推測で閉じない。", "provenance_status": "AUDIT_PASS_CANONICAL_BINDING" }, { "id": "EA-130-R11-WEB-READBACK", "evidence_class": "IMPL", "title": "EA-130 Web body identity / canonical readback", "supports": [ "canonical staging bodyのSHA-256一致とR9 canonical ledger readbackをProduction projectionの入力として検証する。" ], "limit": "body identity/readbackは本文claim自体の真偽や外部ソースの最新性を追加保証しない。", "checked_at": null, "origin_class": "IMPLEMENTATION_READBACK", "source_or_experiment_ids": [ "WEBBODY-EA0130-R8-FFA1160E" ], "supporting_locators": [ "WEBBODY-EA0130-R8-FFA1160E", "content/staging/EA-130.md", "EA-130-R5-LEGACY-MIGRATION-20261008-R1" ], "scope": "R9/R10 canonical readback後のProduction生成時body identity。", "provenance_status": "CANONICAL_READBACK_BODY_HASH_MATCH" } ], "research_sections": [ { "heading": "WHY_THIS_MATTERS_TO_UPDATE", "text": "複数モデルを条件付きで振り分ける設計は、品質・費用・遅延・可用性を同時に扱う更新論点であり、固定単価比較ではなく実効原価とaccepted outcomeで再評価する必要がある。" }, { "heading": "SCOPE_ROUTING", "text": "Enterprise AI Core / provider mapping / interoperability / benchmark / cost / operability。provider固有のrouter機能の存在と、router研究の性能主張を分離する。" }, { "heading": "CLAIM_OR_RESEARCH_QUESTION", "text": "LLM routerが入力・予算・品質要求に応じて候補モデルを選ぶ研究根拠があるか。費用削減・品質維持の数値がどの条件に依存するか。" }, { "heading": "EVIDENCE_TABLE", "text": "- source_class=primary paper; exact_title=FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance; author/org=Lingjiao Chen, Matei Zaharia, James Zou; canonical_url=https://arxiv.org/abs/2305.05176; publication/update/access_date=2023-05-09 submitted / 2026-09-13 accessed JST; version/release/tag/commit/API revision=arXiv v1; supporting_locator=Abstract（prompt adaptation・LLM approximation・cascadeを組み合わせ、heterogeneous LLMをroutingする戦略、論文条件下で最大98% cost reductionまたは同費用で最大4% accuracy improvementとの報告）; evidence_label=RESEARCH; relation=support+limit\n- source_class=primary paper; exact_title=RouteLLM: Learning to Route LLMs with Preference Data; author/org=Isaac Ong et al.; canonical_url=https://arxiv.org/abs/2406.18665; publication/update/access_date=2024-06-26 submitted / 2025-02-23 revised v4 / 2026-09-13 accessed JST; version/release/tag/commit/API revision=arXiv v4; supporting_locator=Abstract（preference dataでstrong/weak modelの選択器を学習し、特定条件で品質を保ちながら2倍超のcost reductionを報告、test-time model変更へのtransferも記述）; evidence_label=RESEARCH; relation=support+limit" }, { "heading": "FINDINGS", "text": "- ESTABLISHED: 一次研究は、複数LLMの候補から条件付きで選択するcascade/routerを実装・評価する研究枠組みを示している。費用削減・品質の数値は、各論文のデータ、候補モデル、router、評価指標、時点に依存する。\n- NOT_ESTABLISHED: 上記数値が任意のenterprise workload・provider・地域・契約・モデル更新へ再現すること、routerが常に品質を保つこと、推論コストを人間監督・tool call・retry・検索・失敗再実行まで含めて削減することは確立していない。" }, { "heading": "LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE", "text": "routerの誤選択、分布外入力、品質閾値近傍の不安定性、候補モデルの停止・rate limit・価格改定、追加判定遅延、データを複数providerへ送るリスクがある。benchmark結果は製品保証ではない。高影響actionでは品質推定だけで自動実行を許可しない。" }, { "heading": "AVAILABILITY_GATES", "text": "候補モデルの契約・地域・組織設定・API revision・rate limit・データ処理条件、routerを置ける実行基盤、価格表と割引、fallback、品質閾値、監査ログ。モデル存在と特定tenantでの利用可否を別々に再確認する。" }, { "heading": "IMPLEMENTATION_STATE", "text": "RESEARCH。実運用導入はPROPOSALで、shadow routing→offline replay→限定traffic→rollbackの順にTEST_PROFILE化する。" }, { "heading": "BENCHMARK_OR_EVAL", "text": "FrugalGPT/RouteLLMの数値は各原著の研究評価。将来Workでは固定holdout、品質下限、p50/p95 latency、accepted outcome原価、router失敗率、fallback率、provider障害時挙動を測る。現行tenantでの実測は未実施。" }, { "heading": "SECURITY / PRIVACY / AUDIT / COST / OPERABILITY", "text": "Security=high-impact系はrouter結果をguardrailの代替にしない。Privacy=入力を候補providerへ複製する経路と保持条件を記録。Audit=router version、候補一覧、選択理由、model ID、fallbackを保存。Cost=router判定・候補呼出し・retry・human reviewまで含む。Operability=価格・モデル・API変更を検知し、fail-closed/rollbackを持つ。" }, { "heading": "SAFE_WORDING_FOR_FUTURE_BOOK", "text": "「Multi-LLM routingは、入力や品質要求に応じて候補LLMを選択し、費用・品質・遅延を調整する研究／実装パターンである。FrugalGPTやRouteLLMは条件付きの研究結果を示すが、数値を任意の業務や現行製品へ外挿せず、可用性・プライバシー・fallbackを別途検証する。」" }, { "heading": "UPDATE_WORK_HANDOFF", "text": "provider mappingとCore routingを分離して本文候補へ渡す。採否判断には、router学習データのorigin、閾値校正、価格・契約as-of、品質下限、counterfactual（単一強モデル／単一弱モデル）、accepted outcome原価を必須列にする。" }, { "heading": "OPEN_UNKNOWN", "text": "実業務でのrouter calibration、モデル更新への頑健性、router自体の攻撃、cross-provider privacy、long-tail/high-impact品質、tool-use経路を含む総原価。" }, { "heading": "STOP_CONDITION", "text": "論文のcost reductionをSLA・ROI・安全保証へ変換しない。token単価だけで採用を閉じず、品質下限未達・候補不可・ログ欠損時は未確定のまま停止する。\nUNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED\n\n---" }, { "heading": "AUDITED_BOUNDARY", "text": "Conditional routing/cascade evidence is study-bounded; routing remains distinct from ensemble aggregation. Preserve OOD calibration, model/version drift, router attack, cross-provider privacy, tool-use total cost as UNKNOWN." }, { "heading": "OPEN_UNKNOWN", "text": "All UNKNOWN/PRODUCT_VOLATILE/provider- or organization-specific limits from the authority/audit remain open unless explicitly closed by the audited handoff." } ], "human_url": "/tools/ea-130-multi-llm-routing", "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-130-multi-llm-routing", "json_url": "/agent/article.json?path=%2Ftools%2Fea-130-multi-llm-routing" }