Mixture-of-Agents

並列LLMの出力を別agentが統合するMoAは、品質向上と費用/遅延のトレードオフを明示して初めて業務設計になる。benchmarkの勝利を企業保証へ外挿しない。

multi-LLM / evaluation / implementation / cost / interoperability

MoA原著が示すlayered architectureと評価結果は何か。複数出力の統合が常に単一modelを上回るか。

• source class: primary research paper; exact title: Mixture-of-Agents Enhances Large Language Model Capabilities; author/org: Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, James Zou; canonical URL: https://arxiv.org/abs/2406.04692 publication/update/access: submitted 2024-06-07 / accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: arXiv v1; supporting locator: abstract lines 8-20（layered MoA、各layerの複数LLM agent、前layer全出力をauxiliary informationとして利用、AlpacaEval 2.0/MT-Bench/FLASK、reported 65.1% vs 57.5% on AlpacaEval 2.0）; evidence label: RESEARCH; relation: support / limit.
• source class: primary research paper; exact title: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena; author/org: Lianmin Zheng et al.; canonical URL: https://arxiv.org/abs/2306.05685 publication/update/access: submitted 2023-06-09, revised v4 2023-12-24 / accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: arXiv v4 / NeurIPS 2023 Datasets and Benchmarks Track; supporting locator: abstract lines 16-23（MT-Bench/Chatbot Arena、judge biases、human preference agreement、benchmark scope）; evidence label: RESEARCH; relation: limit / context.

MoA原著は、複数LLMをlayerに配置し、前layerの全出力を次layerが補助情報として受け取る構造を明示し、特定benchmarkでの結果を報告する。したがってparallel generation→aggregationの実装パターンと、quality/cost評価の必要性は確立する。しかし、報告scoreは原著のモデル組合せ・prompt・dataset・judge条件に依存し、業務正確性、費用対効果、低遅延、全providerでの優越を確立しない。judge論文が示す評価biasも併記すべきである。

すべての候補が同じ誤りを共有すると統合は誤りを強化する。layer追加はtoken、latency、failure surface、judge/aggregator dependencyを増やす。AlpacaEval/MT-Bench/FLASKの勝利は、メール・契約・RAG・codeの安全性を示さない。

各model/API/license/region/quota、parallelism、aggregator model、context window、provider data policy、budget、traceを確認する。実provider混成run未実施。

bounded fan-out、schema-constrained candidate outputs、diversity check、aggregator、abstain、cost/latency budget、human reviewを設計候補とする。

single vs MoAで、task success、factuality/citation、candidate diversity、aggregation error、token/tool cost、p50/p95 latency、failure correlation、human preferenceを別測定。judge bias correctionを含める。実測なし。

SECURITY/PRIVACY: candidates間で秘密を複製しない、aggregatorへ最小context。AUDIT: model role/version、layer graph、candidate hashes、judge prompt、cost、latency。COST: fan-out×layers×aggregatorを計上。OPERABILITY: max layer、timeout、partial quorum、fallback single model。

「MoA原著はlayeredな複数LLMと出力統合を提案し、特定benchmarkでの改善を報告する。ただし、同じ構成が全業務・全providerで優越する証拠ではなく、品質・相関誤り・遅延・token費用・judge biasを含む比較が必要である。」

本文ではMoAのtopology、aggregation rule、benchmark、費用、可用性を別欄にし、原著のbenchmark値にはdataset/model/judge/versionを付す。現行MoA実装はOSS release/commitへ追跡する。

業務別MoAのcost-quality frontier、diversityの測定、aggregator誤り、judge-independent評価、provider/API更新、privacy複製範囲。

reported AlpacaEval/MT-Bench/FLASK scoreを本番業務の正確性・安全性・ROIへ変換しない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED

---