# AI評価の昇格判定に統計的信頼性ゲートを入れる CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-738-ai CLAIM_IDS: none EVIDENCE_IDS: EA-738-CURRENT-APPROVAL, EA-738-CURRENT-BODY-READBACK UNKNOWN_IDS: EA-738-UNKNOWN-01 OPS_IDS: none ## Summary 「候補モデルの平均スコアが高い」だけでは昇格根拠として弱い。比較対象と評価単位を固定し、差の大きさと不確実性を示し、事前定義した実用上の最小差および安全性の非交渉条件を満たしたときに昇格させる。信頼区間や有意差は本番性能の保証ではなく、定義した評価設計の下で観測差をどこまで信頼できるかを判断する材料である。 ## Current judgment 「候補モデルの平均スコアが高い」だけでは昇格根拠として弱い。比較対象と評価単位を固定し、差の大きさと不確実性を示し、事前定義した実用上の最小差および安全性の非交渉条件を満たしたときに昇格させる。信頼区間や有意差は本番性能の保証ではなく、定義した評価設計の下で観測差をどこまで信頼できるかを判断する材料である。 ## Scope AI評価の昇格判定に統計的信頼性ゲートを入れる ## Confirmed ## UNKNOWN - EA-738-UNKNOWN-01: 各providerのmanaged evaluation UI/APIが、2026-10-19時点でどのmetricについてpaired CI、power analysis、多重比較補正、逐次検定をnativeに提供するかは製品・versionごとに確認が必要であり、ここでは共通機能として断定しない。LLM judgeの相関構造やhuman disagreementを含む最適な分散推定法も、評価設計に依存するため単一方式を標準化しない。 ## Evidence - EA-738-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応 - EA-738-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合 ## Failure / limits 信頼区間は、評価データが本番分布を代表していることを保証しない。データ汚染、分布ずれ、セグメント欠落、稀な重大事故は、狭い区間でも見逃し得る。また通常のCIは、選択した推定対象とサンプリング設計に対する不確実性を表すもので、モデルが「95%の確率で正しい」という意味ではない。NIST AI 800-3が示すとおり、固定ベンチマークの不確実性と将来項目へ一般化した不確実性を混同しない。 反復生成がある生成AIでは、item間変動と同一item内のrun-to-run変動を区別する必要がある。2025年のIJCNLP/AACL研究は、多言語・マルチタスク評価でmodel由来とdata由来の双方の変動を考慮しないと、全体の再現不確実性を過小評価し得ると報告している。単一seed・単一generationのスコアだけで昇格させる運用は、対象システムの確率性に対して脆弱である。 ## Failure / limits 統計的有意性は実務価値と同義ではない。大規模データでは極小の差も統計的に明確になり得るため、effect sizeと最小実用差が必要である。一方、厳格な統計ゲートだけを採用すると、評価コストが高い領域や希少事象で改善を検出できない場合がある。その場合も閾値を後付けで緩めるのではなく、リスクベースの別証拠、専門家レビュー、shadow/canary観測などを別レーンの証拠として扱う。 Microsoft Foundryの現行agent evaluation文書は、開発時のbaselineとacceptance threshold（例としてtask adherenceのpassing rate）を設定してrelease判断へ組み込む考え方を示すが、任意のthresholdが統計的信頼性を自動的に保証するとは述べていない。製品の評価機能を使う場合も、CI、pairing、power、多重比較、安全hard failを組織側のrelease policyとして明示する必要がある。 ## 要点と前提 AIシステムの評価では、候補版の平均スコアが現行版を上回っただけで「改善」と判定してはいけない。有限の評価データ、モデル出力の確率性、評価器そのものの誤差、評価項目の構成によって、観測された差は揺れる。リリースやモデル切替の昇格判定では、点推定だけでなく差の不確実性を明示し、事前に定めた実務上の最小改善幅と安全性のハードゲートを組み合わせる必要がある。 ## 何を統制するのか 統計的信頼性ゲートの目的は「p値が一定値を下回れば出荷する」ことではない。候補版と基準版を同じ評価項目で比較し、観測差がサンプリング誤差だけで説明できる範囲か、改善幅が運用上意味のある大きさか、重要な安全指標が悪化していないかを分離して判断することである。 NIST AI 800-3（2026年2月）は、AIベンチマークの不確実性推定が暗黙の仮定に依存し得ること、固定されたベンチマーク上の性能と、類似する将来項目へ一般化した性能は別の測定対象であることを明示している。同報告では、同じモデル比較でも、固定ベンチマーク上では差があるように見えても、一般化性能の不確実性を考慮すると明確な差といえない場合がある。したがって「95% CIを付けた」という形式だけでは不十分で、何に対する区間なのかを定義しなければならない。 ## 推奨する昇格ゲート 第一に、比較は可能な限りpaired designにする。同じ評価ケースを現行版と候補版の双方へ通し、ケース単位の差を保存する。独立した二群として扱うより、ケース難易度という共通変動を差し引ける。accuracyのような二値結果、連続スコア、順位指標、LLM-as-a-judgeのようなモデル評価器では分布特性が異なるため、単一のt検定を全指標へ機械的に適用しない。必要に応じてpaired bootstrap、permutation test、McNemar型の検定、あるいは分布仮定を満たす場合の対応のある検定を選ぶ。 第二に、主要KPIごとに「差の推定値＋信頼区間」を保存する。昇格条件は、たとえば候補−基準の差Δについて、片側または両側区間の下限が事前定義した最小実用改善幅δを上回る、といった形で定義できる。単に0を上回るかではなく、運用コスト、ユーザー影響、変更リスクに見合う効果量を要求する。逆に非劣化を目的とする指標は、許容劣化幅を事前に定めたnon-inferiority型の判定が適する場合がある。 第三に、最低サンプル数は固定の万能値を置かない。必要件数はベースライン率、期待する最小効果、許容する第一種・第二種過誤、ケース間相関、クラスタ構造、反復生成回数などに依存する。少数サンプルで「有意差なし」だったことを同等性の証明として扱ってはならない。NISTの一般的な統計資料も、信頼区間の幅とカバレッジがサンプル数・分布仮定に依存することを示している。 第四に、多数のモデル、プロンプト、指標、セグメントを同時に試す場合は多重比較を扱う。最良スコアだけを後から選ぶ運用では偶然の勝者が生まれやすい。比較集合を事前登録し、必要に応じてfamily-wise error rateまたはfalse discovery rateを制御する。2026年のevalci論文は、9モデルのMMLU再解析で順位に暗黙に含まれる36のpairwise comparisonを補正すると、隣接順位差の一部が統計的に明確でなくなる例を報告している。これは特定ライブラリの採用を要求する証拠ではなく、多重比較を無視したランキング解釈が過信につながり得る実例として扱う。 第五に、安全性・法令・重大障害の指標は平均品質の統計ゲートと分離する。重大な安全違反が1件でも許容できない要件を、平均スコアの改善や総合p値で相殺してはならない。安全性はhard fail、品質は統計的promotion gate、コスト・レイテンシは別のSLO gateというように、判定権限を分ける。 ## 評価器そのものの誤差 LLM-as-a-judgeや分類器を評価器に使う場合、評価対象モデルの出力だけでなく評価器にも誤差がある。Huら（EMNLP 2023）は、model-based metricの誤差を無視すると分散推定と有意性判断が変わり得ることを示している。したがって、judge scoreを通常の正解ラベルと同じ確定値として扱わず、judgeの再現性、human calibration、モデル/version、prompt、temperature等を記録する。judge変更を伴う比較では、旧runと新runの数値を無条件に同じ母集団の測定として接続しない。 ## 実装時に保存する最小情報 昇格判定を再現するには、candidate/baseの識別子、評価dataset versionとcase ID、各caseのpaired result、metric定義、grader/judgeのmodel・version・prompt、sampling設定、反復回数、推定量、区間推定法、confidence level、最小実用差δ、検定方向、多重比較補正、除外規則、失敗ケース、run timestampを保存する。集約値だけでは後からpaired再解析できないため、アクセス制御とプライバシー要件を満たす範囲でcase-level resultを保持する。 ## Failure / limitations 信頼区間は、評価データが本番分布を代表していることを保証しない。データ汚染、分布ずれ、セグメント欠落、稀な重大事故は、狭い区間でも見逃し得る。また通常のCIは、選択した推定対象とサンプリング設計に対する不確実性を表すもので、モデルが「95%の確率で正しい」という意味ではない。NIST AI 800-3が示すとおり、固定ベンチマークの不確実性と将来項目へ一般化した不確実性を混同しない。 反復生成がある生成AIでは、item間変動と同一item内のrun-to-run変動を区別する必要がある。2025年のIJCNLP/AACL研究は、多言語・マルチタスク評価でmodel由来とdata由来の双方の変動を考慮しないと、全体の再現不確実性を過小評価し得ると報告している。単一seed・単一generationのスコアだけで昇格させる運用は、対象システムの確率性に対して脆弱である。 ## 運用上のcontrol / implementation implication promotion policyはコードまたは機械可読設定としてversion管理し、評価実行後に閾値を変更しない。比較対象・主要指標・δ・confidence level・補正方法・hard fail条件をrun前に固定する。結果はPASS/FAILだけでなく、差、区間、サンプル数、判定理由を監査ログへ残す。ゲートを満たさない場合は「候補が劣る」と断定せず、「この設計とデータでは昇格を正当化できない」と扱う。追加サンプル取得を行う場合、途中結果を見ながら無制限に再検定する運用は第一種過誤を膨らませるため、逐次検定として設計するか、事前にサンプル計画を固定する。 ## Counterevidence / applicability boundary 統計的有意性は実務価値と同義ではない。大規模データでは極小の差も統計的に明確になり得るため、effect sizeと最小実用差が必要である。一方、厳格な統計ゲートだけを採用すると、評価コストが高い領域や希少事象で改善を検出できない場合がある。その場合も閾値を後付けで緩めるのではなく、リスクベースの別証拠、専門家レビュー、shadow/canary観測などを別レーンの証拠として扱う。 Microsoft Foundryの現行agent evaluation文書は、開発時のbaselineとacceptance threshold（例としてtask adherenceのpassing rate）を設定してrelease判断へ組み込む考え方を示すが、任意のthresholdが統計的信頼性を自動的に保証するとは述べていない。製品の評価機能を使う場合も、CI、pairing、power、多重比較、安全hard failを組織側のrelease policyとして明示する必要がある。 ## OPEN_UNKNOWN 各providerのmanaged evaluation UI/APIが、2026-10-19時点でどのmetricについてpaired CI、power analysis、多重比較補正、逐次検定をnativeに提供するかは製品・versionごとに確認が必要であり、ここでは共通機能として断定しない。LLM judgeの相関構造やhuman disagreementを含む最適な分散推定法も、評価設計に依存するため単一方式を標準化しない。 ## SAFE_WORDING 「候補モデルの平均スコアが高い」だけでは昇格根拠として弱い。比較対象と評価単位を固定し、差の大きさと不確実性を示し、事前定義した実用上の最小差および安全性の非交渉条件を満たしたときに昇格させる。信頼区間や有意差は本番性能の保証ではなく、定義した評価設計の下で観測差をどこまで信頼できるかを判断する材料である。 ## Source / provenance locators 1\. NIST AI 800-3, Expanding the AI Evaluation Toolbox with Statistical Models, published 2026-02-17: https\://www\.nist.gov/publications/expanding-ai-evaluation-toolbox-statistical-models 2\. NIST news summary, 2026-02-19: https\://www\.nist.gov/news-events/news/2026/02/new-report-expanding-ai-evaluation-toolbox-statistical-models 3\. NIST/SEMATECH e-Handbook, Confidence Intervals: https\://itl.nist.gov/div898/handbook/prc/section1/prc14.htm 4\. Hu, Goyal, Gupta, Faithful Model Evaluation for Model-Based Metrics, EMNLP 2023: https\://aclanthology.org/2023.emnlp-main.464/ 5\. Sälevä, Ataman, Lignos, Beyond statistical significance: Quantifying uncertainty and statistical variability in multilingual and multitask NLP evaluation, IJCNLP-AACL 2025: https\://aclanthology.org/2025.ijcnlp-long.125/ 6\. Bestgen, Please, Don’t Forget the Difference and the Confidence Interval when Seeking for the State-of-the-Art Status, LREC 2022: https\://aclanthology.org/2022.lrec-1.640/ 7\. Chandrahas, evalci: A Python Library for Statistically Rigorous Comparison of Language Model Evaluations, arXiv:2607.04429, 2026-07-05: https\://arxiv.org/abs/2607.04429 8\. Microsoft Foundry, Evaluate your AI agents, accessed 2026-10-19: https\://learn.microsoft.com/en-us/azure/foundry/observability/how-to/evaluate-agent Audit note: The candidate preserves EA-738's canonical topic. Statistical gates are presented as a release-control pattern, not as a claim that one universal test, confidence level, sample size, or provider feature is correct for every evaluation. NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.