# AI Quality Degradation Detection／品質劣化検知 CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-399-ai-quality-degradation-detection CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-399-URL-10DEA8F1112A, EVD-EA-399-URL-2AC74EE25AFC, EVD-EA-399-URL-54DBC1541342, EVD-EA-399-URL-A53D52B4C4BB, EVD-EA-399-URL-2DE61FB27F58, EA-399-CURRENT-APPROVAL, EA-399-CURRENT-BODY-READBACK UNKNOWN_IDS: EA-399-UNKNOWN-01 OPS_IDS: none ## Summary 「drift detectorが反応したのでモデル品質が低下した」「eval scoreが維持されているので本番品質は安全」とは表現しません。安全な表現は、「固定回帰評価とfresh production sample、segment別品質、安全性、業務KPI、latency/cost、変更履歴を継続監視し、複数signalとreadbackで劣化候補を検出する。検出後はmodelだけでなくprompt、retrieval、tool、policy、traffic、evaluatorの変更も含めて原因を切り分ける」です。 ## Current judgment 「drift detectorが反応したのでモデル品質が低下した」「eval scoreが維持されているので本番品質は安全」とは表現しません。安全な表現は、「固定回帰評価とfresh production sample、segment別品質、安全性、業務KPI、latency/cost、変更履歴を継続監視し、複数signalとreadbackで劣化候補を検出する。検出後はmodelだけでなくprompt、retrieval、tool、policy、traffic、evaluatorの変更も含めて原因を切り分ける」です。 ## Scope AI Quality Degradation Detection／品質劣化検知 ## Confirmed ## UNKNOWN - EA-399-UNKNOWN-01: - 各用途でcriticalとする品質dimensionと許容threshold。 - production sampleを保持・再評価できるprivacy/retention境界。 - judge model更新時に旧seriesと新seriesを接続するcalibration方法。 - multilingual、long-context、tool-use等のsegmentごとの最低sample size。 - provider側の非公開変更をどこまで識別可能か。 - business KPI低下とAI品質劣化の因果を切り分ける実務的手法。 ## Evidence - EVD-EA-399-URL-10DEA8F1112A (RESEARCH): NIST AI RMF Core / Measure and Manage, accessed 2026-10-22: — https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ - EVD-EA-399-URL-2AC74EE25AFC (RESEARCH): NIST AI RMF Playbook / Manage 4.1, accessed 2026-10-22: — https://airc.nist.gov/airmf-resources/playbook/manage/ - EVD-EA-399-URL-54DBC1541342 (RESEARCH): NIST AI RMF 1.0, released 2023-01-26: — https://www.nist.gov/itl/ai-risk-management-framework - EVD-EA-399-URL-A53D52B4C4BB (RESEARCH): Google Cloud Gen AI evaluation service overview, accessed 2026-10-22: — https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluation-overview - EVD-EA-399-URL-2DE61FB27F58 (RESEARCH): Google Cloud Gen AI evaluation service API, accessed 2026-10-22: — https://docs.cloud.google.com/gemini-enterprise-agent-platform/reference/models/evaluation - EA-399-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応 - EA-399-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合 ## Failure / limits ### モデル名だけをrelease identityにする RAG index、prompt、tool schema、policy、SDK、retriever、rerankerが変わればsystem behaviorは変わります。model/versionだけでなく、prompt/config hash、retrieval snapshot、tool schema/version、policy version、application commit、deployment timestampを観測単位へ含めます。 ### 平均値だけを見る 平均scoreが安定していても、特定tenant、language、long-context、tool-use、high-risk workflowだけが悪化し得ます。segment別failure rate、critical fixture pass rate、分位点を併用し、重要segmentをaggregateへ埋没させません。 ### LLM-as-a-judgeを真実とみなす model-based evaluatorは大規模評価に有用ですが、judge model/version/prompt/rubricが変わればscoreも変わります。judgeをversion化し、deterministic checkやhuman adjudicationと校正します。judge scoreの変化を直ちにproduction qualityの変化と断定しません。 ### 本番ログだけで品質を測る user feedbackやimplicit signalはselection bias、silent failure、利用者ごとの期待差を含みます。golden fixture、synthetic edge case、incident replayと組み合わせます。 ### threshold超過を即rollbackに結び付ける 単一metricの一時的noiseで自動rollbackするとflappingを起こします。critical invariant violationとstatistical degradationを分け、後者は再測定、segment確認、change correlationを経てrollback/traffic shiftを判断します。 ## Failure / limits 固定benchmarkを厳格に守るほどregressionは見つけやすくなりますが、benchmark overfittingと新しい利用パターンの見落としが増えます。fresh production sampleを増やすほど現実適合性は上がりますが、privacy、annotation cost、比較可能性の問題が増えます。 LLM-as-a-judgeはhuman reviewを完全には代替しません。judgeとproduction modelがbiasを共有する場合は共通failureを見逃す可能性があります。一方human reviewにもinter-rater disagreementとcostがあります。riskに応じてdeterministic check、model judge、human adjudicationを組み合わせます。 品質低下とtraffic変化は観測上混同され得ます。release前後で利用者構成やtask difficultyが変われば、systemが同じでもaggregate scoreは変化します。paired evaluationとsegment normalizationなしに因果を断定しません。 ## 要点と前提 AIシステムの品質劣化は、モデル更新だけでなく、入力分布、検索コーパス、tool/API、system prompt、policy、traffic mix、評価器、周辺ソフトウェアの変化でも発生します。本番品質は「モデル精度」の単一時系列ではなく、固定回帰評価、本番サンプル評価、segment別品質、業務KPI、安全性、latency/error/cost、変更履歴を同じrelease identityへ結び付けて監視します。 ## 主要claim NIST AI RMF CoreのMEASUREは、AI riskを分析・評価・benchmark・monitorするための定量・定性手法を扱い、AI systemをdeployment前だけでなく運用中も定期的にtestすることを求めます。MANAGE 4.1はpost-deployment monitoringにuser input、appeal/override、decommissioning、incident response、recovery、change managementを含めます。したがって、公開前evalの合格だけで運用品質を固定値として扱いません。 品質劣化検知には、同じ入力集合を継続実行する固定regression setと、現在のtrafficを反映するfresh sampleの両方が必要です。固定setだけでは新しい利用パターンを見落とし、fresh sampleだけではrelease間比較の再現性が落ちます。Google Cloud Gen AI evaluation serviceはproduction log sampling、model migration比較、adaptive/static rubric、ROUGE/BLEU、custom evaluation等を提供しており、固定評価と現行利用データを組み合わせる実装例になります。ただしprovider評価機能を品質保証そのものとは扱いません。 品質指標は一つへ圧縮しません。task success/correctness、groundedness/citation、tool-call correctness、policy/safety、human escalation、latency、error、token/cost、business KPIを必要に応じて分離します。総合scoreだけでは、あるdimensionの改善が別dimensionの劣化を相殺できます。 ## 運用上の意味・failure ### モデル名だけをrelease identityにする RAG index、prompt、tool schema、policy、SDK、retriever、rerankerが変わればsystem behaviorは変わります。model/versionだけでなく、prompt/config hash、retrieval snapshot、tool schema/version、policy version、application commit、deployment timestampを観測単位へ含めます。 ### 平均値だけを見る 平均scoreが安定していても、特定tenant、language、long-context、tool-use、high-risk workflowだけが悪化し得ます。segment別failure rate、critical fixture pass rate、分位点を併用し、重要segmentをaggregateへ埋没させません。 ### LLM-as-a-judgeを真実とみなす model-based evaluatorは大規模評価に有用ですが、judge model/version/prompt/rubricが変わればscoreも変わります。judgeをversion化し、deterministic checkやhuman adjudicationと校正します。judge scoreの変化を直ちにproduction qualityの変化と断定しません。 ### 本番ログだけで品質を測る user feedbackやimplicit signalはselection bias、silent failure、利用者ごとの期待差を含みます。golden fixture、synthetic edge case、incident replayと組み合わせます。 ### threshold超過を即rollbackに結び付ける 単一metricの一時的noiseで自動rollbackするとflappingを起こします。critical invariant violationとstatistical degradationを分け、後者は再測定、segment確認、change correlationを経てrollback/traffic shiftを判断します。 ## 具体的control / implementation implication 1. **Quality baselineのversion化**: 評価dataset、metric/rubric、judge、model/runtime、prompt/config、retrieval snapshot、tool schema、application commitをreleaseごとに保存します。比較条件が変わった場合は同じseriesへ無条件に混ぜません。 2. **Pre-deploy regression**: critical fixtureで既知failure再発、tool schema破壊、安全性、format contractを検査します。 3. **Shadow/canary comparison**: 可能な範囲で代表trafficを旧releaseと新releaseへ流しpaired comparisonします。副作用toolはdry-run/mock/read-onlyに限定します。 4. **Post-deploy sampling**: privacy/retention policyに従ってproduction sampleをsegment別に再評価し、incidentや低評価caseをregression corpusへ昇格させます。 5. **Multi-signal alert**: critical fixture、segment failure-rate、business KPI、latency/error/cost、safety/policy violationを別signalとして保持します。 6. **Change correlation**: alert前後のmodel endpoint/version、prompt/config、index refresh、tool/API schema、dependency、policy、deployment、traffic compositionをtimelineへ重ね、原因をmodel driftと決め打ちしません。 7. **Statistical guard**: sample size、baseline variance、confidence interval、segment多重比較を記録し、小標本差を有意な劣化と断定しません。 8. **Rollback/fallback**: reversible releaseは前versionへ戻す条件を定義し、必要に応じfallback model、feature disable、retrieval-only、human escalationへ縮退します。不可逆な外部副作用は別transaction controlで扱います。 9. **Evaluation drift監視**: dataset陳腐化、judge drift、rubric変更、human reviewer agreementを監視し、monitor自体をversioned artifactとして監査します。 ## 適用境界 NIST AI RMFはrisk-management frameworkであり、LLM品質劣化の具体的thresholdや特定metricを標準化するものではありません。Google Cloudのevaluation serviceも評価手段の一例であり、そのmetricが各組織のbusiness truth、安全性、法的適合性を保証するものではありません。 predictive MLのfeature/data drift detectorをLLM applicationへそのまま移植しません。LLM systemではprompt、retrieval、tool、judge、policy、provider runtimeなど非モデル要因が大きく、入力分布の変化だけでは品質劣化を確定できません。 ## Counterevidence / limitations 固定benchmarkを厳格に守るほどregressionは見つけやすくなりますが、benchmark overfittingと新しい利用パターンの見落としが増えます。fresh production sampleを増やすほど現実適合性は上がりますが、privacy、annotation cost、比較可能性の問題が増えます。 LLM-as-a-judgeはhuman reviewを完全には代替しません。judgeとproduction modelがbiasを共有する場合は共通failureを見逃す可能性があります。一方human reviewにもinter-rater disagreementとcostがあります。riskに応じてdeterministic check、model judge、human adjudicationを組み合わせます。 品質低下とtraffic変化は観測上混同され得ます。release前後で利用者構成やtask difficultyが変われば、systemが同じでもaggregate scoreは変化します。paired evaluationとsegment normalizationなしに因果を断定しません。 ## OPEN_UNKNOWN - 各用途でcriticalとする品質dimensionと許容threshold。 - production sampleを保持・再評価できるprivacy/retention境界。 - judge model更新時に旧seriesと新seriesを接続するcalibration方法。 - multilingual、long-context、tool-use等のsegmentごとの最低sample size。 - provider側の非公開変更をどこまで識別可能か。 - business KPI低下とAI品質劣化の因果を切り分ける実務的手法。 ## SAFE_WORDING 「drift detectorが反応したのでモデル品質が低下した」「eval scoreが維持されているので本番品質は安全」とは表現しません。安全な表現は、「固定回帰評価とfresh production sample、segment別品質、安全性、業務KPI、latency/cost、変更履歴を継続監視し、複数signalとreadbackで劣化候補を検出する。検出後はmodelだけでなくprompt、retrieval、tool、policy、traffic、evaluatorの変更も含めて原因を切り分ける」です。 ## Source / provenance locators - NIST AI RMF Core / Measure and Manage, accessed 2026-10-22: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ - NIST AI RMF Playbook / Manage 4.1, accessed 2026-10-22: https://airc.nist.gov/airmf-resources/playbook/manage/ - NIST AI RMF 1.0, released 2023-01-26: https://www.nist.gov/itl/ai-risk-management-framework - Google Cloud Gen AI evaluation service overview, accessed 2026-10-22: https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluation-overview - Google Cloud Gen AI evaluation service API, accessed 2026-10-22: https://docs.cloud.google.com/gemini-enterprise-agent-platform/reference/models/evaluation NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.