AI Quality Degradation Detection／品質劣化検知

AIシステムの品質劣化は、モデル更新だけでなく、入力分布、検索コーパス、tool/API、system prompt、policy、traffic mix、評価器、周辺ソフトウェアの変化でも発生します。本番品質は「モデル精度」の単一時系列ではなく、固定回帰評価、本番サンプル評価、segment別品質、業務KPI、安全性、latency/error/cost、変更履歴を同じrelease identityへ結び付けて監視します。

NIST AI RMF CoreのMEASUREは、AI riskを分析・評価・benchmark・monitorするための定量・定性手法を扱い、AI systemをdeployment前だけでなく運用中も定期的にtestすることを求めます。MANAGE 4.1はpost-deployment monitoringにuser input、appeal/override、decommissioning、incident response、recovery、change managementを含めます。したがって、公開前evalの合格だけで運用品質を固定値として扱いません。

品質劣化検知には、同じ入力集合を継続実行する固定regression setと、現在のtrafficを反映するfresh sampleの両方が必要です。固定setだけでは新しい利用パターンを見落とし、fresh sampleだけではrelease間比較の再現性が落ちます。Google Cloud Gen AI evaluation serviceはproduction log sampling、model migration比較、adaptive/static rubric、ROUGE/BLEU、custom evaluation等を提供しており、固定評価と現行利用データを組み合わせる実装例になります。ただしprovider評価機能を品質保証そのものとは扱いません。

品質指標は一つへ圧縮しません。task success/correctness、groundedness/citation、tool-call correctness、policy/safety、human escalation、latency、error、token/cost、business KPIを必要に応じて分離します。総合scoreだけでは、あるdimensionの改善が別dimensionの劣化を相殺できます。

• Quality baselineのversion化: 評価dataset、metric/rubric、judge、model/runtime、prompt/config、retrieval snapshot、tool schema、application commitをreleaseごとに保存します。比較条件が変わった場合は同じseriesへ無条件に混ぜません。
• Pre-deploy regression: critical fixtureで既知failure再発、tool schema破壊、安全性、format contractを検査します。
• Shadow/canary comparison: 可能な範囲で代表trafficを旧releaseと新releaseへ流しpaired comparisonします。副作用toolはdry-run/mock/read-onlyに限定します。
• Post-deploy sampling: privacy/retention policyに従ってproduction sampleをsegment別に再評価し、incidentや低評価caseをregression corpusへ昇格させます。
• Multi-signal alert: critical fixture、segment failure-rate、business KPI、latency/error/cost、safety/policy violationを別signalとして保持します。
• Change correlation: alert前後のmodel endpoint/version、prompt/config、index refresh、tool/API schema、dependency、policy、deployment、traffic compositionをtimelineへ重ね、原因をmodel driftと決め打ちしません。
• Statistical guard: sample size、baseline variance、confidence interval、segment多重比較を記録し、小標本差を有意な劣化と断定しません。
• Rollback/fallback: reversible releaseは前versionへ戻す条件を定義し、必要に応じfallback model、feature disable、retrieval-only、human escalationへ縮退します。不可逆な外部副作用は別transaction controlで扱います。
• Evaluation drift監視: dataset陳腐化、judge drift、rubric変更、human reviewer agreementを監視し、monitor自体をversioned artifactとして監査します。

NIST AI RMFはrisk-management frameworkであり、LLM品質劣化の具体的thresholdや特定metricを標準化するものではありません。Google Cloudのevaluation serviceも評価手段の一例であり、そのmetricが各組織のbusiness truth、安全性、法的適合性を保証するものではありません。

predictive MLのfeature/data drift detectorをLLM applicationへそのまま移植しません。LLM systemではprompt、retrieval、tool、judge、policy、provider runtimeなど非モデル要因が大きく、入力分布の変化だけでは品質劣化を確定できません。

固定benchmarkを厳格に守るほどregressionは見つけやすくなりますが、benchmark overfittingと新しい利用パターンの見落としが増えます。fresh production sampleを増やすほど現実適合性は上がりますが、privacy、annotation cost、比較可能性の問題が増えます。

LLM-as-a-judgeはhuman reviewを完全には代替しません。judgeとproduction modelがbiasを共有する場合は共通failureを見逃す可能性があります。一方human reviewにもinter-rater disagreementとcostがあります。riskに応じてdeterministic check、model judge、human adjudicationを組み合わせます。

品質低下とtraffic変化は観測上混同され得ます。release前後で利用者構成やtask difficultyが変われば、systemが同じでもaggregate scoreは変化します。paired evaluationとsegment normalizationなしに因果を断定しません。

• 各用途でcriticalとする品質dimensionと許容threshold。
• production sampleを保持・再評価できるprivacy/retention境界。
• judge model更新時に旧seriesと新seriesを接続するcalibration方法。
• multilingual、long-context、tool-use等のsegmentごとの最低sample size。
• provider側の非公開変更をどこまで識別可能か。
• business KPI低下とAI品質劣化の因果を切り分ける実務的手法。

「drift detectorが反応したのでモデル品質が低下した」「eval scoreが維持されているので本番品質は安全」とは表現しません。安全な表現は、「固定回帰評価とfresh production sample、segment別品質、安全性、業務KPI、latency/cost、変更履歴を継続監視し、複数signalとreadbackで劣化候補を検出する。検出後はmodelだけでなくprompt、retrieval、tool、policy、traffic、evaluatorの変更も含めて原因を切り分ける」です。

• NIST AI RMF Core / Measure and Manage, accessed 2026-10-22: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/
• NIST AI RMF Playbook / Manage 4.1, accessed 2026-10-22: https://airc.nist.gov/airmf-resources/playbook/manage/
• NIST AI RMF 1.0, released 2023-01-26: https://www.nist.gov/itl/ai-risk-management-framework
• Google Cloud Gen AI evaluation service overview, accessed 2026-10-22: https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluation-overview
• Google Cloud Gen AI evaluation service API, accessed 2026-10-22: https://docs.cloud.google.com/gemini-enterprise-agent-platform/reference/models/evaluation