{
  "format": "agent-article-v0",
  "article_id": "EA-399",
  "canonical_url": "/tools/ea-399-ai-quality-degradation-detection",
  "page_type": "reference",
  "claim_ids": [],
  "evidence_ids": [
    "EVD-EA-399-URL-10DEA8F1112A",
    "EVD-EA-399-URL-2AC74EE25AFC",
    "EVD-EA-399-URL-54DBC1541342",
    "EVD-EA-399-URL-A53D52B4C4BB",
    "EVD-EA-399-URL-2DE61FB27F58",
    "EA-399-CURRENT-APPROVAL",
    "EA-399-CURRENT-BODY-READBACK"
  ],
  "unknown_ids": [
    "EA-399-UNKNOWN-01"
  ],
  "operational_object_ids": [],
  "provider": [],
  "models": [],
  "plans": [],
  "surfaces": [],
  "regions": [],
  "current_status": "CURRENT",
  "observation_status": "SPEC_ONLY",
  "freshness": "CURRENT",
  "last_verified": "2026-10-22",
  "supersedes": [],
  "superseded_by": [],
  "provenance": [
    "EA399-CANDIDATE-20261022-0420JST-C3",
    "SRC-EA-399-URL-10DEA8F1112A",
    "SRC-EA-399-URL-2AC74EE25AFC",
    "SRC-EA-399-URL-54DBC1541342",
    "SRC-EA-399-URL-A53D52B4C4BB",
    "SRC-EA-399-URL-2DE61FB27F58",
    "BODY-SHA256:8192148dcff9c755be565dd99b0e5ed407007dcc2f2193e4043c574a195ef671"
  ],
  "article_sources": [
    {
      "id": "EVD-EA-399-URL-10DEA8F1112A",
      "evidence_class": "RESEARCH",
      "title": "NIST AI RMF Core / Measure and Manage, accessed 2026-10-22:",
      "href": "https://airc.nist.gov/airmf-resources/airmf/5-sec-core/",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-399-URL-10DEA8F1112A"
      ],
      "supporting_locators": [
        "Source / provenance locators",
        "- NIST AI RMF Core / Measure and Manage, accessed 2026-10-22: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/"
      ],
      "scope": "Source / provenance locators",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-399-URL-2AC74EE25AFC",
      "evidence_class": "RESEARCH",
      "title": "NIST AI RMF Playbook / Manage 4.1, accessed 2026-10-22:",
      "href": "https://airc.nist.gov/airmf-resources/playbook/manage/",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-399-URL-2AC74EE25AFC"
      ],
      "supporting_locators": [
        "Source / provenance locators",
        "- NIST AI RMF Playbook / Manage 4.1, accessed 2026-10-22: https://airc.nist.gov/airmf-resources/playbook/manage/"
      ],
      "scope": "Source / provenance locators",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-399-URL-54DBC1541342",
      "evidence_class": "RESEARCH",
      "title": "NIST AI RMF 1.0, released 2023-01-26:",
      "href": "https://www.nist.gov/itl/ai-risk-management-framework",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-399-URL-54DBC1541342"
      ],
      "supporting_locators": [
        "Source / provenance locators",
        "- NIST AI RMF 1.0, released 2023-01-26: https://www.nist.gov/itl/ai-risk-management-framework"
      ],
      "scope": "Source / provenance locators",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-399-URL-A53D52B4C4BB",
      "evidence_class": "RESEARCH",
      "title": "Google Cloud Gen AI evaluation service overview, accessed 2026-10-22:",
      "href": "https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluation-overview",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-399-URL-A53D52B4C4BB"
      ],
      "supporting_locators": [
        "Source / provenance locators",
        "- Google Cloud Gen AI evaluation service overview, accessed 2026-10-22: https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluation-overview"
      ],
      "scope": "Source / provenance locators",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-399-URL-2DE61FB27F58",
      "evidence_class": "RESEARCH",
      "title": "Google Cloud Gen AI evaluation service API, accessed 2026-10-22:",
      "href": "https://docs.cloud.google.com/gemini-enterprise-agent-platform/reference/models/evaluation",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-399-URL-2DE61FB27F58"
      ],
      "supporting_locators": [
        "Source / provenance locators",
        "- Google Cloud Gen AI evaluation service API, accessed 2026-10-22: https://docs.cloud.google.com/gemini-enterprise-agent-platform/reference/models/evaluation"
      ],
      "scope": "Source / provenance locators",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EA-399-CURRENT-APPROVAL",
      "evidence_class": "RESEARCH",
      "title": "現行本文の監査・revision対応",
      "supports": [
        "現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。"
      ],
      "limit": "監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。",
      "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET",
      "source_or_experiment_ids": [
        "EA399-CANDIDATE-20261022-0420JST-C3"
      ],
      "supporting_locators": [
        "1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER#ea_id=EA-399&revision_id=EA-399-RESEARCH-20261022-R1&candidate_id=EA399-CANDIDATE-20261022-0420JST-C3",
        "EA-399-RESEARCH-20261022-R1"
      ],
      "provenance_status": "CURRENT_CANONICAL_APPROVAL_READBACK"
    },
    {
      "id": "EA-399-CURRENT-BODY-READBACK",
      "evidence_class": "IMPL",
      "title": "現行本文の収録照合",
      "supports": [
        "公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。"
      ],
      "limit": "本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。",
      "checked_at": "2026-10-22",
      "origin_class": "IMPLEMENTATION_READBACK",
      "source_or_experiment_ids": [
        "BODY-SHA256:8192148dcff9c755be565dd99b0e5ed407007dcc2f2193e4043c574a195ef671"
      ],
      "supporting_locators": [
        "content/staging/EA-399.md",
        "8192148dcff9c755be565dd99b0e5ed407007dcc2f2193e4043c574a195ef671",
        "EA-399-RESEARCH-20261022-R1"
      ],
      "provenance_status": "CURRENT_APPROVED_BODY_HASH_MATCH"
    }
  ],
  "research_sections": [
    {
      "heading": "要点と前提",
      "text": "AIシステムの品質劣化は、モデル更新だけでなく、入力分布、検索コーパス、tool/API、system prompt、policy、traffic mix、評価器、周辺ソフトウェアの変化でも発生します。本番品質は「モデル精度」の単一時系列ではなく、固定回帰評価、本番サンプル評価、segment別品質、業務KPI、安全性、latency/error/cost、変更履歴を同じrelease identityへ結び付けて監視します。"
    },
    {
      "heading": "主要claim",
      "text": "NIST AI RMF CoreのMEASUREは、AI riskを分析・評価・benchmark・monitorするための定量・定性手法を扱い、AI systemをdeployment前だけでなく運用中も定期的にtestすることを求めます。MANAGE 4.1はpost-deployment monitoringにuser input、appeal/override、decommissioning、incident response、recovery、change managementを含めます。したがって、公開前evalの合格だけで運用品質を固定値として扱いません。\n\n品質劣化検知には、同じ入力集合を継続実行する固定regression setと、現在のtrafficを反映するfresh sampleの両方が必要です。固定setだけでは新しい利用パターンを見落とし、fresh sampleだけではrelease間比較の再現性が落ちます。Google Cloud Gen AI evaluation serviceはproduction log sampling、model migration比較、adaptive/static rubric、ROUGE/BLEU、custom evaluation等を提供しており、固定評価と現行利用データを組み合わせる実装例になります。ただしprovider評価機能を品質保証そのものとは扱いません。\n\n品質指標は一つへ圧縮しません。task success/correctness、groundedness/citation、tool-call correctness、policy/safety、human escalation、latency、error、token/cost、business KPIを必要に応じて分離します。総合scoreだけでは、あるdimensionの改善が別dimensionの劣化を相殺できます。"
    },
    {
      "heading": "運用上の意味・failure",
      "text": "### モデル名だけをrelease identityにする\nRAG index、prompt、tool schema、policy、SDK、retriever、rerankerが変わればsystem behaviorは変わります。model/versionだけでなく、prompt/config hash、retrieval snapshot、tool schema/version、policy version、application commit、deployment timestampを観測単位へ含めます。\n\n### 平均値だけを見る\n平均scoreが安定していても、特定tenant、language、long-context、tool-use、high-risk workflowだけが悪化し得ます。segment別failure rate、critical fixture pass rate、分位点を併用し、重要segmentをaggregateへ埋没させません。\n\n### LLM-as-a-judgeを真実とみなす\nmodel-based evaluatorは大規模評価に有用ですが、judge model/version/prompt/rubricが変わればscoreも変わります。judgeをversion化し、deterministic checkやhuman adjudicationと校正します。judge scoreの変化を直ちにproduction qualityの変化と断定しません。\n\n### 本番ログだけで品質を測る\nuser feedbackやimplicit signalはselection bias、silent failure、利用者ごとの期待差を含みます。golden fixture、synthetic edge case、incident replayと組み合わせます。\n\n### threshold超過を即rollbackに結び付ける\n単一metricの一時的noiseで自動rollbackするとflappingを起こします。critical invariant violationとstatistical degradationを分け、後者は再測定、segment確認、change correlationを経てrollback/traffic shiftを判断します。"
    },
    {
      "heading": "具体的control / implementation implication",
      "text": "1. **Quality baselineのversion化**: 評価dataset、metric/rubric、judge、model/runtime、prompt/config、retrieval snapshot、tool schema、application commitをreleaseごとに保存します。比較条件が変わった場合は同じseriesへ無条件に混ぜません。\n2. **Pre-deploy regression**: critical fixtureで既知failure再発、tool schema破壊、安全性、format contractを検査します。\n3. **Shadow/canary comparison**: 可能な範囲で代表trafficを旧releaseと新releaseへ流しpaired comparisonします。副作用toolはdry-run/mock/read-onlyに限定します。\n4. **Post-deploy sampling**: privacy/retention policyに従ってproduction sampleをsegment別に再評価し、incidentや低評価caseをregression corpusへ昇格させます。\n5. **Multi-signal alert**: critical fixture、segment failure-rate、business KPI、latency/error/cost、safety/policy violationを別signalとして保持します。\n6. **Change correlation**: alert前後のmodel endpoint/version、prompt/config、index refresh、tool/API schema、dependency、policy、deployment、traffic compositionをtimelineへ重ね、原因をmodel driftと決め打ちしません。\n7. **Statistical guard**: sample size、baseline variance、confidence interval、segment多重比較を記録し、小標本差を有意な劣化と断定しません。\n8. **Rollback/fallback**: reversible releaseは前versionへ戻す条件を定義し、必要に応じfallback model、feature disable、retrieval-only、human escalationへ縮退します。不可逆な外部副作用は別transaction controlで扱います。\n9. **Evaluation drift監視**: dataset陳腐化、judge drift、rubric変更、human reviewer agreementを監視し、monitor自体をversioned artifactとして監査します。"
    },
    {
      "heading": "適用境界",
      "text": "NIST AI RMFはrisk-management frameworkであり、LLM品質劣化の具体的thresholdや特定metricを標準化するものではありません。Google Cloudのevaluation serviceも評価手段の一例であり、そのmetricが各組織のbusiness truth、安全性、法的適合性を保証するものではありません。\n\npredictive MLのfeature/data drift detectorをLLM applicationへそのまま移植しません。LLM systemではprompt、retrieval、tool、judge、policy、provider runtimeなど非モデル要因が大きく、入力分布の変化だけでは品質劣化を確定できません。"
    },
    {
      "heading": "Counterevidence / limitations",
      "text": "固定benchmarkを厳格に守るほどregressionは見つけやすくなりますが、benchmark overfittingと新しい利用パターンの見落としが増えます。fresh production sampleを増やすほど現実適合性は上がりますが、privacy、annotation cost、比較可能性の問題が増えます。\n\nLLM-as-a-judgeはhuman reviewを完全には代替しません。judgeとproduction modelがbiasを共有する場合は共通failureを見逃す可能性があります。一方human reviewにもinter-rater disagreementとcostがあります。riskに応じてdeterministic check、model judge、human adjudicationを組み合わせます。\n\n品質低下とtraffic変化は観測上混同され得ます。release前後で利用者構成やtask difficultyが変われば、systemが同じでもaggregate scoreは変化します。paired evaluationとsegment normalizationなしに因果を断定しません。"
    },
    {
      "heading": "OPEN_UNKNOWN",
      "text": "- 各用途でcriticalとする品質dimensionと許容threshold。\n- production sampleを保持・再評価できるprivacy/retention境界。\n- judge model更新時に旧seriesと新seriesを接続するcalibration方法。\n- multilingual、long-context、tool-use等のsegmentごとの最低sample size。\n- provider側の非公開変更をどこまで識別可能か。\n- business KPI低下とAI品質劣化の因果を切り分ける実務的手法。"
    },
    {
      "heading": "SAFE_WORDING",
      "text": "「drift detectorが反応したのでモデル品質が低下した」「eval scoreが維持されているので本番品質は安全」とは表現しません。安全な表現は、「固定回帰評価とfresh production sample、segment別品質、安全性、業務KPI、latency/cost、変更履歴を継続監視し、複数signalとreadbackで劣化候補を検出する。検出後はmodelだけでなくprompt、retrieval、tool、policy、traffic、evaluatorの変更も含めて原因を切り分ける」です。"
    },
    {
      "heading": "Source / provenance locators",
      "text": "- NIST AI RMF Core / Measure and Manage, accessed 2026-10-22: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/\n- NIST AI RMF Playbook / Manage 4.1, accessed 2026-10-22: https://airc.nist.gov/airmf-resources/playbook/manage/\n- NIST AI RMF 1.0, released 2023-01-26: https://www.nist.gov/itl/ai-risk-management-framework\n- Google Cloud Gen AI evaluation service overview, accessed 2026-10-22: https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluation-overview\n- Google Cloud Gen AI evaluation service API, accessed 2026-10-22: https://docs.cloud.google.com/gemini-enterprise-agent-platform/reference/models/evaluation"
    }
  ],
  "human_url": "/tools/ea-399-ai-quality-degradation-detection",
  "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-399-ai-quality-degradation-detection",
  "json_url": "/agent/article.json?path=%2Ftools%2Fea-399-ai-quality-degradation-detection"
}