# Explainability／Interpretability／Explanation Fidelity CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-1201-explainability-interpretability-explanation-fidelity CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-1201-URL-F9E72AC742FA, EVD-EA-1201-URL-C69C5687EB07, EVD-EA-1201-URL-BD945BF6CAAB, EVD-EA-1201-URL-9F7D87FBE987, EA-1201-CURRENT-APPROVAL, EA-1201-CURRENT-BODY-READBACK UNKNOWN_IDS: EA-1201-UNKNOWN-01 OPS_IDS: none ## Summary 「AIが判断理由を説明できる」と一括して表現せず、「特定の説明手法により、定義された対象・参照条件の下でモデル挙動の一部を説明または近似できる。説明の忠実性、安定性、理解可能性、適用範囲は別途検証が必要」と記述します。 ## Current judgment 「AIが判断理由を説明できる」と一括して表現せず、「特定の説明手法により、定義された対象・参照条件の下でモデル挙動の一部を説明または近似できる。説明の忠実性、安定性、理解可能性、適用範囲は別途検証が必要」と記述します。 ## Scope Explainability／Interpretability／Explanation Fidelity ## Confirmed ## UNKNOWN - EA-1201-UNKNOWN-01: - 各組織の本番data distributionとmodel familyに対して、どの説明手法・fidelity metric・stability thresholdが妥当か。 - 人間の意思決定品質を改善する説明形式と、automation biasを増やす説明形式の境界。 - 相関特徴、高次元入力、foundation modelを含む複雑なsystemで、局所説明をどこまで再現可能・監査可能にできるか。 - 法域・use case・system classificationごとの具体的説明義務と、技術的XAI artifactの対応関係。 - explanation method自体の更新を、model changeと同等の再評価triggerにする範囲。 ## Evidence - EVD-EA-1201-URL-F9E72AC742FA (RESEARCH): 1. NISTIR 8312, *Four Principles of Explainable Artificial Intelligence*, final, 2021. — https://doi.org/10.6028/NIST.IR.8312 - EVD-EA-1201-URL-C69C5687EB07 (RESEARCH): 2. NIST AI RMF / AIRC, *AI Risks and Trustworthiness — Explainable and Interpretable*. — https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/ - EVD-EA-1201-URL-BD945BF6CAAB (RESEARCH): 3. NIST AI RMF Playbook, *Measure*. — https://airc.nist.gov/airmf-resources/playbook/measure/ - EVD-EA-1201-URL-9F7D87FBE987 (RESEARCH): 8. Regulation (EU) 2024/1689, Article 13, EUR-Lex. — https://eur-lex.europa.eu/eli/reg/2024/1689/oj - EA-1201-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応 - EA-1201-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合 ## Failure / limits 説明手法はモデルそのものではなく、モデル挙動の表現または近似である場合があります。近似誤差、相関特徴、背景分布の選択、入力分布外データ、model retraining、feature engineering、非決定性によって説明は変わり得ます。人間に理解しやすい説明が忠実とは限らず、忠実な説明が人間に有用とも限りません。 説明の存在は、予測の正確性、公平性、因果妥当性、法的適合性を自動的に証明しません。特定XAI methodのbenchmark結果を、別モデル・別データ・別組織の本番品質へ外挿しません。 ## 要点と前提 説明可能性は「説明らしい文章を出せること」ではありません。運用上の中心課題は、説明が対象モデルの出力生成過程をどの程度忠実に反映し、対象者がその説明を適切に解釈でき、入力・モデル・説明手法の変化に対してどの程度安定しているかを検証することです。特徴寄与、反実仮想、局所説明、全体説明は同じものではなく、目的に応じて評価軸を分ける必要があります。 ## 説明可能性・解釈可能性・忠実性を分ける NISTは explainability をAIシステムの動作機構の表現、interpretability を設計された機能目的の文脈における出力の意味として区別しています。また NISTIR 8312 は、説明を評価する原則として Explanation、Meaningful、Explanation Accuracy、Knowledge Limits を示しています。特に Explanation Accuracy は、説明が出力生成の理由またはシステムの過程を正しく反映することを要求します。 この区別は実装上重要です。利用者に理解しやすい自然文が生成されても、それがモデル内部の決定要因を忠実に反映しているとは限りません。逆に、技術的に忠実な特徴寄与が、そのまま業務担当者や影響を受ける本人にとって意味のある説明になるとも限りません。「読みやすさ」「納得感」「モデル忠実性」「意思決定に使えること」を一つの指標へ混ぜない設計が必要です。 ## 特徴寄与は原因説明ではない SHAPなどの特徴寄与法は、定義された参照分布やモデル出力に対して各特徴の寄与を割り当てます。TreeSHAPの研究は、tree ensembleに対して局所精度とconsistencyを満たす特徴寄与を構成しています。しかし、この性質は「その特徴が現実世界で結果を引き起こした」という因果主張を意味しません。 さらに、特徴寄与と反実仮想説明は異なる問いに答えます。Mothilalらは、LIME/SHAPの上位特徴が、予測変更に必要または十分な特徴と一致しない場合があることを示しています。したがって「重要だった特徴」と「変更すれば結果が変わる特徴」と「現実に介入可能な原因」を同一視してはいけません。 ## 反実仮想説明は実行可能性と妥当性を検証する 反実仮想説明は「何を変えれば別の予測になったか」を示す用途に向きますが、生成された変更が現実に可能とは限りません。年齢を下げる、相互依存する属性を不整合に変える、保護属性のproxyだけを操作する、といった反実仮想は数学的には予測境界を越えても業務上の説明として不適切です。 実運用では、変更可能属性／不変属性、特徴間制約、時間順序、費用、法的・倫理的制約を明示し、反実仮想が「モデル上の予測変更条件」なのか「利用者が実行できる改善行動」なのかを区別します。後者を主張する場合は、モデルの相関構造だけでなく、介入可能性や因果的妥当性について別の根拠が必要です。 ## 局所説明と全体説明を混同しない 個別予測の説明は、その近傍または一つの入力についてモデル挙動を近似・分解します。全体説明は、モデル全体の支配的パターン、相互作用、特徴依存性などを対象にします。局所説明を多数並べただけで全体挙動が完全に説明されたことにはなりません。また、global feature importance が個々の判断理由を直接説明するわけでもありません。 説明UIや監査記録では、説明対象を `local_prediction`、`global_model`、`counterfactual`、`process/documentation` などに明示し、異なる種類の説明を同じ「理由」欄へ押し込まない方が安全です。 ## 忠実性と安定性を独立に測る 説明手法の品質は、少なくとも忠実性と安定性を別に評価します。忠実性は、説明が対象モデルの実際の出力挙動をどの程度反映するかを扱います。安定性は、意味的に小さい入力変化、再学習、random seed、hyperparameter、背景分布などの変化に対して説明がどの程度変動するかを扱います。 2026年のtabular-data評価では、LIME、Kernel SHAP、Feature Ablationを32 datasetsで比較し、説明品質が予測性能と単純には連動せず、dataset complexityやfeature distributionの影響を受けると報告されています。別のtree ensemble研究でも、global feature importanceのaccuracy/stabilityが入力ノイズ、次元、model perturbation等で変化することが報告されています。これらは個別研究の結果であり全モデルへの保証ではありませんが、「高精度モデルなら説明も高品質」とみなすことが危険である根拠になります。 実装では、説明器のテストをモデル精度テストから分離します。代表的なfixtureについて、feature removal/perturbation、known synthetic mechanism、seed/model variation、background/reference-set variation、近傍入力variationなどを用い、説明の忠実性と安定性を継続評価します。閾値は用途とリスクに応じて定義し、説明手法のversion、model version、feature schema、reference/background dataを同時に記録します。 ## 「説明がある」を監査可能にする 監査可能な説明機構には、表示された説明だけでなく再現条件が必要です。最低限、対象model/version、inputまたは再現可能なinput reference、prediction/output、explanation method/version、parameters、background/reference datasetの識別子、feature schema、生成時刻、説明対象の種類を記録します。 説明結果を人間の承認根拠に使う場合は、人間が説明を見た事実と、説明が意思決定を改善した事実を分けます。説明がもっともらしいために誤った予測を過信する automation bias も評価対象です。説明表示を追加しただけでhuman oversightが成立したとは扱いません。 ## 法規制・制度要求は適用範囲を固定する EU AI Act Article 13 は high-risk AI systems について、deployerが出力を解釈し適切に利用できるよう十分な透明性を確保し、関連する情報をinstructions for useとして提供することを求めています。これは「すべてのAIにSHAPを表示すれば適法」という規則ではありません。適用対象、役割、義務、要求される情報は法令上の分類と文脈に依存します。 したがって、技術的XAI評価と法的説明義務を同一視しません。法域・use case・system classification・provider/deployer roleを確定し、法的要求は専門的な適用判断と現行条文で確認します。 ## 実装control 運用では次のcontrolを組み合わせます。 - 説明の目的と受け手を先に定義し、開発者向けdebug説明、運用者向け判断支援、利用者向け理由通知、監査向け再現情報を分離する。 - feature attribution、counterfactual、local/global explanationを用途別に選び、単一手法を万能説明として扱わない。 - explanation fidelity、stability、human comprehensibilityを別々にtestし、model accuracyとは別のacceptance criteriaを持つ。 - model・data・feature schema・explanation methodのversion変更時に説明評価を再実行する。 - reference/background dataset、random seed、parametersなど再現性に影響する条件を保存する。 - 高影響判断では説明を自動承認の根拠にせず、prediction quality、policy、human review、appeal/contestability等のcontrolと組み合わせる。 - 説明不能・不安定・忠実性不足を検出した場合に、説明を捏造せず、利用制限・追加検証・人間へのescalationへ移す。 ## Failure envelope / limitations 説明手法はモデルそのものではなく、モデル挙動の表現または近似である場合があります。近似誤差、相関特徴、背景分布の選択、入力分布外データ、model retraining、feature engineering、非決定性によって説明は変わり得ます。人間に理解しやすい説明が忠実とは限らず、忠実な説明が人間に有用とも限りません。 説明の存在は、予測の正確性、公平性、因果妥当性、法的適合性を自動的に証明しません。特定XAI methodのbenchmark結果を、別モデル・別データ・別組織の本番品質へ外挿しません。 ## SAFE_WORDING 「AIが判断理由を説明できる」と一括して表現せず、「特定の説明手法により、定義された対象・参照条件の下でモデル挙動の一部を説明または近似できる。説明の忠実性、安定性、理解可能性、適用範囲は別途検証が必要」と記述します。 「SHAP値は原因を示す」「反実仮想はその行動をすれば現実の結果が改善する」「説明を表示すれば規制上の説明義務を満たす」とは一般化しません。 ## OPEN_UNKNOWN - 各組織の本番data distributionとmodel familyに対して、どの説明手法・fidelity metric・stability thresholdが妥当か。 - 人間の意思決定品質を改善する説明形式と、automation biasを増やす説明形式の境界。 - 相関特徴、高次元入力、foundation modelを含む複雑なsystemで、局所説明をどこまで再現可能・監査可能にできるか。 - 法域・use case・system classificationごとの具体的説明義務と、技術的XAI artifactの対応関係。 - explanation method自体の更新を、model changeと同等の再評価triggerにする範囲。 ## 監査用 source / provenance locator 1. NISTIR 8312, *Four Principles of Explainable Artificial Intelligence*, final, 2021. https://doi.org/10.6028/NIST.IR.8312 2. NIST AI RMF / AIRC, *AI Risks and Trustworthiness — Explainable and Interpretable*. https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/ 3. NIST AI RMF Playbook, *Measure*. https://airc.nist.gov/airmf-resources/playbook/measure/ 4. Lundberg, Erion, Lee, *Consistent Individualized Feature Attribution for Tree Ensembles*, arXiv:1802.03888. 5. Mothilal et al., *Towards Unifying Feature Attribution and Counterfactual Explanations: Different Means to the Same End*, arXiv:2011.04917. 6. Yasodhara et al., *On the Trustworthiness of Tree Ensemble Explainability Methods*, arXiv:2110.00086. 7. Pereira et al., *Evaluating Local Explainability Metrics for Machine Learning Models on Tabular Data*, arXiv:2605.27618, 2026-05-26. 8. Regulation (EU) 2024/1689, Article 13, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2024/1689/oj NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.