No English page yet. Showing the Japanese source.
AIレッドチーム／耐障害運用編
記事状態: 公開 · 最終確認: 未確認
要点
Prompt injection / agent hijackingへの耐性はmodel-only refusalではなく、system containmentとrecoveryの問題として扱う。外部文書、Web、メール、RAG、connector、MCP/tool等のuntrusted inputがprivileged action/dataと同一decision loopへ入ることを前提に、least privilege、deterministic policy/approval、sandbox/egress/secret isolation、monitoring、kill/rollback、adaptive held-out evaluation、benign utility、UNKNOWN境界を維持する。
現在の判断
評価の主語は「LLMを騙せるか」ではなく、敵対的入力が存在しても権限・秘密・外部side effectへどこまで到達できるかとする。
どこまで当てはまるか
AIレッドチーム／耐障害運用編
詳しく理解する
Evidence and provenance
NIST AI 100-2e2025
- class: official taxonomy / normative anchor - title: Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - locator: https://doi.org/10.6028/NIST.AI.100-2e2025 - edition: 2025 - use: AML taxonomy、prompt injection / red-team threat-model context。 - boundary: publication時に後継版有無を再確認する。
NIST AI 600-1
- class: official risk-management profile / normative anchor - title: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile - locator: https://doi.org/10.6028/NIST.AI.600-1 - use: red teamingをTEVV/risk-managementへ接続するcontext。
NIST CAISI AgentDojo evaluation
- class: government evaluation evidence - title: Technical Blog: Strengthening AI Agent Hijacking Evaluations - locator: https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations - use: known attack setの低ASRをadaptive/held-out attack耐性へ外挿できない反証。 - boundary: evaluation evidenceであり、universal product guaranteeではない。
MITRE ATLAS
- class: living threat knowledge base - locator: https://atlas.mitre.org/ - edition: living catalog; as-of 2026-09-11 - use: context/tool/tool-data/tool-invocationを含むagentic attack surfaceの分類。 - boundary: technique掲載は対象SUTでの成功証明ではない。publication時にedition/as-ofを再確認する。
OWASP GenAI Security Project
- class: community/living risk catalog - title: LLM01:2025 Prompt Injection - locator: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ - edition: 2025; as-of 2026-09-11 - use: direct/indirect injection、least privilege、human approval、external-content segregation、adversarial testingのcontext。 - boundary: normative standardではなくrisk catalog。完全防止を示さない。
OpenAI guidance
- class: provider-authored guidance - locator: https://openai.com/index/prompt-injections/ - volatility: PRODUCT_VOLATILE - use: sandboxing、confirmation、scoped access、explicit task scope、red teaming等の多層防御例。 - boundary: provider guidanceは特定tenantの実効防御を証明しない。
Anthropic guidance
- class: provider-authored guidance - title: How we contain Claude across products - locator: https://www.anthropic.com/engineering/how-we-contain-claude - volatility: PRODUCT_VOLATILE - use: external resourceをsupply-chain riskとprompt-injection vectorの両方として扱うcontext。 - boundary: provider guidanceは独立保証ではない。
MCP
- class: interoperability specification - baseline: 2026-07-28 - locator: https://modelcontextprotocol.io/specification/ - boundary: security claimsはpublication時にcurrent normative textへ再照合する。MCP接続の存在はtool安全性を証明しない。
AgentDojo OSS
- class: author-maintained OSS evaluation framework - repository: https://github.com/ethz-spylab/agentdojo-core - commit: UNKNOWN - boundary: executable harnessへ採用する前にexact commitをpinする。commit UNKNOWNのまま再現可能実装とは扱わない。
Proposed structures
以下はすべて PROPOSAL-backed structures であり、既存標準の必須schemaとして扱わない。
RED_TEAM_SUT_MANIFEST
model/model ID、product mode、system-instructions hash、connected data sources、tools/connectors/MCP servers、credential principal/scope、sandbox/network policy、approval policy、logging level、version/date。
ATTACK_CASE
asset、attacker access、ingress surface、trust boundary、precondition、malicious objective、required authority、attack steps、expected control、observed outcome、blast radius、detection signal、recovery、residual UNKNOWN。
CONTROL_MAP
preventive / detective / containment / recovery controlsをattack surfaceとauthorityへ対応付ける。
RUN_RESULT
attack-case ID、benign-task success、attack success、unauthorized read/write/send/delete、secret exposure、policy block、human-approval path、detector signal、time-to-detect、time-to-stop、recovery/rollback、residual artifact、cost。
確認・評価方法
BENIGN_UTILITY、ASR_TARGETED、UNAUTHORIZED_EFFECT_RATE、SECRET_EXPOSURE_RATE、DETECTION_RATE、FALSE_POSITIVE_RATE、CONTAINMENT_RATE、RECOVERY_SUCCESS / MTTR、ADAPTIVE_ASRを別々に記録する。
adaptive-ASRに固定のuniversal thresholdを置かない。acceptance thresholdは業務risk class依存としUNKNOWNを推測で閉じない。公開benchmarkをproduct/tenant保証へ昇格しない。
Safe test boundary
実データ、production secret/PII、production credential、無許可external side effectを使用しない。synthetic/canary fixtureを基本とする。後続試験候補はsynthetic workspace、canary secret、bounded read/write/send tools、MCP/tool-poisoning simulation、adaptive held-out red team、recovery drillであり、production環境での攻撃payload corpus実行を本staging artifactは要求しない。
確認できていること
評価の主語は「LLMを騙せるか」ではなく、敵対的入力が存在しても権限・秘密・外部side effectへどこまで到達できるかとする。
Defense-in-depthは、input/content trust labeling、instruction/data separation、scoped identity/credential、tool allowlist/schema validation、deterministic policy gate、human approval、sandbox/filesystem/network/egress containment、secret isolation、runtime monitoring/anomaly detection、kill/rollback/recovery、adversarial regression evalへ分解する。
既知attack回帰suiteとadaptive/held-out suiteを分離し、security指標と同時にbenign utility / false positiveを測定する。remote tool/resourceは承認後変更を前提に、server version、tool catalog/description、auth scope、network destination、output schema、ownerのdriftを再審査triggerにする。
失敗条件・反証
Prompt Injection完全排除の根拠は確立していない。human approval、sandbox、least privilegeはいずれも単独では万能ではない。filesystem/process containmentとSaaS/API privilege containmentを分離する。provider guidanceはtenant-specific effective control availabilityを証明しない。living catalogsはedition/as-ofを固定する。
まだ確認できていないこと
- EA-014-UNKNOWN-CURRENTNESS
外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。
根拠資料
- 研究資料研究資料
locator:
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
locator:
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
locator:
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
locator:
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
locator:
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
locator:
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
locator:
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
locator:
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
repository:
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
出典ID・検証情報・機械可読データ
根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。
- 記事ID
- EA-014
- 最終確認日
- —
- 提供元・モデル・プラン・利用環境
- —
- 対象地域
- —
元資料の全文と収録照合記録
Public claim
Prompt injection / agent hijackingへの耐性はmodel-only refusalではなく、system containmentとrecoveryの問題として扱う。外部文書、Web、メール、RAG、connector、MCP/tool等のuntrusted inputがprivileged action/dataと同一decision loopへ入ることを前提に、least privilege、deterministic policy/approval、sandbox/egress/secret isolation、monitoring、kill/rollback、adaptive held-out evaluation、benign utility、UNKNOWN境界を維持する。
完全防止、既知benchmark ASRからtenant/product保証への外挿、単一filter/system prompt/fine-tuning/detectorによるsecurity-boundary成立は主張しない。
Evidence and provenance
NIST AI 100-2e2025
- class: official taxonomy / normative anchor - title: Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - locator: https://doi.org/10.6028/NIST.AI.100-2e2025 - edition: 2025 - use: AML taxonomy、prompt injection / red-team threat-model context。 - boundary: publication時に後継版有無を再確認する。
NIST AI 600-1
- class: official risk-management profile / normative anchor - title: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile - locator: https://doi.org/10.6028/NIST.AI.600-1 - use: red teamingをTEVV/risk-managementへ接続するcontext。
NIST CAISI AgentDojo evaluation
- class: government evaluation evidence - title: Technical Blog: Strengthening AI Agent Hijacking Evaluations - locator: https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations - use: known attack setの低ASRをadaptive/held-out attack耐性へ外挿できない反証。 - boundary: evaluation evidenceであり、universal product guaranteeではない。
MITRE ATLAS
- class: living threat knowledge base - locator: https://atlas.mitre.org/ - edition: living catalog; as-of 2026-09-11 - use: context/tool/tool-data/tool-invocationを含むagentic attack surfaceの分類。 - boundary: technique掲載は対象SUTでの成功証明ではない。publication時にedition/as-ofを再確認する。
OWASP GenAI Security Project
- class: community/living risk catalog - title: LLM01:2025 Prompt Injection - locator: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ - edition: 2025; as-of 2026-09-11 - use: direct/indirect injection、least privilege、human approval、external-content segregation、adversarial testingのcontext。 - boundary: normative standardではなくrisk catalog。完全防止を示さない。
OpenAI guidance
- class: provider-authored guidance - locator: https://openai.com/index/prompt-injections/ - volatility: PRODUCT_VOLATILE - use: sandboxing、confirmation、scoped access、explicit task scope、red teaming等の多層防御例。 - boundary: provider guidanceは特定tenantの実効防御を証明しない。
Anthropic guidance
- class: provider-authored guidance - title: How we contain Claude across products - locator: https://www.anthropic.com/engineering/how-we-contain-claude - volatility: PRODUCT_VOLATILE - use: external resourceをsupply-chain riskとprompt-injection vectorの両方として扱うcontext。 - boundary: provider guidanceは独立保証ではない。
MCP
- class: interoperability specification - baseline: 2026-07-28 - locator: https://modelcontextprotocol.io/specification/ - boundary: security claimsはpublication時にcurrent normative textへ再照合する。MCP接続の存在はtool安全性を証明しない。
AgentDojo OSS
- class: author-maintained OSS evaluation framework - repository: https://github.com/ethz-spylab/agentdojo-core - commit: UNKNOWN - boundary: executable harnessへ採用する前にexact commitをpinする。commit UNKNOWNのまま再現可能実装とは扱わない。
Findings
評価の主語は「LLMを騙せるか」ではなく、敵対的入力が存在しても権限・秘密・外部side effectへどこまで到達できるかとする。
Defense-in-depthは、input/content trust labeling、instruction/data separation、scoped identity/credential、tool allowlist/schema validation、deterministic policy gate、human approval、sandbox/filesystem/network/egress containment、secret isolation、runtime monitoring/anomaly detection、kill/rollback/recovery、adversarial regression evalへ分解する。
既知attack回帰suiteとadaptive/held-out suiteを分離し、security指標と同時にbenign utility / false positiveを測定する。remote tool/resourceは承認後変更を前提に、server version、tool catalog/description、auth scope、network destination、output schema、ownerのdriftを再審査triggerにする。
Proposed structures
以下はすべて PROPOSAL-backed structures であり、既存標準の必須schemaとして扱わない。
RED_TEAM_SUT_MANIFEST
model/model ID、product mode、system-instructions hash、connected data sources、tools/connectors/MCP servers、credential principal/scope、sandbox/network policy、approval policy、logging level、version/date。
ATTACK_CASE
asset、attacker access、ingress surface、trust boundary、precondition、malicious objective、required authority、attack steps、expected control、observed outcome、blast radius、detection signal、recovery、residual UNKNOWN。
CONTROL_MAP
preventive / detective / containment / recovery controlsをattack surfaceとauthorityへ対応付ける。
RUN_RESULT
attack-case ID、benign-task success、attack success、unauthorized read/write/send/delete、secret exposure、policy block、human-approval path、detector signal、time-to-detect、time-to-stop、recovery/rollback、residual artifact、cost。
Evaluation
BENIGN_UTILITY、ASR_TARGETED、UNAUTHORIZED_EFFECT_RATE、SECRET_EXPOSURE_RATE、DETECTION_RATE、FALSE_POSITIVE_RATE、CONTAINMENT_RATE、RECOVERY_SUCCESS / MTTR、ADAPTIVE_ASRを別々に記録する。
adaptive-ASRに固定のuniversal thresholdを置かない。acceptance thresholdは業務risk class依存としUNKNOWNを推測で閉じない。公開benchmarkをproduct/tenant保証へ昇格しない。
Safe test boundary
実データ、production secret/PII、production credential、無許可external side effectを使用しない。synthetic/canary fixtureを基本とする。後続試験候補はsynthetic workspace、canary secret、bounded read/write/send tools、MCP/tool-poisoning simulation、adaptive held-out red team、recovery drillであり、production環境での攻撃payload corpus実行を本staging artifactは要求しない。
Failure envelope
Prompt Injection完全排除の根拠は確立していない。human approval、sandbox、least privilegeはいずれも単独では万能ではない。filesystem/process containmentとSaaS/API privilege containmentを分離する。provider guidanceはtenant-specific effective control availabilityを証明しない。living catalogsはedition/as-ofを固定する。
EVD-EA-014-URL-692B612F0AC2研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-EA-014-URL-692B612F0AC2
- 検証箇所
- Evidence and provenance · - locator: https://doi.org/10.6028/NIST.AI.100-2e2025
- 適用範囲
- Evidence and provenance
- 出典・来歴
- SOURCE_PACKET_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-EA-014-URL-33D25B306E1A研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-EA-014-URL-33D25B306E1A
- 検証箇所
- Evidence and provenance · - locator: https://doi.org/10.6028/NIST.AI.600-1
- 適用範囲
- Evidence and provenance
- 出典・来歴
- SOURCE_PACKET_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-EA-014-URL-5ACCE7F97D5F研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-EA-014-URL-5ACCE7F97D5F
- 検証箇所
- Evidence and provenance · - locator: https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations
- 適用範囲
- Evidence and provenance
- 出典・来歴
- SOURCE_PACKET_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-EA-014-URL-B2AC367DAF50研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-EA-014-URL-B2AC367DAF50
- 検証箇所
- Evidence and provenance · - locator: https://atlas.mitre.org/
- 適用範囲
- Evidence and provenance
- 出典・来歴
- SOURCE_PACKET_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-EA-014-URL-430C5292E08D研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-EA-014-URL-430C5292E08D
- 検証箇所
- Evidence and provenance · - locator: https://genai.owasp.org/llmrisk/llm01-prompt-injection/
- 適用範囲
- Evidence and provenance
- 出典・来歴
- SOURCE_PACKET_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-EA-014-URL-391B7B531F5F研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-EA-014-URL-391B7B531F5F
- 検証箇所
- Evidence and provenance · - locator: https://openai.com/index/prompt-injections/
- 適用範囲
- Evidence and provenance
- 出典・来歴
- SOURCE_PACKET_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-EA-014-URL-64AF1D1A2FD4研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-EA-014-URL-64AF1D1A2FD4
- 検証箇所
- Evidence and provenance · - locator: https://www.anthropic.com/engineering/how-we-contain-claude
- 適用範囲
- Evidence and provenance
- 出典・来歴
- SOURCE_PACKET_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-EA-014-URL-6791CC4A561E研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-EA-014-URL-6791CC4A561E
- 検証箇所
- Evidence and provenance · - locator: https://modelcontextprotocol.io/specification/
- 適用範囲
- Evidence and provenance
- 出典・来歴
- SOURCE_PACKET_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-EA-014-URL-04A101D0B399研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-EA-014-URL-04A101D0B399
- 検証箇所
- Evidence and provenance · - repository: https://github.com/ethz-spylab/agentdojo-core
- 適用範囲
- Evidence and provenance
- 出典・来歴
- SOURCE_PACKET_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EA-014-R11-RESEARCH研究資料研究資料根拠の出所: AUDITED_CANONICAL_RESEARCH_PACKETEA-014 監査済みresearch / canonical revision binding
- 裏付ける内容
- 評価の主語は「LLMを騙せるか」ではなく、敵対的入力が存在しても権限・秘密・外部side effectへどこまで到達できるかとする。
- 確認日
- —
- 出典・実験ID
- COMM-014-EA0014
- 検証箇所
- COMM-014-EA0014 · EA-014-R5-LEGACY-MIGRATION-20261008-R1 · content/staging/EA-014.md
- 適用範囲
- 監査済みEA本文・canonical revision・既存Source Graph relationの範囲。欠損currentnessは推測で閉じない。
- 出典・来歴
- AUDIT_PASS_CANONICAL_BINDING
- 限界
- canonical監査・revision bindingの存在を示す。外部ソースcurrentnessが本文またはcontrol-planeで確定していない場合は、currentnessをUNKNOWNのまま保持する。
EA-014-R11-WEB-READBACK実装資料実装資料根拠の出所: IMPLEMENTATION_READBACKEA-014 Web body identity / canonical readback
- 裏付ける内容
- canonical staging bodyのSHA-256一致とR9 canonical ledger readbackをProduction projectionの入力として検証する。
- 確認日
- —
- 出典・実験ID
- WEBBODY-EA0014-R8-567893FA
- 検証箇所
- WEBBODY-EA0014-R8-567893FA · content/staging/EA-014.md · EA-014-R5-LEGACY-MIGRATION-20261008-R1
- 適用範囲
- R9/R10 canonical readback後のProduction生成時body identity。
- 出典・来歴
- CANONICAL_READBACK_BODY_HASH_MATCH
- 限界
- body identity/readbackは本文claim自体の真偽や外部ソースの最新性を追加保証しない。
- 出典ID
- COMM-014-EA0014, SRC-EA-014-URL-692B612F0AC2, SRC-EA-014-URL-33D25B306E1A, SRC-EA-014-URL-5ACCE7F97D5F, SRC-EA-014-URL-B2AC367DAF50, SRC-EA-014-URL-430C5292E08D, SRC-EA-014-URL-391B7B531F5F, SRC-EA-014-URL-64AF1D1A2FD4, SRC-EA-014-URL-6791CC4A561E, SRC-EA-014-URL-04A101D0B399, WEBBODY-EA0014-R8-567893FA
- 追跡中のUNKNOWN ID
- EA-014-UNKNOWN-CURRENTNESS
- 再確認のきっかけ
- canonical revision/publication state change · body artifact hash change · source currentness change · new contradiction or implementation readback
機械検査: 通過 — Automated validation does not guarantee accuracy or authorize execution.
同じ記事IDの機械可読データです。