# AIレッドチーム／耐障害運用編

CURRENT_STATUS: UNKNOWN
OBSERVATION: SPEC_ONLY
FRESHNESS: UNKNOWN
PAGE_TYPE: failure_note
CANONICAL_URL: /tools/ea-014-ai
CLAIM_IDS: none
EVIDENCE_IDS: EVD-EA-014-URL-692B612F0AC2, EVD-EA-014-URL-33D25B306E1A, EVD-EA-014-URL-5ACCE7F97D5F, EVD-EA-014-URL-B2AC367DAF50, EVD-EA-014-URL-430C5292E08D, EVD-EA-014-URL-391B7B531F5F, EVD-EA-014-URL-64AF1D1A2FD4, EVD-EA-014-URL-6791CC4A561E, EVD-EA-014-URL-04A101D0B399, EA-014-R11-RESEARCH, EA-014-R11-WEB-READBACK
UNKNOWN_IDS: EA-014-UNKNOWN-CURRENTNESS
OPS_IDS: none

## Summary
Prompt injection / agent hijackingへの耐性はmodel-only refusalではなく、system containmentとrecoveryの問題として扱う。外部文書、Web、メール、RAG、connector、MCP/tool等のuntrusted inputがprivileged action/dataと同一decision loopへ入ることを前提に、least privilege、deterministic policy/approval、sandbox/egress/secret isolation、monitoring、kill/rollback、adaptive held-out evaluation、benign utility、UNKNOWN境界を維持する。

## Current judgment
評価の主語は「LLMを騙せるか」ではなく、敵対的入力が存在しても権限・秘密・外部side effectへどこまで到達できるかとする。

## Scope
AIレッドチーム／耐障害運用編

## Confirmed
- 評価の主語は「LLMを騙せるか」ではなく、敵対的入力が存在しても権限・秘密・外部side effectへどこまで到達できるかとする。

Defense-in-depthは、input/content trust labeling、instruction/data separation、scoped identity/credential、tool allowlist/schema validation、deterministic policy gate、human approval、sandbox/filesystem/network/egress containment、secret isolation、runtime monitoring/anomaly detection、kill/rollback/recovery、adversarial regression evalへ分解する。

既知attack回帰suiteとadaptive/held-out suiteを分離し、security指標と同時にbenign utility / false positiveを測定する。remote tool/resourceは承認後変更を前提に、server version、tool catalog/description、auth scope、network destination、output schema、ownerのdriftを再審査triggerにする。

## UNKNOWN
- EA-014-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。

## Evidence
- EVD-EA-014-URL-692B612F0AC2 (RESEARCH): locator: — https://doi.org/10.6028/NIST.AI.100-2e2025
- EVD-EA-014-URL-33D25B306E1A (RESEARCH): locator: — https://doi.org/10.6028/NIST.AI.600-1
- EVD-EA-014-URL-5ACCE7F97D5F (RESEARCH): locator: — https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations
- EVD-EA-014-URL-B2AC367DAF50 (RESEARCH): locator: — https://atlas.mitre.org/
- EVD-EA-014-URL-430C5292E08D (RESEARCH): locator: — https://genai.owasp.org/llmrisk/llm01-prompt-injection/
- EVD-EA-014-URL-391B7B531F5F (RESEARCH): locator: — https://openai.com/index/prompt-injections/
- EVD-EA-014-URL-64AF1D1A2FD4 (RESEARCH): locator: — https://www.anthropic.com/engineering/how-we-contain-claude
- EVD-EA-014-URL-6791CC4A561E (RESEARCH): locator: — https://modelcontextprotocol.io/specification/
- EVD-EA-014-URL-04A101D0B399 (RESEARCH): repository: — https://github.com/ethz-spylab/agentdojo-core
- EA-014-R11-RESEARCH (RESEARCH): EA-014 監査済みresearch / canonical revision binding
- EA-014-R11-WEB-READBACK (IMPL): EA-014 Web body identity / canonical readback

## Failure / limits
Prompt Injection完全排除の根拠は確立していない。human approval、sandbox、least privilegeはいずれも単独では万能ではない。filesystem/process containmentとSaaS/API privilege containmentを分離する。provider guidanceはtenant-specific effective control availabilityを証明しない。living catalogsはedition/as-ofを固定する。
## Public claim
Prompt injection / agent hijackingへの耐性はmodel-only refusalではなく、system containmentとrecoveryの問題として扱う。外部文書、Web、メール、RAG、connector、MCP/tool等のuntrusted inputがprivileged action/dataと同一decision loopへ入ることを前提に、least privilege、deterministic policy/approval、sandbox/egress/secret isolation、monitoring、kill/rollback、adaptive held-out evaluation、benign utility、UNKNOWN境界を維持する。

完全防止、既知benchmark ASRからtenant/product保証への外挿、単一filter/system prompt/fine-tuning/detectorによるsecurity-boundary成立は主張しない。

## Evidence and provenance
### NIST AI 100-2e2025
- class: official taxonomy / normative anchor
- title: Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
- locator: https://doi.org/10.6028/NIST.AI.100-2e2025
- edition: 2025
- use: AML taxonomy、prompt injection / red-team threat-model context。
- boundary: publication時に後継版有無を再確認する。

### NIST AI 600-1
- class: official risk-management profile / normative anchor
- title: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile
- locator: https://doi.org/10.6028/NIST.AI.600-1
- use: red teamingをTEVV/risk-managementへ接続するcontext。

### NIST CAISI AgentDojo evaluation
- class: government evaluation evidence
- title: Technical Blog: Strengthening AI Agent Hijacking Evaluations
- locator: https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations
- use: known attack setの低ASRをadaptive/held-out attack耐性へ外挿できない反証。
- boundary: evaluation evidenceであり、universal product guaranteeではない。

### MITRE ATLAS
- class: living threat knowledge base
- locator: https://atlas.mitre.org/
- edition: living catalog; as-of 2026-09-11
- use: context/tool/tool-data/tool-invocationを含むagentic attack surfaceの分類。
- boundary: technique掲載は対象SUTでの成功証明ではない。publication時にedition/as-ofを再確認する。

### OWASP GenAI Security Project
- class: community/living risk catalog
- title: LLM01:2025 Prompt Injection
- locator: https://genai.owasp.org/llmrisk/llm01-prompt-injection/
- edition: 2025; as-of 2026-09-11
- use: direct/indirect injection、least privilege、human approval、external-content segregation、adversarial testingのcontext。
- boundary: normative standardではなくrisk catalog。完全防止を示さない。

### OpenAI guidance
- class: provider-authored guidance
- locator: https://openai.com/index/prompt-injections/
- volatility: PRODUCT_VOLATILE
- use: sandboxing、confirmation、scoped access、explicit task scope、red teaming等の多層防御例。
- boundary: provider guidanceは特定tenantの実効防御を証明しない。

### Anthropic guidance
- class: provider-authored guidance
- title: How we contain Claude across products
- locator: https://www.anthropic.com/engineering/how-we-contain-claude
- volatility: PRODUCT_VOLATILE
- use: external resourceをsupply-chain riskとprompt-injection vectorの両方として扱うcontext。
- boundary: provider guidanceは独立保証ではない。

### MCP
- class: interoperability specification
- baseline: 2026-07-28
- locator: https://modelcontextprotocol.io/specification/
- boundary: security claimsはpublication時にcurrent normative textへ再照合する。MCP接続の存在はtool安全性を証明しない。

### AgentDojo OSS
- class: author-maintained OSS evaluation framework
- repository: https://github.com/ethz-spylab/agentdojo-core
- commit: UNKNOWN
- boundary: executable harnessへ採用する前にexact commitをpinする。commit UNKNOWNのまま再現可能実装とは扱わない。

## Findings
評価の主語は「LLMを騙せるか」ではなく、敵対的入力が存在しても権限・秘密・外部side effectへどこまで到達できるかとする。

Defense-in-depthは、input/content trust labeling、instruction/data separation、scoped identity/credential、tool allowlist/schema validation、deterministic policy gate、human approval、sandbox/filesystem/network/egress containment、secret isolation、runtime monitoring/anomaly detection、kill/rollback/recovery、adversarial regression evalへ分解する。

既知attack回帰suiteとadaptive/held-out suiteを分離し、security指標と同時にbenign utility / false positiveを測定する。remote tool/resourceは承認後変更を前提に、server version、tool catalog/description、auth scope、network destination、output schema、ownerのdriftを再審査triggerにする。

## Proposed structures
以下はすべて PROPOSAL-backed structures であり、既存標準の必須schemaとして扱わない。

### RED_TEAM_SUT_MANIFEST
model/model ID、product mode、system-instructions hash、connected data sources、tools/connectors/MCP servers、credential principal/scope、sandbox/network policy、approval policy、logging level、version/date。

### ATTACK_CASE
asset、attacker access、ingress surface、trust boundary、precondition、malicious objective、required authority、attack steps、expected control、observed outcome、blast radius、detection signal、recovery、residual UNKNOWN。

### CONTROL_MAP
preventive / detective / containment / recovery controlsをattack surfaceとauthorityへ対応付ける。

### RUN_RESULT
attack-case ID、benign-task success、attack success、unauthorized read/write/send/delete、secret exposure、policy block、human-approval path、detector signal、time-to-detect、time-to-stop、recovery/rollback、residual artifact、cost。

## Evaluation
BENIGN_UTILITY、ASR_TARGETED、UNAUTHORIZED_EFFECT_RATE、SECRET_EXPOSURE_RATE、DETECTION_RATE、FALSE_POSITIVE_RATE、CONTAINMENT_RATE、RECOVERY_SUCCESS / MTTR、ADAPTIVE_ASRを別々に記録する。

adaptive-ASRに固定のuniversal thresholdを置かない。acceptance thresholdは業務risk class依存としUNKNOWNを推測で閉じない。公開benchmarkをproduct/tenant保証へ昇格しない。

## Safe test boundary
実データ、production secret/PII、production credential、無許可external side effectを使用しない。synthetic/canary fixtureを基本とする。後続試験候補はsynthetic workspace、canary secret、bounded read/write/send tools、MCP/tool-poisoning simulation、adaptive held-out red team、recovery drillであり、production環境での攻撃payload corpus実行を本staging artifactは要求しない。

## Failure envelope
Prompt Injection完全排除の根拠は確立していない。human approval、sandbox、least privilegeはいずれも単独では万能ではない。filesystem/process containmentとSaaS/API privilege containmentを分離する。provider guidanceはtenant-specific effective control availabilityを証明しない。living catalogsはedition/as-ofを固定する。

NEXT: /agent/start.json
STOP: This is a knowledge projection, not an execution order.