# Automated AI Red Team CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-106-automated-ai-red-team CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-106-URL-ABA597EA427E, EVD-EA-106-URL-DE044838CF94, EVD-EA-106-URL-54DBC1541342, EA-106-R11-RESEARCH, EA-106-R11-WEB-READBACK UNKNOWN_IDS: EA-106-UNKNOWN-01, EA-106-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「PyRITとgarakは生成AI/LLMのリスクprobeを自動化するOSS部品である。probeが通過したことは安全性の証明ではなく、対象・version・fixture・設定に依存する。」 ## Current judgment PyRITはMicrosoft-maintained open-source risk identification framework、garakはNVIDIA-maintained LLM vulnerability scannerとして、攻撃/弱点probeの自動化部品を提供する。NIST AI RMFは評価をrisk management lifecycleへ置く。よって自動red teamはfixture→probe→判定→triage→修正→再試験の回帰工程へ置けるが、tool出力は脆弱性の発見信号であり、全攻撃面の網羅証明ではない。 ## Scope Enterprise AI Core / security / benchmark / implementation / safe evaluation ## Confirmed - PyRITはMicrosoft-maintained open-source risk identification framework、garakはNVIDIA-maintained LLM vulnerability scannerとして、攻撃/弱点probeの自動化部品を提供する。NIST AI RMFは評価をrisk management lifecycleへ置く。よって自動red teamはfixture→probe→判定→triage→修正→再試験の回帰工程へ置けるが、tool出力は脆弱性の発見信号であり、全攻撃面の網羅証明ではない。 ## UNKNOWN - EA-106-UNKNOWN-01: agent/tool連鎖へのcoverage、多言語/multimodal、rate-limit下の再現性、judge reliability、provider policyとの衝突、OSS version差。 - EA-106-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-106-URL-ABA597EA427E (RESEARCH): 1) source class: author-maintained OSS implementation; exact title: Python Risk Identification Tool for generative AI (PyRIT); author/org: Microsoft; canonical URL: — https://github.com/microsoft/PyRIT - EVD-EA-106-URL-DE044838CF94 (RESEARCH): 2) source class: author-maintained OSS implementation; exact title: garak, LLM vulnerability scanner; author/org: NVIDIA; canonical URL: — https://github.com/NVIDIA/garak - EVD-EA-106-URL-54DBC1541342 (RESEARCH): 3) source class: official framework; exact title: Artificial Intelligence Risk Management Framework; author/org: NIST; canonical URL: — https://www.nist.gov/itl/ai-risk-management-framework - EA-106-R11-RESEARCH (RESEARCH): EA-106 監査済みresearch / canonical revision binding - EA-106-R11-WEB-READBACK (IMPL): EA-106 Web body identity / canonical readback ## Failure / limits OSSのREADMEは実装目的・対象を示すが、全モデル/全versionの検出率、false negative、実tenantの安全性を保証しない。攻撃payloadを本番toolへ向ける安全性も別問題。 ## Failure / limits 実targetへの攻撃を開始せず、safe TEST_PROFILEとmock side effectが先に揃わない限り停止。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## Practice 対象モデル/agent、tool permissions、network isolation、data classification、fixture provenance、rate/stop limit、human review、result retention、version pin。 ## Practice 実装状態: 無認証・非破壊のlocal/mock targetへ限定したred-team pipelineを設計。認証済みtenant、外部書込み、secret投入は未実施。 ## Practice Evaluation: mock toolとsynthetic secretを用いたprompt injection/data exfiltration/unsafe tool request fixture、再現可能なseed、pass/fail oracle、回帰差分を設計。実運用攻撃はしない。 ## Practice SECURITY: sandbox・egress deny・kill switch。PRIVACY: synthetic data only。AUDIT: probe/version/payload hash/result/triage。COST: probe数・model calls・review時間を計測対象とする。 ## Practice 本文はred-team tool名だけでなく、target、攻撃面、fixture、判定、再現性、停止条件、未検出リスクを記載する。 ## Practice PyRIT/garak release behavior is version-dependent PRODUCT_VOLATILE; automated red-team tooling remains regression evidence, not safety proof. ## WHY_THIS_MATTERS_TO_UPDATE prompt injection、tool abuse、情報漏洩等は単発の手作業では回帰検出しにくい。自動fixtureを継続実行する場合も、攻撃ツールの出力を実被害や安全保証へ外挿してはならない。 ## SCOPE_ROUTING Enterprise AI Core / security / benchmark / implementation / safe evaluation ## CLAIM_OR_RESEARCH_QUESTION PyRITとgarakは自動red-team/evaluationのどの範囲を実装し、継続運用で何が未確立か。 ## EVIDENCE TABLE 1) source class: author-maintained OSS implementation; exact title: Python Risk Identification Tool for generative AI (PyRIT); author/org: Microsoft; canonical URL: https://github.com/microsoft/PyRIT; publication/update/access: current repository accessed 2026-09-13; version/release: repository current, migrated from Azure/PyRIT; supporting locator: README lines 196-214（open source framework、generative AI risk identification、red-team topics）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit。 2) source class: author-maintained OSS implementation; exact title: garak, LLM vulnerability scanner; author/org: NVIDIA; canonical URL: https://github.com/NVIDIA/garak; publication/update/access: current repository accessed 2026-09-13; version/release: repository current; supporting locator: README lines 190-194（hallucination, data leakage, prompt injection, misinformation, toxicity, jailbreak等のprobe対象）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit。 3) source class: official framework; exact title: Artificial Intelligence Risk Management Framework; author/org: NIST; canonical URL: https://www.nist.gov/itl/ai-risk-management-framework; publication/update/access: 2023-01-26, page accessed 2026-09-13; version/release: AI RMF 1.0 / AI 600-1 GenAI Profile; supporting locator: lines 132-138（design/development/use/evaluationとGenAI固有risk management）; evidence label: VERIFIED_SPEC; relation: governance context。 ## FINDINGS PyRITはMicrosoft-maintained open-source risk identification framework、garakはNVIDIA-maintained LLM vulnerability scannerとして、攻撃/弱点probeの自動化部品を提供する。NIST AI RMFは評価をrisk management lifecycleへ置く。よって自動red teamはfixture→probe→判定→triage→修正→再試験の回帰工程へ置けるが、tool出力は脆弱性の発見信号であり、全攻撃面の網羅証明ではない。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE OSSのREADMEは実装目的・対象を示すが、全モデル/全versionの検出率、false negative、実tenantの安全性を保証しない。攻撃payloadを本番toolへ向ける安全性も別問題。 ## AVAILABILITY_GATES 対象モデル/agent、tool permissions、network isolation、data classification、fixture provenance、rate/stop limit、human review、result retention、version pin。 ## IMPLEMENTATION_STATE 実装状態: 無認証・非破壊のlocal/mock targetへ限定したred-team pipelineを設計。認証済みtenant、外部書込み、secret投入は未実施。 ## BENCHMARK_OR_EVAL Evaluation: mock toolとsynthetic secretを用いたprompt injection/data exfiltration/unsafe tool request fixture、再現可能なseed、pass/fail oracle、回帰差分を設計。実運用攻撃はしない。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY SECURITY: sandbox・egress deny・kill switch。PRIVACY: synthetic data only。AUDIT: probe/version/payload hash/result/triage。COST: probe数・model calls・review時間を計測対象とする。 ## SAFE_WORDING_FOR_FUTURE_BOOK 「PyRITとgarakは生成AI/LLMのリスクprobeを自動化するOSS部品である。probeが通過したことは安全性の証明ではなく、対象・version・fixture・設定に依存する。」 ## UPDATE_WORK_HANDOFF 本文はred-team tool名だけでなく、target、攻撃面、fixture、判定、再現性、停止条件、未検出リスクを記載する。 ## OPEN_UNKNOWN agent/tool連鎖へのcoverage、多言語/multimodal、rate-limit下の再現性、judge reliability、provider policyとの衝突、OSS version差。 ## STOP_CONDITION 実targetへの攻撃を開始せず、safe TEST_PROFILEとmock side effectが先に揃わない限り停止。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## AUDITED_CURRENTNESS_BOUNDARY PyRIT/garak release behavior is version-dependent PRODUCT_VOLATILE; automated red-team tooling remains regression evidence, not safety proof. NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.