Skip to content

Evidence for AI operations

Enterprise AI Operations Dictionary

No English page yet. Showing the Japanese source.

Back to the entrance

Automated AI Red Team

用語・参照用語・参照公式仕様のみ公式仕様のみ鮮度未確認鮮度を確定できない

記事状態: 公開 · 最終確認: 未確認

要点

「PyRITとgarakは生成AI/LLMのリスクprobeを自動化するOSS部品である。probeが通過したことは安全性の証明ではなく、対象・version・fixture・設定に依存する。」

現在の判断

PyRITはMicrosoft-maintained open-source risk identification framework、garakはNVIDIA-maintained LLM vulnerability scannerとして、攻撃/弱点probeの自動化部品を提供する。NIST AI RMFは評価をrisk management lifecycleへ置く。よって自動red teamはfixture→probe→判定→triage→修正→再試験の回帰工程へ置けるが、tool出力は脆弱性の発見信号であり、全攻撃面の網羅証明ではない。

どこまで当てはまるか

Enterprise AI Core / security / benchmark / implementation / safe evaluation

詳しく理解する

なぜ重要か

prompt injection、tool abuse、情報漏洩等は単発の手作業では回帰検出しにくい。自動fixtureを継続実行する場合も、攻撃ツールの出力を実被害や安全保証へ外挿してはならない。

対象範囲と前提

Enterprise AI Core / security / benchmark / implementation / safe evaluation

検討ポイント

PyRITとgarakは自動red-team/evaluationのどの範囲を実装し、継続運用で何が未確立か。

EVIDENCE TABLE

  • source class: author-maintained OSS implementation; exact title: Python Risk Identification Tool for generative AI (PyRIT); author/org: Microsoft; canonical URL: https://github.com/microsoft/PyRIT publication/update/access: current repository accessed 2026-09-13; version/release: repository current, migrated from Azure/PyRIT; supporting locator: README lines 196-214（open source framework、generative AI risk identification、red-team topics）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit。
  • source class: author-maintained OSS implementation; exact title: garak, LLM vulnerability scanner; author/org: NVIDIA; canonical URL: https://github.com/NVIDIA/garak publication/update/access: current repository accessed 2026-09-13; version/release: repository current; supporting locator: README lines 190-194（hallucination, data leakage, prompt injection, misinformation, toxicity, jailbreak等のprobe対象）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit。
  • source class: official framework; exact title: Artificial Intelligence Risk Management Framework; author/org: NIST; canonical URL: https://www.nist.gov/itl/ai-risk-management-framework publication/update/access: 2023-01-26, page accessed 2026-09-13; version/release: AI RMF 1.0 / AI 600-1 GenAI Profile; supporting locator: lines 132-138（design/development/use/evaluationとGenAI固有risk management）; evidence label: VERIFIED_SPEC; relation: governance context。

利用できる条件

対象モデル/agent、tool permissions、network isolation、data classification、fixture provenance、rate/stop limit、human review、result retention、version pin。

実装・運用

実装状態: 無認証・非破壊のlocal/mock targetへ限定したred-team pipelineを設計。認証済みtenant、外部書込み、secret投入は未実施。

確認・評価方法

Evaluation: mock toolとsynthetic secretを用いたprompt injection/data exfiltration/unsafe tool request fixture、再現可能なseed、pass/fail oracle、回帰差分を設計。実運用攻撃はしない。

セキュリティとプライバシー

SECURITY: sandbox・egress deny・kill switch。PRIVACY: synthetic data only。AUDIT: probe/version/payload hash/result/triage。COST: probe数・model calls・review時間を計測対象とする。

AUDITED CURRENTNESS BOUNDARY

PyRIT/garak release behavior is version-dependent PRODUCT_VOLATILE; automated red-team tooling remains regression evidence, not safety proof.

確認できていること

  • PyRITはMicrosoft-maintained open-source risk identification framework、garakはNVIDIA-maintained LLM vulnerability scannerとして、攻撃/弱点probeの自動化部品を提供する。NIST AI RMFは評価をrisk management lifecycleへ置く。よって自動red teamはfixture→probe→判定→triage→修正→再試験の回帰工程へ置けるが、tool出力は脆弱性の発見信号であり、全攻撃面の網羅証明ではない。

よくある失敗・反証

  • OSSのREADMEは実装目的・対象を示すが、全モデル/全versionの検出率、false negative、実tenantの安全性を保証しない。攻撃payloadを本番toolへ向ける安全性も別問題。

  • 実targetへの攻撃を開始せず、safe TEST_PROFILEとmock side effectが先に揃わない限り停止。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED

    ---

実務での使い方

  • 対象モデル/agent、tool permissions、network isolation、data classification、fixture provenance、rate/stop limit、human review、result retention、version pin。

  • 実装状態: 無認証・非破壊のlocal/mock targetへ限定したred-team pipelineを設計。認証済みtenant、外部書込み、secret投入は未実施。

  • Evaluation: mock toolとsynthetic secretを用いたprompt injection/data exfiltration/unsafe tool request fixture、再現可能なseed、pass/fail oracle、回帰差分を設計。実運用攻撃はしない。

  • SECURITY: sandbox・egress deny・kill switch。PRIVACY: synthetic data only。AUDIT: probe/version/payload hash/result/triage。COST: probe数・model calls・review時間を計測対象とする。

  • 本文はred-team tool名だけでなく、target、攻撃面、fixture、判定、再現性、停止条件、未検出リスクを記載する。

  • PyRIT/garak release behavior is version-dependent PRODUCT_VOLATILE; automated red-team tooling remains regression evidence, not safety proof.

まだ確認できていないこと

  • EA-106-UNKNOWN-01

    agent/tool連鎖へのcoverage、多言語/multimodal、rate-limit下の再現性、judge reliability、provider policyとの衝突、OSS version差。

  • EA-106-UNKNOWN-CURRENTNESS

    外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。

根拠資料

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
EA-106
最終確認日
—
提供元・モデル・プラン・利用環境
Microsoft
対象地域
—
元資料の全文と収録照合記録
WHY_THIS_MATTERS_TO_UPDATE

prompt injection、tool abuse、情報漏洩等は単発の手作業では回帰検出しにくい。自動fixtureを継続実行する場合も、攻撃ツールの出力を実被害や安全保証へ外挿してはならない。

SCOPE_ROUTING

Enterprise AI Core / security / benchmark / implementation / safe evaluation

CLAIM_OR_RESEARCH_QUESTION

PyRITとgarakは自動red-team/evaluationのどの範囲を実装し、継続運用で何が未確立か。

EVIDENCE TABLE
  • source class: author-maintained OSS implementation; exact title: Python Risk Identification Tool for generative AI (PyRIT); author/org: Microsoft; canonical URL: https://github.com/microsoft/PyRIT publication/update/access: current repository accessed 2026-09-13; version/release: repository current, migrated from Azure/PyRIT; supporting locator: README lines 196-214（open source framework、generative AI risk identification、red-team topics）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit。
  • source class: author-maintained OSS implementation; exact title: garak, LLM vulnerability scanner; author/org: NVIDIA; canonical URL: https://github.com/NVIDIA/garak publication/update/access: current repository accessed 2026-09-13; version/release: repository current; supporting locator: README lines 190-194（hallucination, data leakage, prompt injection, misinformation, toxicity, jailbreak等のprobe対象）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit。
  • source class: official framework; exact title: Artificial Intelligence Risk Management Framework; author/org: NIST; canonical URL: https://www.nist.gov/itl/ai-risk-management-framework publication/update/access: 2023-01-26, page accessed 2026-09-13; version/release: AI RMF 1.0 / AI 600-1 GenAI Profile; supporting locator: lines 132-138（design/development/use/evaluationとGenAI固有risk management）; evidence label: VERIFIED_SPEC; relation: governance context。
FINDINGS

PyRITはMicrosoft-maintained open-source risk identification framework、garakはNVIDIA-maintained LLM vulnerability scannerとして、攻撃/弱点probeの自動化部品を提供する。NIST AI RMFは評価をrisk management lifecycleへ置く。よって自動red teamはfixture→probe→判定→triage→修正→再試験の回帰工程へ置けるが、tool出力は脆弱性の発見信号であり、全攻撃面の網羅証明ではない。

LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE

OSSのREADMEは実装目的・対象を示すが、全モデル/全versionの検出率、false negative、実tenantの安全性を保証しない。攻撃payloadを本番toolへ向ける安全性も別問題。

AVAILABILITY_GATES

対象モデル/agent、tool permissions、network isolation、data classification、fixture provenance、rate/stop limit、human review、result retention、version pin。

IMPLEMENTATION_STATE

実装状態: 無認証・非破壊のlocal/mock targetへ限定したred-team pipelineを設計。認証済みtenant、外部書込み、secret投入は未実施。

BENCHMARK_OR_EVAL

Evaluation: mock toolとsynthetic secretを用いたprompt injection/data exfiltration/unsafe tool request fixture、再現可能なseed、pass/fail oracle、回帰差分を設計。実運用攻撃はしない。

SECURITY / PRIVACY / AUDIT / COST / OPERABILITY

SECURITY: sandbox・egress deny・kill switch。PRIVACY: synthetic data only。AUDIT: probe/version/payload hash/result/triage。COST: probe数・model calls・review時間を計測対象とする。

SAFE_WORDING_FOR_FUTURE_BOOK

「PyRITとgarakは生成AI/LLMのリスクprobeを自動化するOSS部品である。probeが通過したことは安全性の証明ではなく、対象・version・fixture・設定に依存する。」

UPDATE_WORK_HANDOFF

本文はred-team tool名だけでなく、target、攻撃面、fixture、判定、再現性、停止条件、未検出リスクを記載する。

OPEN_UNKNOWN

agent/tool連鎖へのcoverage、多言語/multimodal、rate-limit下の再現性、judge reliability、provider policyとの衝突、OSS version差。

STOP_CONDITION

実targetへの攻撃を開始せず、safe TEST_PROFILEとmock side effectが先に揃わない限り停止。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED

---

AUDITED_CURRENTNESS_BOUNDARY

PyRIT/garak release behavior is version-dependent PRODUCT_VOLATILE; automated red-team tooling remains regression evidence, not safety proof.

  • EVD-EA-106-URL-ABA597EA427E研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    1) source class: author-maintained OSS implementation; exact title: Python Risk Identification Tool for generative AI (PyRIT); author/org: Microsoft; canonical URL:

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-106-URL-ABA597EA427E
    検証箇所
    EVIDENCE TABLE · 1) source class: author-maintained OSS implementation; exact title: Python Risk Identification Tool for generative AI (PyRIT); author/org: Microsoft; canonical URL: https://github.com/microsoft/PyRIT
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-106-URL-DE044838CF94研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    2) source class: author-maintained OSS implementation; exact title: garak, LLM vulnerability scanner; author/org: NVIDIA; canonical URL:

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-106-URL-DE044838CF94
    検証箇所
    EVIDENCE TABLE · 2) source class: author-maintained OSS implementation; exact title: garak, LLM vulnerability scanner; author/org: NVIDIA; canonical URL: https://github.com/NVIDIA/garak
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-106-URL-54DBC1541342研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    3) source class: official framework; exact title: Artificial Intelligence Risk Management Framework; author/org: NIST; canonical URL:

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-106-URL-54DBC1541342
    検証箇所
    EVIDENCE TABLE · 3) source class: official framework; exact title: Artificial Intelligence Risk Management Framework; author/org: NIST; canonical URL: https://www.nist.gov/itl/ai-risk-management-framework
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EA-106-R11-RESEARCH研究資料研究資料根拠の出所: AUDITED_CANONICAL_RESEARCH_PACKET

    EA-106 監査済みresearch / canonical revision binding

    裏付ける内容
    PyRITはMicrosoft-maintained open-source risk identification framework、garakはNVIDIA-maintained LLM vulnerability scannerとして、攻撃/弱点probeの自動化部品を提供する。NIST AI RMFは評価をrisk management lifecycleへ置く。よって自動red teamはfixture→probe→判定→triage→修正→再試験の回帰工程へ置けるが、tool出力は脆弱性の発見信号であり、全攻撃面の網羅証明ではない。
    確認日
    —
    出典・実験ID
    COMM-039-EA0106
    検証箇所
    COMM-039-EA0106 · EA-106-R5-LEGACY-MIGRATION-20261008-R1 · content/staging/EA-106.md
    適用範囲
    監査済みEA本文・canonical revision・既存Source Graph relationの範囲。欠損currentnessは推測で閉じない。
    出典・来歴
    AUDIT_PASS_CANONICAL_BINDING
    限界
    canonical監査・revision bindingの存在を示す。外部ソースcurrentnessが本文またはcontrol-planeで確定していない場合は、currentnessをUNKNOWNのまま保持する。
  • EA-106-R11-WEB-READBACK実装資料実装資料根拠の出所: IMPLEMENTATION_READBACK

    EA-106 Web body identity / canonical readback

    裏付ける内容
    canonical staging bodyのSHA-256一致とR9 canonical ledger readbackをProduction projectionの入力として検証する。
    確認日
    —
    出典・実験ID
    WEBBODY-EA0106-R8-9BC307E9
    検証箇所
    WEBBODY-EA0106-R8-9BC307E9 · content/staging/EA-106.md · EA-106-R5-LEGACY-MIGRATION-20261008-R1
    適用範囲
    R9/R10 canonical readback後のProduction生成時body identity。
    出典・来歴
    CANONICAL_READBACK_BODY_HASH_MATCH
    限界
    body identity/readbackは本文claim自体の真偽や外部ソースの最新性を追加保証しない。
出典ID
COMM-039-EA0106, SRC-EA-106-URL-ABA597EA427E, SRC-EA-106-URL-DE044838CF94, SRC-EA-106-URL-54DBC1541342, WEBBODY-EA0106-R8-9BC307E9
追跡中のUNKNOWN ID
EA-106-UNKNOWN-01, EA-106-UNKNOWN-CURRENTNESS
再確認のきっかけ
canonical revision/publication state change · body artifact hash change · source currentness change · new contradiction or implementation readback

機械検査: 通過 — Automated validation does not guarantee accuracy or authorize execution.

    同じ記事IDの機械可読データです。