本文へスキップ

AI運用の判断と根拠を引く

Enterprise AI運用辞典

トップへ戻る

自動化されたAIレッドチーム

用語・参照用語・参照公式仕様のみ公式仕様のみ鮮度未確認鮮度を確定できない

記事状態: 公開 · 最終確認: 未確認

要点

「PyRITとgarakは生成AI/LLMのリスクprobeを自動化するOSS部品である。probeが通過したことは安全性の証明ではなく、対象・バージョン・fixture・設定に依存する。」

現在の判断

PyRITはMicrosoftが維持するオープンソースのリスク特定フレームワーク、garakはNVIDIAが維持するLLM脆弱性スキャナーとして、攻撃や弱点の調査（probe）を自動化するコンポーネントを提供します。NIST AI RMFは評価をリスクマネジメントライフサイクルの中に位置付けています。したがって、自動レッドチームは「固定環境（fixture）→調査（probe）→判定→トリアージ→修正→再試験」という回帰工程に配置できますが、ツールの出力はあくまで脆弱性の発見信号であり、すべての攻撃面を網羅している証明にはなりません。

どこまで当てはまるか

エンタープライズAIコア / セキュリティ / ベンチマーク / 実装 / 安全な評価

詳しく理解する

なぜ重要か

プロンプトインジェクション、ツールの悪用、情報漏洩などは、単発の手作業では回帰検出が困難です。自動化されたフィクスチャを継続的に実行する場合でも、攻撃ツールの出力を実際の被害や安全保証へと外挿してはなりません。

対象範囲と前提

エンタープライズAIコア / セキュリティ / ベンチマーク / 実装 / 安全な評価

検討ポイント

PyRITとgarakは自動red-team/評価のどの範囲を実装し、継続運用で何が未確立か。

根拠資料の対応表

  • 資料の種類: author-maintained OSS 実装; 原資料の題名: Python リスク Identification ツール for generative AI (PyRIT); 著者・組織: Microsoft; 原資料の正式なURL: https://github.com/microsoft/PyRIT publication/update/access: 現在の repository 参照日 2026-09-13; バージョン/公開・提供: repository 現在の, migrated from Azure/PyRIT; 裏付ける該当箇所: README lines 196-214（open 出典 framework、generative AI リスク identification、red-team topics）; 根拠の分類: OSS_PRACTICE + PRODUCT_VOLATILE; 対応関係: 裏付け / limit。
  • 出典クラス: 開発者維持の OSS 実装; 正確なタイトル: garak, LLM 脆弱性スキャナー; 開発者/組織: NVIDIA; 正式な URL: https://github.com/NVIDIA/garak 公開/更新/アクセス: 現在のリポジトリを 2026-09-13 にアクセス; バージョン/リリース: リポジトリの最新版; 補足参照箇所: README 190-194行目（ハルシネーション、データ漏洩、プロンプトインジェクション、誤情報、有害性、ジェイルブレイク等の調査対象）; 証拠ラベル: OSS_PRACTICE + 製品の変動あり; 関係性: 根拠 / 制限
  • 出典クラス: 公式フレームワーク; 正式名称: Artificial Intelligence リスク Management Framework; 著者/組織: NIST; 正式URL: https://www.nist.gov/itl/ai-risk-management-framework 出版/更新/アクセス: 2023-01-26, ページ閲覧日 2026-09-13; バージョン/リリース: AI RMF 1.0 / AI 600-1 GenAI Profile; 参照箇所: 132-138行目（設計/開発/利用/評価、および生成AI固有のリスク管理）; 根拠ラベル: VERIFIED_SPEC; 関係性: 運用管理・統制のコンテキスト。

利用できる条件

対象モデル/agent、ツール permissions、network isolation、data classification、fixture 出典・来歴、rate/stop limit、human review、result 保持期間・保持方針、バージョン pin。

実装・運用

実装状態: 無認証・非破壊のローカル環境の/mock 対象へ限定したred-team 処理工程を設計。認証済み組織の利用環境、外部書込み、秘密情報投入は未実施。

確認・評価方法

評価: mock ツールとsynthetic 秘密情報を用いたprompt injection/data exfiltration/unsafe ツール request fixture、再現可能なseed、pass/fail oracle、回帰差分を設計。実運用攻撃はしない。

セキュリティとプライバシー

SECURITY: sandbox・egress deny・kill switch。PRIVACY: synthetic data only。監査: probe/バージョン/payload hash/result/triage。COST: probe数・モデル calls・review時間を計測対象とする。

現行性の確認範囲と限界

PyRIT/garak 公開・提供 behavior is version-dependent PRODUCT_VOLATILE; automated red-team tooling remains regression 根拠, not 安全性 proof.

確認できていること

  • PyRITはMicrosoftが維持するオープンソースのリスク特定フレームワーク、garakはNVIDIAが維持するLLM脆弱性スキャナーとして、攻撃や弱点の調査（probe）を自動化するコンポーネントを提供します。NIST AI RMFは評価をリスクマネジメントライフサイクルの中に位置付けています。したがって、自動レッドチームは「固定環境（fixture）→調査（probe）→判定→トリアージ→修正→再試験」という回帰工程に配置できますが、ツールの出力はあくまで脆弱性の発見信号であり、すべての攻撃面を網羅している証明にはなりません。

よくある失敗・反証

  • OSSのREADMEは実装目的・対象を示すが、全モデル/全バージョンの検出率、false negative、実組織の利用環境の安全性を保証しない。攻撃payloadを本番ツールへ向ける安全性も別問題。

  • 実対象への攻撃を開始せず、safe TEST_PROFILEとmock 外部への変更・送信が先に揃わない限り停止。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED

    ---

実務での使い方

  • 対象モデル/agent、ツール permissions、network isolation、data classification、fixture 出典・来歴、rate/stop limit、human review、result 保持期間・保持方針、バージョン pin。

  • 実装状態: 無認証・非破壊のローカル環境の/mock 対象へ限定したred-team 処理工程を設計。認証済み組織の利用環境、外部書込み、秘密情報投入は未実施。

  • 評価: mock ツールとsynthetic 秘密情報を用いたprompt injection/data exfiltration/unsafe ツール request fixture、再現可能なseed、pass/fail oracle、回帰差分を設計。実運用攻撃はしない。

  • SECURITY: sandbox・egress deny・kill switch。PRIVACY: synthetic data only。監査: probe/バージョン/payload hash/result/triage。COST: probe数・モデル calls・review時間を計測対象とする。

  • 本文はred-team ツール名だけでなく、対象、攻撃面、fixture、判定、再現性、停止条件、未検出リスクを記載する。

  • PyRIT/garak 公開・提供 behavior is version-dependent PRODUCT_VOLATILE; automated red-team tooling remains regression 根拠, not 安全性 proof.

まだ確認できていないこと

  • EA-106-UNKNOWN-01

    agent/ツール連鎖へのcoverage、多言語/multimodal、rate-limit下の再現性、judge reliability、提供元 policyとの衝突、OSS バージョン差。

  • EA-106-UNKNOWN-CURRENTNESS

    外部根拠の再確認日が正式な本文・公開管理情報で確定していないため、現行性は未確認のまま保持する。確認日を推測して補わない。

根拠資料

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
EA-106
最終確認日
—
提供元・モデル・プラン・利用環境
Microsoft
対象地域
—
元資料の全文と収録照合記録
WHY_THIS_MATTERS_TO_UPDATE

prompt injection、tool abuse、情報漏洩等は単発の手作業では回帰検出しにくい。自動fixtureを継続実行する場合も、攻撃ツールの出力を実被害や安全保証へ外挿してはならない。

SCOPE_ROUTING

Enterprise AI Core / security / benchmark / implementation / safe evaluation

CLAIM_OR_RESEARCH_QUESTION

PyRITとgarakは自動red-team/evaluationのどの範囲を実装し、継続運用で何が未確立か。

EVIDENCE TABLE
  • source class: author-maintained OSS implementation; exact title: Python Risk Identification Tool for generative AI (PyRIT); author/org: Microsoft; canonical URL: https://github.com/microsoft/PyRIT publication/update/access: current repository accessed 2026-09-13; version/release: repository current, migrated from Azure/PyRIT; supporting locator: README lines 196-214（open source framework、generative AI risk identification、red-team topics）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit。
  • source class: author-maintained OSS implementation; exact title: garak, LLM vulnerability scanner; author/org: NVIDIA; canonical URL: https://github.com/NVIDIA/garak publication/update/access: current repository accessed 2026-09-13; version/release: repository current; supporting locator: README lines 190-194（hallucination, data leakage, prompt injection, misinformation, toxicity, jailbreak等のprobe対象）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit。
  • source class: official framework; exact title: Artificial Intelligence Risk Management Framework; author/org: NIST; canonical URL: https://www.nist.gov/itl/ai-risk-management-framework publication/update/access: 2023-01-26, page accessed 2026-09-13; version/release: AI RMF 1.0 / AI 600-1 GenAI Profile; supporting locator: lines 132-138（design/development/use/evaluationとGenAI固有risk management）; evidence label: VERIFIED_SPEC; relation: governance context。
FINDINGS

PyRITはMicrosoft-maintained open-source risk identification framework、garakはNVIDIA-maintained LLM vulnerability scannerとして、攻撃/弱点probeの自動化部品を提供する。NIST AI RMFは評価をrisk management lifecycleへ置く。よって自動red teamはfixture→probe→判定→triage→修正→再試験の回帰工程へ置けるが、tool出力は脆弱性の発見信号であり、全攻撃面の網羅証明ではない。

LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE

OSSのREADMEは実装目的・対象を示すが、全モデル/全versionの検出率、false negative、実tenantの安全性を保証しない。攻撃payloadを本番toolへ向ける安全性も別問題。

AVAILABILITY_GATES

対象モデル/agent、tool permissions、network isolation、data classification、fixture provenance、rate/stop limit、human review、result retention、version pin。

IMPLEMENTATION_STATE

実装状態: 無認証・非破壊のlocal/mock targetへ限定したred-team pipelineを設計。認証済みtenant、外部書込み、secret投入は未実施。

BENCHMARK_OR_EVAL

Evaluation: mock toolとsynthetic secretを用いたprompt injection/data exfiltration/unsafe tool request fixture、再現可能なseed、pass/fail oracle、回帰差分を設計。実運用攻撃はしない。

SECURITY / PRIVACY / AUDIT / COST / OPERABILITY

SECURITY: sandbox・egress deny・kill switch。PRIVACY: synthetic data only。AUDIT: probe/version/payload hash/result/triage。COST: probe数・model calls・review時間を計測対象とする。

SAFE_WORDING_FOR_FUTURE_BOOK

「PyRITとgarakは生成AI/LLMのリスクprobeを自動化するOSS部品である。probeが通過したことは安全性の証明ではなく、対象・version・fixture・設定に依存する。」

UPDATE_WORK_HANDOFF

本文はred-team tool名だけでなく、target、攻撃面、fixture、判定、再現性、停止条件、未検出リスクを記載する。

OPEN_UNKNOWN

agent/tool連鎖へのcoverage、多言語/multimodal、rate-limit下の再現性、judge reliability、provider policyとの衝突、OSS version差。

STOP_CONDITION

実targetへの攻撃を開始せず、safe TEST_PROFILEとmock side effectが先に揃わない限り停止。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED

---

AUDITED_CURRENTNESS_BOUNDARY

PyRIT/garak release behavior is version-dependent PRODUCT_VOLATILE; automated red-team tooling remains regression evidence, not safety proof.

  • EVD-EA-106-URL-ABA597EA427E研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    1) source class: author-maintained OSS implementation; exact title: Python Risk Identification Tool for generative AI (PyRIT); author/org: Microsoft; canonical URL:

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-106-URL-ABA597EA427E
    検証箇所
    EVIDENCE TABLE · 1) source class: author-maintained OSS implementation; exact title: Python Risk Identification Tool for generative AI (PyRIT); author/org: Microsoft; canonical URL: https://github.com/microsoft/PyRIT
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-106-URL-DE044838CF94研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    2) source class: author-maintained OSS implementation; exact title: garak, LLM vulnerability scanner; author/org: NVIDIA; canonical URL:

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-106-URL-DE044838CF94
    検証箇所
    EVIDENCE TABLE · 2) source class: author-maintained OSS implementation; exact title: garak, LLM vulnerability scanner; author/org: NVIDIA; canonical URL: https://github.com/NVIDIA/garak
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-106-URL-54DBC1541342研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    3) source class: official framework; exact title: Artificial Intelligence Risk Management Framework; author/org: NIST; canonical URL:

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-106-URL-54DBC1541342
    検証箇所
    EVIDENCE TABLE · 3) source class: official framework; exact title: Artificial Intelligence Risk Management Framework; author/org: NIST; canonical URL: https://www.nist.gov/itl/ai-risk-management-framework
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EA-106-R11-RESEARCH研究資料研究資料根拠の出所: AUDITED_CANONICAL_RESEARCH_PACKET

    EA-106 監査済みresearch / canonical revision binding

    裏付ける内容
    PyRITはMicrosoft-maintained open-source risk identification framework、garakはNVIDIA-maintained LLM vulnerability scannerとして、攻撃/弱点probeの自動化部品を提供する。NIST AI RMFは評価をrisk management lifecycleへ置く。よって自動red teamはfixture→probe→判定→triage→修正→再試験の回帰工程へ置けるが、tool出力は脆弱性の発見信号であり、全攻撃面の網羅証明ではない。
    確認日
    —
    出典・実験ID
    COMM-039-EA0106
    検証箇所
    COMM-039-EA0106 · EA-106-R5-LEGACY-MIGRATION-20261008-R1 · content/staging/EA-106.md
    適用範囲
    監査済みEA本文・canonical revision・既存Source Graph relationの範囲。欠損currentnessは推測で閉じない。
    出典・来歴
    AUDIT_PASS_CANONICAL_BINDING
    限界
    canonical監査・revision bindingの存在を示す。外部ソースcurrentnessが本文またはcontrol-planeで確定していない場合は、currentnessをUNKNOWNのまま保持する。
  • EA-106-R11-WEB-READBACK実装資料実装資料根拠の出所: IMPLEMENTATION_READBACK

    EA-106 Web body identity / canonical readback

    裏付ける内容
    canonical staging bodyのSHA-256一致とR9 canonical ledger readbackをProduction projectionの入力として検証する。
    確認日
    —
    出典・実験ID
    WEBBODY-EA0106-R8-9BC307E9
    検証箇所
    WEBBODY-EA0106-R8-9BC307E9 · content/staging/EA-106.md · EA-106-R5-LEGACY-MIGRATION-20261008-R1
    適用範囲
    R9/R10 canonical readback後のProduction生成時body identity。
    出典・来歴
    CANONICAL_READBACK_BODY_HASH_MATCH
    限界
    body identity/readbackは本文claim自体の真偽や外部ソースの最新性を追加保証しない。
出典ID
COMM-039-EA0106, SRC-EA-106-URL-ABA597EA427E, SRC-EA-106-URL-DE044838CF94, SRC-EA-106-URL-54DBC1541342, WEBBODY-EA0106-R8-9BC307E9
追跡中のUNKNOWN ID
EA-106-UNKNOWN-01, EA-106-UNKNOWN-CURRENTNESS
再確認のきっかけ
正式な 改訂版/publication 状態 change · 本文 成果物 hash change · 出典 現行性 change · new contradiction or 実装 結果の照合

機械検査: 通過 — 機械検査の結果です。情報の正確性や実行の承認を保証するものではありません。

    同じ記事IDの機械可読データです。