{ "format": "agent-article-v0", "article_id": "EA-128", "canonical_url": "/tools/ea-128-adversarial-multi-llm", "page_type": "reference", "claim_ids": [], "evidence_ids": [ "EVD-EA-128-URL-3959564C6C07", "EA-128-R11-RESEARCH", "EA-128-R11-WEB-READBACK" ], "unknown_ids": [ "EA-128-UNKNOWN-01", "EA-128-UNKNOWN-CURRENTNESS" ], "operational_object_ids": [], "provider": [], "models": [], "plans": [], "surfaces": [], "regions": [], "current_status": "UNKNOWN", "observation_status": "SPEC_ONLY", "freshness": "UNKNOWN", "last_verified": null, "supersedes": [], "superseded_by": [], "provenance": [ "COMM-043-EA0128", "SRC-EA-128-URL-3959564C6C07", "WEBBODY-EA0128-R8-9DA67496" ], "article_sources": [ { "id": "EVD-EA-128-URL-3959564C6C07", "evidence_class": "RESEARCH", "title": "source_class=primary paper; exact_title=Red Teaming Language Models with Language Models; author/org=Ethan Perez et al.; canonical_url=", "href": "https://arxiv.org/abs/2202.03286", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-128-URL-3959564C6C07" ], "supporting_locators": [ "EVIDENCE_TABLE", "- source_class=primary paper; exact_title=Red Teaming Language Models with Language Models; author/org=Ethan Perez et al.; canonical_url=https://arxiv.org/abs/2202.03286" ], "scope": "EVIDENCE_TABLE", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EA-128-R11-RESEARCH", "evidence_class": "RESEARCH", "title": "EA-128 監査済みresearch / canonical revision binding", "supports": [ "- ESTABLISHED: 研究論文は、攻撃側LMが対象LMへのテストケースを生成する構成を提示し、従来の人手入力だけではないred-teamingの研究手段として記述している。観測対象には有害・攻撃的応答、個人データ漏えい等が含まれる。\n- NOT_ESTABLISHED: 攻撃側と対象側を異種モデルにすれば網羅性・検出率・安全性が保証されること、特定providerの現行モデルで再現すること、企業tenantの実挙動を代表することは確立していない。" ], "limit": "canonical監査・revision bindingの存在を示す。外部ソースcurrentnessが本文またはcontrol-planeで確定していない場合は、currentnessをUNKNOWNのまま保持する。", "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET", "source_or_experiment_ids": [ "COMM-043-EA0128" ], "supporting_locators": [ "COMM-043-EA0128", "EA-128-R5-LEGACY-MIGRATION-20261008-R1", "content/staging/EA-128.md" ], "scope": "監査済みEA本文・canonical revision・既存Source Graph relationの範囲。欠損currentnessは推測で閉じない。", "provenance_status": "AUDIT_PASS_CANONICAL_BINDING" }, { "id": "EA-128-R11-WEB-READBACK", "evidence_class": "IMPL", "title": "EA-128 Web body identity / canonical readback", "supports": [ "canonical staging bodyのSHA-256一致とR9 canonical ledger readbackをProduction projectionの入力として検証する。" ], "limit": "body identity/readbackは本文claim自体の真偽や外部ソースの最新性を追加保証しない。", "checked_at": null, "origin_class": "IMPLEMENTATION_READBACK", "source_or_experiment_ids": [ "WEBBODY-EA0128-R8-9DA67496" ], "supporting_locators": [ "WEBBODY-EA0128-R8-9DA67496", "content/staging/EA-128.md", "EA-128-R5-LEGACY-MIGRATION-20261008-R1" ], "scope": "R9/R10 canonical readback後のProduction生成時body identity。", "provenance_status": "CANONICAL_READBACK_BODY_HASH_MATCH" } ], "research_sections": [ { "heading": "WHY_THIS_MATTERS_TO_UPDATE", "text": "攻撃側LLMと対象LLMを分離したレッドチーム設計は、手作業だけでは拾いにくい有害出力・個人情報漏えい・誘導失敗の探索をアップデート時の評価棚へ追加する根拠になり得る。" }, { "heading": "SCOPE_ROUTING", "text": "Enterprise AI Core / governance / benchmark / security / implementation。provider固有の製品機能ではなく、複数モデルを使う評価設計として扱う。" }, { "heading": "CLAIM_OR_RESEARCH_QUESTION", "text": "別の言語モデルを攻撃ケース生成器として使うことが研究上成立しているか。成立する範囲、観測対象、企業運用へ移す際に未確立な範囲は何か。" }, { "heading": "EVIDENCE_TABLE", "text": "- source_class=primary paper; exact_title=Red Teaming Language Models with Language Models; author/org=Ethan Perez et al.; canonical_url=https://arxiv.org/abs/2202.03286; publication/update/access_date=2022-02-07 submitted / 2026-09-13 accessed JST; version/release/tag/commit/API revision=arXiv v1; supporting_locator=Abstract（別のLMがtarget LM向けtest caseを生成し、harmful/offensive replyやpersonal data leakage等を露出し得るとの研究記述。「one promising tool (among many needed)」との限定も同一abstractにある）; evidence_label=RESEARCH; relation=support+limit" }, { "heading": "FINDINGS", "text": "- ESTABLISHED: 研究論文は、攻撃側LMが対象LMへのテストケースを生成する構成を提示し、従来の人手入力だけではないred-teamingの研究手段として記述している。観測対象には有害・攻撃的応答、個人データ漏えい等が含まれる。\n- NOT_ESTABLISHED: 攻撃側と対象側を異種モデルにすれば網羅性・検出率・安全性が保証されること、特定providerの現行モデルで再現すること、企業tenantの実挙動を代表することは確立していない。" }, { "heading": "LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE", "text": "原論文自身が多数必要な手段の一つに限定している。攻撃生成器の分布にない脆弱性、攻撃側LMの拒否・同質化、false positive/false negative、モデル更新・system prompt・tool境界の差を取り逃がし得る。研究結果を全モデル・全deploymentへ一般化しない。" }, { "heading": "AVAILABILITY_GATES", "text": "攻撃対象・攻撃生成器の利用許可、評価用隔離環境、無害化した入力、ログのPII制御、モデル/APIの版固定、停止権限、provider規約。認証済みtenantへのlive attackは本RUNでは未実施。" }, { "heading": "IMPLEMENTATION_STATE", "text": "RESEARCHであり、実装導入はPROPOSAL。安全な後続TEST_PROFILEとして、固定モデルID・固定prompt corpus・sandbox・判定基準・再現seed・人手承認・削除可能なログを定義する段階。" }, { "heading": "BENCHMARK_OR_EVAL", "text": "原論文のred-team実験は研究条件での観測根拠。企業の安全保証指標、網羅率、最新モデルへの転移性能はUNKNOWN。" }, { "heading": "SECURITY / PRIVACY / AUDIT / COST / OPERABILITY", "text": "Security=攻撃入力を本番へ流さず隔離する必要。Privacy=生成ケース・出力に個人情報が混入し得るため最小化・マスキング。Audit=攻撃case、target version、判定、再現条件を保存。Cost=攻撃生成・再試行・人手判定の費用を別計上。Operability=モデル更新時の再評価と停止条件が必要。" }, { "heading": "SAFE_WORDING_FOR_FUTURE_BOOK", "text": "「Adversarial multi-LLMは、攻撃側LLMを用いて対象LLMの有害応答や漏えい等を探索する研究ベースの評価方式である。研究例はあるが、異種化だけで網羅性・安全性・企業tenantでの再現を保証しない。」" }, { "heading": "UPDATE_WORK_HANDOFF", "text": "研究方式をCoreの評価設計へ登録し、攻撃側/対象側を別claimとして記録する。次回は対象モデル別の再現可能test profile、攻撃成功の判定、漏えいデータ取扱い、更新差分、false positive/negativeを一次実験または公開failure reportで補う。" }, { "heading": "OPEN_UNKNOWN", "text": "現行各providerモデルへの転移、攻撃生成器の多様性とcoverage、tool-use/agent loopへの適用、漏えい判定の再現性、停止時の運用責任。" }, { "heading": "STOP_CONDITION", "text": "本番・認証済みtenant・実データを使わない。攻撃case数や検出率だけで安全性を閉じない。未知をRESEARCHまたはUNKNOWNのまま保持する。\nUNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED\n\n---" } ], "human_url": "/tools/ea-128-adversarial-multi-llm", "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-128-adversarial-multi-llm", "json_url": "/agent/article.json?path=%2Ftools%2Fea-128-adversarial-multi-llm" }