# Adversarial multi-LLM CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-128-adversarial-multi-llm CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-128-URL-3959564C6C07, EA-128-R11-RESEARCH, EA-128-R11-WEB-READBACK UNKNOWN_IDS: EA-128-UNKNOWN-01, EA-128-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「Adversarial multi-LLMは、攻撃側LLMを用いて対象LLMの有害応答や漏えい等を探索する研究ベースの評価方式である。研究例はあるが、異種化だけで網羅性・安全性・企業tenantでの再現を保証しない。」 ## Current judgment - ESTABLISHED: 研究論文は、攻撃側LMが対象LMへのテストケースを生成する構成を提示し、従来の人手入力だけではないred-teamingの研究手段として記述している。観測対象には有害・攻撃的応答、個人データ漏えい等が含まれる。 - NOT_ESTABLISHED: 攻撃側と対象側を異種モデルにすれば網羅性・検出率・安全性が保証されること、特定providerの現行モデルで再現すること、企業tenantの実挙動を代表することは確立していない。 ## Scope Enterprise AI Core / governance / benchmark / security / implementation。provider固有の製品機能ではなく、複数モデルを使う評価設計として扱う。 ## Confirmed - ESTABLISHED: 研究論文は、攻撃側LMが対象LMへのテストケースを生成する構成を提示し、従来の人手入力だけではないred-teamingの研究手段として記述している。観測対象には有害・攻撃的応答、個人データ漏えい等が含まれる。 - NOT_ESTABLISHED: 攻撃側と対象側を異種モデルにすれば網羅性・検出率・安全性が保証されること、特定providerの現行モデルで再現すること、企業tenantの実挙動を代表することは確立していない。 ## UNKNOWN - EA-128-UNKNOWN-01: 現行各providerモデルへの転移、攻撃生成器の多様性とcoverage、tool-use/agent loopへの適用、漏えい判定の再現性、停止時の運用責任。 - EA-128-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-128-URL-3959564C6C07 (RESEARCH): source_class=primary paper; exact_title=Red Teaming Language Models with Language Models; author/org=Ethan Perez et al.; canonical_url= — https://arxiv.org/abs/2202.03286 - EA-128-R11-RESEARCH (RESEARCH): EA-128 監査済みresearch / canonical revision binding - EA-128-R11-WEB-READBACK (IMPL): EA-128 Web body identity / canonical readback ## Failure / limits 原論文自身が多数必要な手段の一つに限定している。攻撃生成器の分布にない脆弱性、攻撃側LMの拒否・同質化、false positive/false negative、モデル更新・system prompt・tool境界の差を取り逃がし得る。研究結果を全モデル・全deploymentへ一般化しない。 ## Failure / limits 本番・認証済みtenant・実データを使わない。攻撃case数や検出率だけで安全性を閉じない。未知をRESEARCHまたはUNKNOWNのまま保持する。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## Practice 攻撃対象・攻撃生成器の利用許可、評価用隔離環境、無害化した入力、ログのPII制御、モデル/APIの版固定、停止権限、provider規約。認証済みtenantへのlive attackは本RUNでは未実施。 ## Practice RESEARCHであり、実装導入はPROPOSAL。安全な後続TEST_PROFILEとして、固定モデルID・固定prompt corpus・sandbox・判定基準・再現seed・人手承認・削除可能なログを定義する段階。 ## Practice 原論文のred-team実験は研究条件での観測根拠。企業の安全保証指標、網羅率、最新モデルへの転移性能はUNKNOWN。 ## Practice Security=攻撃入力を本番へ流さず隔離する必要。Privacy=生成ケース・出力に個人情報が混入し得るため最小化・マスキング。Audit=攻撃case、target version、判定、再現条件を保存。Cost=攻撃生成・再試行・人手判定の費用を別計上。Operability=モデル更新時の再評価と停止条件が必要。 ## Practice 研究方式をCoreの評価設計へ登録し、攻撃側/対象側を別claimとして記録する。次回は対象モデル別の再現可能test profile、攻撃成功の判定、漏えいデータ取扱い、更新差分、false positive/negativeを一次実験または公開failure reportで補う。 ## WHY_THIS_MATTERS_TO_UPDATE 攻撃側LLMと対象LLMを分離したレッドチーム設計は、手作業だけでは拾いにくい有害出力・個人情報漏えい・誘導失敗の探索をアップデート時の評価棚へ追加する根拠になり得る。 ## SCOPE_ROUTING Enterprise AI Core / governance / benchmark / security / implementation。provider固有の製品機能ではなく、複数モデルを使う評価設計として扱う。 ## CLAIM_OR_RESEARCH_QUESTION 別の言語モデルを攻撃ケース生成器として使うことが研究上成立しているか。成立する範囲、観測対象、企業運用へ移す際に未確立な範囲は何か。 ## EVIDENCE_TABLE - source_class=primary paper; exact_title=Red Teaming Language Models with Language Models; author/org=Ethan Perez et al.; canonical_url=https://arxiv.org/abs/2202.03286; publication/update/access_date=2022-02-07 submitted / 2026-09-13 accessed JST; version/release/tag/commit/API revision=arXiv v1; supporting_locator=Abstract（別のLMがtarget LM向けtest caseを生成し、harmful/offensive replyやpersonal data leakage等を露出し得るとの研究記述。「one promising tool (among many needed)」との限定も同一abstractにある）; evidence_label=RESEARCH; relation=support+limit ## FINDINGS - ESTABLISHED: 研究論文は、攻撃側LMが対象LMへのテストケースを生成する構成を提示し、従来の人手入力だけではないred-teamingの研究手段として記述している。観測対象には有害・攻撃的応答、個人データ漏えい等が含まれる。 - NOT_ESTABLISHED: 攻撃側と対象側を異種モデルにすれば網羅性・検出率・安全性が保証されること、特定providerの現行モデルで再現すること、企業tenantの実挙動を代表することは確立していない。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE 原論文自身が多数必要な手段の一つに限定している。攻撃生成器の分布にない脆弱性、攻撃側LMの拒否・同質化、false positive/false negative、モデル更新・system prompt・tool境界の差を取り逃がし得る。研究結果を全モデル・全deploymentへ一般化しない。 ## AVAILABILITY_GATES 攻撃対象・攻撃生成器の利用許可、評価用隔離環境、無害化した入力、ログのPII制御、モデル/APIの版固定、停止権限、provider規約。認証済みtenantへのlive attackは本RUNでは未実施。 ## IMPLEMENTATION_STATE RESEARCHであり、実装導入はPROPOSAL。安全な後続TEST_PROFILEとして、固定モデルID・固定prompt corpus・sandbox・判定基準・再現seed・人手承認・削除可能なログを定義する段階。 ## BENCHMARK_OR_EVAL 原論文のred-team実験は研究条件での観測根拠。企業の安全保証指標、網羅率、最新モデルへの転移性能はUNKNOWN。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY Security=攻撃入力を本番へ流さず隔離する必要。Privacy=生成ケース・出力に個人情報が混入し得るため最小化・マスキング。Audit=攻撃case、target version、判定、再現条件を保存。Cost=攻撃生成・再試行・人手判定の費用を別計上。Operability=モデル更新時の再評価と停止条件が必要。 ## SAFE_WORDING_FOR_FUTURE_BOOK 「Adversarial multi-LLMは、攻撃側LLMを用いて対象LLMの有害応答や漏えい等を探索する研究ベースの評価方式である。研究例はあるが、異種化だけで網羅性・安全性・企業tenantでの再現を保証しない。」 ## UPDATE_WORK_HANDOFF 研究方式をCoreの評価設計へ登録し、攻撃側/対象側を別claimとして記録する。次回は対象モデル別の再現可能test profile、攻撃成功の判定、漏えいデータ取扱い、更新差分、false positive/negativeを一次実験または公開failure reportで補う。 ## OPEN_UNKNOWN 現行各providerモデルへの転移、攻撃生成器の多様性とcoverage、tool-use/agent loopへの適用、漏えい判定の再現性、停止時の運用責任。 ## STOP_CONDITION 本番・認証済みtenant・実データを使わない。攻撃case数や検出率だけで安全性を閉じない。未知をRESEARCHまたはUNKNOWNのまま保持する。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.