# AI生成Testの品質保証／Mutation Testing CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-687-ai-test-mutation-testing CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-687-URL-BF7291989124, EVD-EA-687-URL-157D6FB1C022, EVD-EA-687-URL-2CAA81CB4B32, EVD-EA-687-URL-5A6A9FA3860C, EA-687-R11-RESEARCH, EA-687-R11-WEB-READBACK UNKNOWN_IDS: EA-687-UNKNOWN-01 OPS_IDS: none ## Summary Mutation Testingは選んだ変異をtestが捉えるかを測ります。高いscoreだけでは要求適合や現実の不具合検出を保証しません。AI生成testのassertionは、実装自身の出力から独立した要求・期待結果と照合します。 ## Current judgment Meta ACHの産業研究は、line coverageを増やさずmutantを殺すtestにも価値があると報告しています。equivalent mutant判定は対象と前処理に依存し、一般的な等価性判定能力の証明ではありません。[S1] ## Scope AI生成Testの品質保証／Mutation Testing ## Confirmed - Meta ACHの産業研究は、line coverageを増やさずmutantを殺すtestにも価値があると報告しています。equivalent mutant判定は対象と前処理に依存し、一般的な等価性判定能力の証明ではありません。[S1] 2026 preprintはcode/test双方LLM生成のbenchmark設定で、faultを実行することとoracleが誤りを検出することを分離し、oracle failureを報告しています。Metaの成熟codebaseでのconcern-focused実験と同じ母集団ではありません。[S2] Stryker docsではdetected=killed+timeout、valid=detected+survived+no coverage、score=detected/validです。runtime/compile error、ignored/pending、covered-only scoreを別に記録します。[S3] ## UNKNOWN - EA-687-UNKNOWN-01: 対象製品のreal-bug detectionと費用、現行全LLM、2026 preprintの査読・raw再現、Stryker CLI release、実test flakiness、全repo regressionは未確認です。 ## Evidence - EVD-EA-687-URL-BF7291989124 (RESEARCH): S1: Foster et al., Mutation-Guided LLM-based Test Generation at Meta, v1, §5.3/§6/Table8 — — https://arxiv.org/html/2501.12862v1 - EVD-EA-687-URL-157D6FB1C022 (RESEARCH): S2: Hamidi et al., How effective are traditional test criteria at detecting bugs in large language models generated code?, v1, RQ3 — — https://arxiv.org/html/2609.09315v1 - EVD-EA-687-URL-2CAA81CB4B32 (RESEARCH): S3: Stryker Mutator / Mutant states and metrics — — https://stryker-mutator.io/docs/mutation-testing-elements/mutant-states-and-metrics/ - EVD-EA-687-URL-5A6A9FA3860C (RESEARCH): S4: Alshahwan et al., TestGen-LLM industrial report（要旨範囲）— — https://arxiv.org/abs/2402.09171 - EA-687-R11-RESEARCH (RESEARCH): EA-687 監査済みresearch / canonical revision binding - EA-687-R11-WEB-READBACK (IMPL): EA-687 Web body identity / canonical readback ## Failure / limits 誤ったbaselineを正解とするassertion、easy mutant偏重、invalid/ignored除外、equivalent mutant、flakiness、timeoutとインフラ障害の混同が判断を歪めます。surviveだけでtest不足と断言せず、等価性や仕様範囲も確認します。 ## Failure / limits 高coverage・高score・人間acceptanceを「バグなし」「要求適合」「security保証」へ変換しないでください。staging candidateは未監査・未公開です。 ## Practice 要求に接地したoracle、baseline安定性、mutant集合・operator・状態・分母、人間review、実bug regressionを別gateとして運用します。compile PASS、test件数、coverage増分、mutation scoreの一つだけで採用を決めません。 ## Practice 資料照合とsynthetic反例のみです。10%割引要求に違反する20%割引baselineを誤oracleが通し、選んだ2mutantを全て殺しました（選択集合score100）。独立要求oracleはそのbaselineを拒否し正しい実装を通しました。実LLM、Stryker、ACH、real-bug corpusやproductionでの検出率は測定していません。 ## Practice tool/release/operator、baseline SHA、要求locator、oracle review、mutant diff、timeout分類、raw result、eligible denominator、実bug regression、コードの外部送信許可、runtime/推論/review費を確認します。 ## PUBLIC_CLAIM Mutation Testingは選んだ変異をtestが捉えるかを測ります。高いscoreだけでは要求適合や現実の不具合検出を保証しません。AI生成testのassertionは、実装自身の出力から独立した要求・期待結果と照合します。 ## ESTABLISHED Meta ACHの産業研究は、line coverageを増やさずmutantを殺すtestにも価値があると報告しています。equivalent mutant判定は対象と前処理に依存し、一般的な等価性判定能力の証明ではありません。[S1] 2026 preprintはcode/test双方LLM生成のbenchmark設定で、faultを実行することとoracleが誤りを検出することを分離し、oracle failureを報告しています。Metaの成熟codebaseでのconcern-focused実験と同じ母集団ではありません。[S2] Stryker docsではdetected=killed+timeout、valid=detected+survived+no coverage、score=detected/validです。runtime/compile error、ignored/pending、covered-only scoreを別に記録します。[S3] ## INFERENCE 要求に接地したoracle、baseline安定性、mutant集合・operator・状態・分母、人間review、実bug regressionを別gateとして運用します。compile PASS、test件数、coverage増分、mutation scoreの一つだけで採用を決めません。 ## FAILURE_ENVELOPE 誤ったbaselineを正解とするassertion、easy mutant偏重、invalid/ignored除外、equivalent mutant、flakiness、timeoutとインフラ障害の混同が判断を歪めます。surviveだけでtest不足と断言せず、等価性や仕様範囲も確認します。 ## IMPLEMENTATION_STATE 資料照合とsynthetic反例のみです。10%割引要求に違反する20%割引baselineを誤oracleが通し、選んだ2mutantを全て殺しました（選択集合score100）。独立要求oracleはそのbaselineを拒否し正しい実装を通しました。実LLM、Stryker、ACH、real-bug corpusやproductionでの検出率は測定していません。 ## AVAILABILITY_GATES tool/release/operator、baseline SHA、要求locator、oracle review、mutant diff、timeout分類、raw result、eligible denominator、実bug regression、コードの外部送信許可、runtime/推論/review費を確認します。 ## UNKNOWN 対象製品のreal-bug detectionと費用、現行全LLM、2026 preprintの査読・raw再現、Stryker CLI release、実test flakiness、全repo regressionは未確認です。 ## STOP_CONDITION 高coverage・高score・人間acceptanceを「バグなし」「要求適合」「security保証」へ変換しないでください。staging candidateは未監査・未公開です。 ## SOURCES - S1: Foster et al., Mutation-Guided LLM-based Test Generation at Meta, v1, §5.3/§6/Table8 — https://arxiv.org/html/2501.12862v1 - S2: Hamidi et al., How effective are traditional test criteria at detecting bugs in large language models generated code?, v1, RQ3 — https://arxiv.org/html/2609.09315v1 - S3: Stryker Mutator / Mutant states and metrics — https://stryker-mutator.io/docs/mutation-testing-elements/mutant-states-and-metrics/ - S4: Alshahwan et al., TestGen-LLM industrial report（要旨範囲）— https://arxiv.org/abs/2402.09171 - T1: EA-687_Evidence_Packet.md / fixtures/mutation_oracle.py / results/EA-687.json（監査bundle内） NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.