# Privacy-preserving synthetic evaluation data CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-745-privacy-preserving-synthetic-evaluation-data CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-745-URL-76EB402C3D79, EVD-EA-745-URL-07ABC3593E8A, EVD-EA-745-URL-44839463304A, EA-745-CURRENT-APPROVAL, EA-745-CURRENT-BODY-READBACK UNKNOWN_IDS: EA-745-UNKNOWN-01 OPS_IDS: none ## Summary 「synthetic dataなので個人情報を含まず安全」とは表現しません。安全な表現は、「synthetic evaluation dataは元データの直接配布を減らせるが、privacyは自動的には保証されない。utility、memorization/re-identification risk、DP等のformal guaranteeを分離して評価し、用途に応じたprivacy/utility gateを設ける」です。 ## Current judgment 「synthetic dataなので個人情報を含まず安全」とは表現しません。安全な表現は、「synthetic evaluation dataは元データの直接配布を減らせるが、privacyは自動的には保証されない。utility、memorization/re-identification risk、DP等のformal guaranteeを分離して評価し、用途に応じたprivacy/utility gateを設ける」です。 ## Scope Privacy-preserving synthetic evaluation data ## Confirmed ## UNKNOWN - EA-745-UNKNOWN-01: - LLM生成の長文synthetic evalで、memorizationと一般的な定型表現の一致をどう分離するか。 - 複数回のdataset再生成・公開でprivacy budgetをどうcompositionするか。 - rare/high-risk caseを保持しつつsubgroup utilityを維持できる最小privacy budgetは用途ごとにどこか。 - hosted generatorが内部training dataやprivacy mechanismを開示しない場合、どの証拠を代替とするか。 ## Evidence - EVD-EA-745-URL-76EB402C3D79 (RESEARCH): NIST SP 800-226, Guidelines for Evaluating Differential Privacy Guarantees: — https://csrc.nist.gov/pubs/sp/800/226/final - EVD-EA-745-URL-07ABC3593E8A (RESEARCH): NIST SP 800-226, Privacy/Utility Considerations for Synthetic Data: — https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-226.pdf - EVD-EA-745-URL-44839463304A (RESEARCH): NIST, Differentially Private Synthetic Data: — https://www.nist.gov/blogs/cybersecurity-insights/differentially-private-synthetic-data - EA-745-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応 - EA-745-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合 ## Failure / limits synthetic generatorが元datasetの多数派をよく再現するほど、平均metricは安定して見える一方、評価で本当に必要なrare/high-risk caseを薄める可能性があります。逆に、privacyを強めるためにnoiseを増やすと、細いsubgroupや長いtailの特徴が失われ、モデルの回帰を検出できなくなる場合があります。 もう一つのfailureは「syntheticだからproduction dataではない」としてaccess controlやretentionを緩めることです。非DP synthetic dataにはrobustなprivacy guaranteeがない場合があるため、attack evaluationが終わる前に公開・広域共有するべきではありません。 ## Failure / limits synthetic dataは、元のsensitive recordを直接配布せず既存の分析workflowを利用できるという実務上の利点があります。NISTもDP synthetic dataをその用途の一つとして扱っています。一方で、非DP生成物に強いprivacyを仮定することはできず、DP生成物でもutility lossと追加uncertaintyが生じます。 privacy attack testに合格しても未知のattackへの安全を証明したことにはなりません。逆に、formal DP guaranteeは定義したprivacy unitとbudgetの範囲では強い保証ですが、実装不備や不適切なunit定義まで救済しません。 ## 要点と前提 機密データをそのまま評価datasetへ持ち込めない場合、synthetic dataは有力な代替手段です。しかし、生成物が実在人物のrecordを直接コピーしていないことと、privacy guaranteeが成立することは同義ではありません。EA-745では、synthetic evaluation dataをutility、memorization/re-identification risk、formal privacy guaranteeの三つに分けて評価します。 NIST SP 800-226は、synthetic data生成手法にはdifferential privacy (DP)を満たすものと満たさないものがあり、DPを満たさないsynthetic dataは一般にinformalなprivacy guaranteeしか持たず、元データを明らかにするprivacy attackの報告があると整理しています。同時に、synthetic dataはsub-populationのaccuracyを低下させることがあり、生成過程が追加のuncertaintyやbiasを導入し得るとしています。したがって「privacyを上げたから評価datasetとして十分」とも、「utilityが高いからprivacy-safe」とも判断できません。 ## 三つの評価軸を分離する **Utility**では、元データの単純な分布類似度だけでなく、評価用途で必要なcase coverage、subgroup、edge case、label/expectation、下流metricの順位やrelease判定が維持されるかを確認します。平均的な統計が近くても、rare failureやminority subgroupが消えていればeval datasetとしては不適切です。 **Privacy attack resistance**では、membership inference、attribute/reconstruction、nearest-neighbor leakage、重複・ほぼ重複record、outlier leakageなど、想定するattacker modelに応じて検査します。Stadler et al.は、非DPのsynthetic dataがinference attackを必ずしも防がず、privacy-utility tradeoffも予測しにくいことを実験的に示しています。 **Formal guarantee**では、DPを主張する場合に「DP対応」という製品ラベルだけで終えず、mechanism、privacy unit、epsilon/delta、composition、clipping/bounds、randomness、実装検証を記録します。NIST SP 800-226はDPを、個人データがdatasetに含まれることによるprivacy lossを定量化する数学的枠組みとして扱い、実装上のprivacy hazardも含めて評価する必要があるとしています。 ## eval用途固有のfailure synthetic generatorが元datasetの多数派をよく再現するほど、平均metricは安定して見える一方、評価で本当に必要なrare/high-risk caseを薄める可能性があります。逆に、privacyを強めるためにnoiseを増やすと、細いsubgroupや長いtailの特徴が失われ、モデルの回帰を検出できなくなる場合があります。 もう一つのfailureは「syntheticだからproduction dataではない」としてaccess controlやretentionを緩めることです。非DP synthetic dataにはrobustなprivacy guaranteeがない場合があるため、attack evaluationが終わる前に公開・広域共有するべきではありません。 ## 実装control 生成runごとにsource dataset revision、generator/version、training configuration、random seed、privacy mechanism、privacy budget、生成件数、filtering/post-processingをmanifest化します。元データとのexact/near duplicate scanを行い、privacy attack suiteとutility suiteを別々に実行します。 utility gateでは、全体平均だけでなくsubgroup、rare case、task-specific metric、model ranking stabilityを確認します。privacy gateでは、想定attackerのauxiliary knowledgeを明示し、membership/reconstruction等のattack successをbaselineと比較します。DPを採用する場合は、epsilonだけでなくdelta、privacy unit、compositionと実装条件をreadback可能な証拠として保存します。 synthetic dataを評価用に公開する場合でも、generator training dataのprovenanceと利用権限、生成物のrelease decision、attack結果、残存riskを記録します。privacy gateとutility gateの双方を通らないdatasetを「安全な代替dataset」として昇格させません。 ## 適用境界 DP synthetic dataはrobustなprivacy guaranteeを与え得ますが、utilityは用途依存です。NISTは、purpose-builtなDP analysisの方が同じ分析をsynthetic data上で行うより高いaccuracyを得ることが一般にあると説明しています。評価datasetが複雑な長文、画像、tool traceなど高次元データの場合、tabular synthetic dataの知見をそのまま外挿しません。 またDPはデータ品質、著作権、bias、安全性を自動的に解決しません。privacy-preservingであっても、誤ったexpectationや不十分なfailure coverageを持つeval datasetは品質保証には使えません。 ## Counterevidence / limitations synthetic dataは、元のsensitive recordを直接配布せず既存の分析workflowを利用できるという実務上の利点があります。NISTもDP synthetic dataをその用途の一つとして扱っています。一方で、非DP生成物に強いprivacyを仮定することはできず、DP生成物でもutility lossと追加uncertaintyが生じます。 privacy attack testに合格しても未知のattackへの安全を証明したことにはなりません。逆に、formal DP guaranteeは定義したprivacy unitとbudgetの範囲では強い保証ですが、実装不備や不適切なunit定義まで救済しません。 ## OPEN_UNKNOWN - LLM生成の長文synthetic evalで、memorizationと一般的な定型表現の一致をどう分離するか。 - 複数回のdataset再生成・公開でprivacy budgetをどうcompositionするか。 - rare/high-risk caseを保持しつつsubgroup utilityを維持できる最小privacy budgetは用途ごとにどこか。 - hosted generatorが内部training dataやprivacy mechanismを開示しない場合、どの証拠を代替とするか。 ## SAFE_WORDING 「synthetic dataなので個人情報を含まず安全」とは表現しません。安全な表現は、「synthetic evaluation dataは元データの直接配布を減らせるが、privacyは自動的には保証されない。utility、memorization/re-identification risk、DP等のformal guaranteeを分離して評価し、用途に応じたprivacy/utility gateを設ける」です。 ## Source / provenance locators - NIST SP 800-226, Guidelines for Evaluating Differential Privacy Guarantees: https://csrc.nist.gov/pubs/sp/800/226/final - NIST SP 800-226, Privacy/Utility Considerations for Synthetic Data: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-226.pdf - NIST, Differentially Private Synthetic Data: https://www.nist.gov/blogs/cybersecurity-insights/differentially-private-synthetic-data - Stadler, Oprisanu, Troncoso, Synthetic Data -- Anonymisation Groundhog Day, arXiv:2011.07018 - Repository base: taiyakiyaita009-max/enterprise-ai-dictionary-web main @ c8b4a44a167c831b84cffa1ee53f9f29752245d4 NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.