Privacy-preserving synthetic 評価 data

機密データをそのまま評価datasetへ持ち込めない場合、synthetic dataは有力な代替手段です。しかし、生成物が実在人物のrecordを直接コピーしていないことと、privacy guaranteeが成立することは同義ではありません。EA-745では、synthetic evaluation dataをutility、memorization/re-identification risk、formal privacy guaranteeの三つに分けて評価します。

NIST SP 800-226は、synthetic data生成手法にはdifferential privacy (DP)を満たすものと満たさないものがあり、DPを満たさないsynthetic dataは一般にinformalなprivacy guaranteeしか持たず、元データを明らかにするprivacy attackの報告があると整理しています。同時に、synthetic dataはsub-populationのaccuracyを低下させることがあり、生成過程が追加のuncertaintyやbiasを導入し得るとしています。したがって「privacyを上げたから評価datasetとして十分」とも、「utilityが高いからprivacy-safe」とも判断できません。

Utilityでは、元データの単純な分布類似度だけでなく、評価用途で必要なcase coverage、subgroup、edge case、label/expectation、下流metricの順位やrelease判定が維持されるかを確認します。平均的な統計が近くても、rare failureやminority subgroupが消えていればeval datasetとしては不適切です。

Privacy attack resistanceでは、membership inference、attribute/reconstruction、nearest-neighbor leakage、重複・ほぼ重複record、outlier leakageなど、想定するattacker modelに応じて検査します。Stadler et al.は、非DPのsynthetic dataがinference attackを必ずしも防がず、privacy-utility tradeoffも予測しにくいことを実験的に示しています。

Formal guaranteeでは、DPを主張する場合に「DP対応」という製品ラベルだけで終えず、mechanism、privacy unit、epsilon/delta、composition、clipping/bounds、randomness、実装検証を記録します。NIST SP 800-226はDPを、個人データがdatasetに含まれることによるprivacy lossを定量化する数学的枠組みとして扱い、実装上のprivacy hazardも含めて評価する必要があるとしています。

synthetic generatorが元datasetの多数派をよく再現するほど、平均metricは安定して見える一方、評価で本当に必要なrare/high-risk caseを薄める可能性があります。逆に、privacyを強めるためにnoiseを増やすと、細いsubgroupや長いtailの特徴が失われ、モデルの回帰を検出できなくなる場合があります。

もう一つのfailureは「syntheticだからproduction dataではない」としてaccess controlやretentionを緩めることです。非DP synthetic dataにはrobustなprivacy guaranteeがない場合があるため、attack evaluationが終わる前に公開・広域共有するべきではありません。

生成runごとにsource dataset revision、generator/version、training configuration、random seed、privacy mechanism、privacy budget、生成件数、filtering/post-processingをmanifest化します。元データとのexact/near duplicate scanを行い、privacy attack suiteとutility suiteを別々に実行します。

utility gateでは、全体平均だけでなくsubgroup、rare case、task-specific metric、model ranking stabilityを確認します。privacy gateでは、想定attackerのauxiliary knowledgeを明示し、membership/reconstruction等のattack successをbaselineと比較します。DPを採用する場合は、epsilonだけでなくdelta、privacy unit、compositionと実装条件をreadback可能な証拠として保存します。

synthetic dataを評価用に公開する場合でも、generator training dataのprovenanceと利用権限、生成物のrelease decision、attack結果、残存riskを記録します。privacy gateとutility gateの双方を通らないdatasetを「安全な代替dataset」として昇格させません。

DP synthetic dataはrobustなprivacy guaranteeを与え得ますが、utilityは用途依存です。NISTは、purpose-builtなDP analysisの方が同じ分析をsynthetic data上で行うより高いaccuracyを得ることが一般にあると説明しています。評価datasetが複雑な長文、画像、tool traceなど高次元データの場合、tabular synthetic dataの知見をそのまま外挿しません。

またDPはデータ品質、著作権、bias、安全性を自動的に解決しません。privacy-preservingであっても、誤ったexpectationや不十分なfailure coverageを持つeval datasetは品質保証には使えません。

synthetic dataは、元のsensitive recordを直接配布せず既存の分析workflowを利用できるという実務上の利点があります。NISTもDP synthetic dataをその用途の一つとして扱っています。一方で、非DP生成物に強いprivacyを仮定することはできず、DP生成物でもutility lossと追加uncertaintyが生じます。

privacy attack testに合格しても未知のattackへの安全を証明したことにはなりません。逆に、formal DP guaranteeは定義したprivacy unitとbudgetの範囲では強い保証ですが、実装不備や不適切なunit定義まで救済しません。

• LLM生成の長文synthetic evalで、memorizationと一般的な定型表現の一致をどう分離するか。
• 複数回のdataset再生成・公開でprivacy budgetをどうcompositionするか。
• rare/high-risk caseを保持しつつsubgroup utilityを維持できる最小privacy budgetは用途ごとにどこか。
• hosted generatorが内部training dataやprivacy mechanismを開示しない場合、どの証拠を代替とするか。

「synthetic dataなので個人情報を含まず安全」とは表現しません。安全な表現は、「synthetic evaluation dataは元データの直接配布を減らせるが、privacyは自動的には保証されない。utility、memorization/re-identification risk、DP等のformal guaranteeを分離して評価し、用途に応じたprivacy/utility gateを設ける」です。

• NIST SP 800-226, Guidelines for Evaluating Differential Privacy Guarantees: https://csrc.nist.gov/pubs/sp/800/226/final
• NIST SP 800-226, Privacy/Utility Considerations for Synthetic Data: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-226.pdf
• NIST, Differentially Private Synthetic Data: https://www.nist.gov/blogs/cybersecurity-insights/differentially-private-synthetic-data
• Stadler, Oprisanu, Troncoso, Synthetic Data -- Anonymisation Groundhog Day, arXiv:2011.07018
• Repository base: taiyakiyaita009-max/enterprise-ai-dictionary-web main @ c8b4a44a167c831b84cffa1ee53f9f29752245d4