{
  "format": "agent-article-v0",
  "article_id": "EA-745",
  "canonical_url": "/tools/ea-745-privacy-preserving-synthetic-evaluation-data",
  "page_type": "reference",
  "claim_ids": [],
  "evidence_ids": [
    "EVD-EA-745-URL-76EB402C3D79",
    "EVD-EA-745-URL-07ABC3593E8A",
    "EVD-EA-745-URL-44839463304A",
    "EA-745-CURRENT-APPROVAL",
    "EA-745-CURRENT-BODY-READBACK"
  ],
  "unknown_ids": [
    "EA-745-UNKNOWN-01"
  ],
  "operational_object_ids": [],
  "provider": [],
  "models": [],
  "plans": [],
  "surfaces": [],
  "regions": [],
  "current_status": "CURRENT",
  "observation_status": "SPEC_ONLY",
  "freshness": "CURRENT",
  "last_verified": "2026-10-20",
  "supersedes": [],
  "superseded_by": [],
  "provenance": [
    "EA745-CANDIDATE-20261020-2102JST-C3",
    "SRC-EA-745-URL-76EB402C3D79",
    "SRC-EA-745-URL-07ABC3593E8A",
    "SRC-EA-745-URL-44839463304A",
    "BODY-SHA256:3ef9af3a5d61dbba94a26c52bb731371a58476c6a2bd364d0c14ed754be14915"
  ],
  "article_sources": [
    {
      "id": "EVD-EA-745-URL-76EB402C3D79",
      "evidence_class": "RESEARCH",
      "title": "NIST SP 800-226, Guidelines for Evaluating Differential Privacy Guarantees:",
      "href": "https://csrc.nist.gov/pubs/sp/800/226/final",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-745-URL-76EB402C3D79"
      ],
      "supporting_locators": [
        "Source / provenance locators",
        "- NIST SP 800-226, Guidelines for Evaluating Differential Privacy Guarantees: https://csrc.nist.gov/pubs/sp/800/226/final"
      ],
      "scope": "Source / provenance locators",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-745-URL-07ABC3593E8A",
      "evidence_class": "RESEARCH",
      "title": "NIST SP 800-226, Privacy/Utility Considerations for Synthetic Data:",
      "href": "https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-226.pdf",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-745-URL-07ABC3593E8A"
      ],
      "supporting_locators": [
        "Source / provenance locators",
        "- NIST SP 800-226, Privacy/Utility Considerations for Synthetic Data: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-226.pdf"
      ],
      "scope": "Source / provenance locators",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-745-URL-44839463304A",
      "evidence_class": "RESEARCH",
      "title": "NIST, Differentially Private Synthetic Data:",
      "href": "https://www.nist.gov/blogs/cybersecurity-insights/differentially-private-synthetic-data",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-745-URL-44839463304A"
      ],
      "supporting_locators": [
        "Source / provenance locators",
        "- NIST, Differentially Private Synthetic Data: https://www.nist.gov/blogs/cybersecurity-insights/differentially-private-synthetic-data"
      ],
      "scope": "Source / provenance locators",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EA-745-CURRENT-APPROVAL",
      "evidence_class": "RESEARCH",
      "title": "現行本文の監査・revision対応",
      "supports": [
        "現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。"
      ],
      "limit": "監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。",
      "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET",
      "source_or_experiment_ids": [
        "EA745-CANDIDATE-20261020-2102JST-C3"
      ],
      "supporting_locators": [
        "1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER#ea_id=EA-745&revision_id=EA-745-TRANSPORT-CORRECTION-20261020-C3&candidate_id=EA745-CANDIDATE-20261020-2102JST-C3",
        "EA-745-TRANSPORT-CORRECTION-20261020-C3"
      ],
      "provenance_status": "CURRENT_CANONICAL_APPROVAL_READBACK"
    },
    {
      "id": "EA-745-CURRENT-BODY-READBACK",
      "evidence_class": "IMPL",
      "title": "現行本文の収録照合",
      "supports": [
        "公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。"
      ],
      "limit": "本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。",
      "checked_at": "2026-10-20",
      "origin_class": "IMPLEMENTATION_READBACK",
      "source_or_experiment_ids": [
        "BODY-SHA256:3ef9af3a5d61dbba94a26c52bb731371a58476c6a2bd364d0c14ed754be14915"
      ],
      "supporting_locators": [
        "content/staging/EA-745.md",
        "3ef9af3a5d61dbba94a26c52bb731371a58476c6a2bd364d0c14ed754be14915",
        "EA-745-TRANSPORT-CORRECTION-20261020-C3"
      ],
      "provenance_status": "CURRENT_APPROVED_BODY_HASH_MATCH"
    }
  ],
  "research_sections": [
    {
      "heading": "要点と前提",
      "text": "機密データをそのまま評価datasetへ持ち込めない場合、synthetic dataは有力な代替手段です。しかし、生成物が実在人物のrecordを直接コピーしていないことと、privacy guaranteeが成立することは同義ではありません。EA-745では、synthetic evaluation dataをutility、memorization/re-identification risk、formal privacy guaranteeの三つに分けて評価します。\n\nNIST SP 800-226は、synthetic data生成手法にはdifferential privacy (DP)を満たすものと満たさないものがあり、DPを満たさないsynthetic dataは一般にinformalなprivacy guaranteeしか持たず、元データを明らかにするprivacy attackの報告があると整理しています。同時に、synthetic dataはsub-populationのaccuracyを低下させることがあり、生成過程が追加のuncertaintyやbiasを導入し得るとしています。したがって「privacyを上げたから評価datasetとして十分」とも、「utilityが高いからprivacy-safe」とも判断できません。"
    },
    {
      "heading": "三つの評価軸を分離する",
      "text": "**Utility**では、元データの単純な分布類似度だけでなく、評価用途で必要なcase coverage、subgroup、edge case、label/expectation、下流metricの順位やrelease判定が維持されるかを確認します。平均的な統計が近くても、rare failureやminority subgroupが消えていればeval datasetとしては不適切です。\n\n**Privacy attack resistance**では、membership inference、attribute/reconstruction、nearest-neighbor leakage、重複・ほぼ重複record、outlier leakageなど、想定するattacker modelに応じて検査します。Stadler et al.は、非DPのsynthetic dataがinference attackを必ずしも防がず、privacy-utility tradeoffも予測しにくいことを実験的に示しています。\n\n**Formal guarantee**では、DPを主張する場合に「DP対応」という製品ラベルだけで終えず、mechanism、privacy unit、epsilon/delta、composition、clipping/bounds、randomness、実装検証を記録します。NIST SP 800-226はDPを、個人データがdatasetに含まれることによるprivacy lossを定量化する数学的枠組みとして扱い、実装上のprivacy hazardも含めて評価する必要があるとしています。"
    },
    {
      "heading": "eval用途固有のfailure",
      "text": "synthetic generatorが元datasetの多数派をよく再現するほど、平均metricは安定して見える一方、評価で本当に必要なrare/high-risk caseを薄める可能性があります。逆に、privacyを強めるためにnoiseを増やすと、細いsubgroupや長いtailの特徴が失われ、モデルの回帰を検出できなくなる場合があります。\n\nもう一つのfailureは「syntheticだからproduction dataではない」としてaccess controlやretentionを緩めることです。非DP synthetic dataにはrobustなprivacy guaranteeがない場合があるため、attack evaluationが終わる前に公開・広域共有するべきではありません。"
    },
    {
      "heading": "実装control",
      "text": "生成runごとにsource dataset revision、generator/version、training configuration、random seed、privacy mechanism、privacy budget、生成件数、filtering/post-processingをmanifest化します。元データとのexact/near duplicate scanを行い、privacy attack suiteとutility suiteを別々に実行します。\n\nutility gateでは、全体平均だけでなくsubgroup、rare case、task-specific metric、model ranking stabilityを確認します。privacy gateでは、想定attackerのauxiliary knowledgeを明示し、membership/reconstruction等のattack successをbaselineと比較します。DPを採用する場合は、epsilonだけでなくdelta、privacy unit、compositionと実装条件をreadback可能な証拠として保存します。\n\nsynthetic dataを評価用に公開する場合でも、generator training dataのprovenanceと利用権限、生成物のrelease decision、attack結果、残存riskを記録します。privacy gateとutility gateの双方を通らないdatasetを「安全な代替dataset」として昇格させません。"
    },
    {
      "heading": "適用境界",
      "text": "DP synthetic dataはrobustなprivacy guaranteeを与え得ますが、utilityは用途依存です。NISTは、purpose-builtなDP analysisの方が同じ分析をsynthetic data上で行うより高いaccuracyを得ることが一般にあると説明しています。評価datasetが複雑な長文、画像、tool traceなど高次元データの場合、tabular synthetic dataの知見をそのまま外挿しません。\n\nまたDPはデータ品質、著作権、bias、安全性を自動的に解決しません。privacy-preservingであっても、誤ったexpectationや不十分なfailure coverageを持つeval datasetは品質保証には使えません。"
    },
    {
      "heading": "Counterevidence / limitations",
      "text": "synthetic dataは、元のsensitive recordを直接配布せず既存の分析workflowを利用できるという実務上の利点があります。NISTもDP synthetic dataをその用途の一つとして扱っています。一方で、非DP生成物に強いprivacyを仮定することはできず、DP生成物でもutility lossと追加uncertaintyが生じます。\n\nprivacy attack testに合格しても未知のattackへの安全を証明したことにはなりません。逆に、formal DP guaranteeは定義したprivacy unitとbudgetの範囲では強い保証ですが、実装不備や不適切なunit定義まで救済しません。"
    },
    {
      "heading": "OPEN_UNKNOWN",
      "text": "- LLM生成の長文synthetic evalで、memorizationと一般的な定型表現の一致をどう分離するか。\n- 複数回のdataset再生成・公開でprivacy budgetをどうcompositionするか。\n- rare/high-risk caseを保持しつつsubgroup utilityを維持できる最小privacy budgetは用途ごとにどこか。\n- hosted generatorが内部training dataやprivacy mechanismを開示しない場合、どの証拠を代替とするか。"
    },
    {
      "heading": "SAFE_WORDING",
      "text": "「synthetic dataなので個人情報を含まず安全」とは表現しません。安全な表現は、「synthetic evaluation dataは元データの直接配布を減らせるが、privacyは自動的には保証されない。utility、memorization/re-identification risk、DP等のformal guaranteeを分離して評価し、用途に応じたprivacy/utility gateを設ける」です。"
    },
    {
      "heading": "Source / provenance locators",
      "text": "- NIST SP 800-226, Guidelines for Evaluating Differential Privacy Guarantees: https://csrc.nist.gov/pubs/sp/800/226/final\n- NIST SP 800-226, Privacy/Utility Considerations for Synthetic Data: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-226.pdf\n- NIST, Differentially Private Synthetic Data: https://www.nist.gov/blogs/cybersecurity-insights/differentially-private-synthetic-data\n- Stadler, Oprisanu, Troncoso, Synthetic Data -- Anonymisation Groundhog Day, arXiv:2011.07018\n- Repository base: taiyakiyaita009-max/enterprise-ai-dictionary-web main @ c8b4a44a167c831b84cffa1ee53f9f29752245d4"
    }
  ],
  "human_url": "/tools/ea-745-privacy-preserving-synthetic-evaluation-data",
  "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-745-privacy-preserving-synthetic-evaluation-data",
  "json_url": "/agent/article.json?path=%2Ftools%2Fea-745-privacy-preserving-synthetic-evaluation-data"
}