# 派生AIデータの消去と埋め込み・索引の残留管理 CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-513-ai CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-513-URL-C453457DED10, EVD-EA-513-URL-178604109CBC, EVD-EA-513-URL-6C5B89B2AEC1, EVD-EA-513-URL-E45D316680C3, EVD-EA-513-URL-156DC764B4AE, EA-513-CURRENT-APPROVAL, EA-513-CURRENT-BODY-READBACK UNKNOWN_IDS: EA-513-UNKNOWN-01 OPS_IDS: none ## Summary 原文を削除しても、その原文から作ったチャンク、埋め込み、索引、要約、評価用コピーまで消えたとは限りません。派生AIデータの消去では、元データとの依存関係、削除操作が及ぶ単位、検索からの不可視化、保存領域の回収、バックアップからの再導入、再生成を別々に管理します。EA-512が削除要求全体の伝播と証拠を扱うのに対し、本項は派生表現と保存層の残留を扱います。 ## Current judgment QdrantのVacuum Optimizer文書は、削除されたレコードを直ちに物理除去せず、削除済みとして記録した後に整理する仕組みを説明しています[S1]。MilvusのTTL文書も検索上の失効と保存上の物理除去を分けています[S2]。これらは、削除後に検索結果が空でも、保存層の整理が同時に終わったとは限らないことを示します。vacuumやcompactionの存在を、バックアップや媒体全体の消去保証へ拡張しません。 ## Scope 派生AIデータの消去と埋め込み・索引の残留管理 ## Confirmed - QdrantのVacuum Optimizer文書は、削除されたレコードを直ちに物理除去せず、削除済みとして記録した後に整理する仕組みを説明しています[S1]。MilvusのTTL文書も検索上の失効と保存上の物理除去を分けています[S2]。これらは、削除後に検索結果が空でも、保存層の整理が同時に終わったとは限らないことを示します。vacuumやcompactionの存在を、バックアップや媒体全体の消去保証へ拡張しません。 Qdrantには指定した名前のベクトルを削除するAPIがあります[S3]。削除対象を「文書」とだけ記録すると、point全体、payload、text vector、image vector、その他のnamed vectorのどれを消したのか分からなくなります。操作の単位を識別し、残す成分と削除する成分を明示しなければなりません。 独立研究Ghost Vectorsは、調査したHNSW実装において、論理削除後も保存層へのアクセスから埋め込みを回収し、逆変換によって情報を復元できたと報告しています[S4]。これは論文の実験条件に限った観測であり、全製品の現行版や通常APIからの回収可能性を示すものではありません。署名付きの削除イベント記録も、その記録だけで全複製の不可逆消去を証明するものではありません。 ## UNKNOWN - EA-513-UNKNOWN-01: 全派生物の完全なlineage、各実装の現在版における残留・逆変換可能性、WAL/backupの実保存期間、暗号鍵の全複製、物理媒体の消去、外部保存先の削除、独立した本番事故の再現は未確認です。本RUNでは生の索引ファイルからの復元、実クラスタへの削除、復元試験を実施していません。 ## Evidence - EVD-EA-513-URL-C453457DED10 (RESEARCH): [S1] Qdrant Optimizer, Vacuum Optimizer: — https://qdrant.tech/documentation/operations/optimizer/ - EVD-EA-513-URL-178604109CBC (RESEARCH): [S2] Milvus Set Collection TTL, v3.0.x表示、Overview: — https://milvus.io/docs/set-collection-ttl.md - EVD-EA-513-URL-6C5B89B2AEC1 (RESEARCH): [S3] Qdrant Delete vectors API, v1.19.x、pointsとvectorsの指定: — https://api.qdrant.tech/api-reference/points/delete-vectors - EVD-EA-513-URL-E45D316680C3 (RESEARCH): [S4] Chakraborttiiほか, Ghost Vectors, arXiv:2606.18497、Abstract（原著著者の実験報告。個別実装の最新版再試験は未実施）: — https://arxiv.org/abs/2606.18497 - EVD-EA-513-URL-156DC764B4AE (RESEARCH): [S5] DigitalOcean Restore Weaviate Clusters from Backups, 現在状態の置換: — https://docs.digitalocean.com/products/vector-databases/weaviate/how-to/restore-from-backups/ - EA-513-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応 - EA-513-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合 ## Failure / limits 失敗は、text vectorだけ削除してimage/sparse vectorを残すこと、元文書の削除後も要約や評価コピーを配信すること、物理整理前のAPI不在を媒体消去とすること、古いsnapshotから復元して再照合しないこと、失効確認前のジョブが再生成することです。横断トランザクションがない構成では、部分成功を明示し、完了していない保存面を検索経路から隔離する必要があります。 ## Failure / limits 論理削除は通常の読取経路から対象を排除するために有効な制御であり、それ自体が無意味なのではありません。ただし保存層へのアクセスを含む脅威モデルでは証明範囲が不足します。Ghost Vectorsの観測を全データベースへ一般化せず、製品版、索引方式、保存アクセス、暗号化、compactionの実設定を確認します。ベクトルDBでの削除から、学習済みモデル内部の忘却を推定することもできません。 ## Failure / limits 対象vector名、派生物の元版、復元点、失効記録、残留検証の範囲が不明なら完全消去を宣言しません。未照合保存先があれば、その状態と提供面への影響を残します。 ## PUBLIC_CLAIM 原文を削除しても、その原文から作ったチャンク、埋め込み、索引、要約、評価用コピーまで消えたとは限りません。派生AIデータの消去では、元データとの依存関係、削除操作が及ぶ単位、検索からの不可視化、保存領域の回収、バックアップからの再導入、再生成を別々に管理します。EA-512が削除要求全体の伝播と証拠を扱うのに対し、本項は派生表現と保存層の残留を扱います。 ## ESTABLISHED QdrantのVacuum Optimizer文書は、削除されたレコードを直ちに物理除去せず、削除済みとして記録した後に整理する仕組みを説明しています[S1]。MilvusのTTL文書も検索上の失効と保存上の物理除去を分けています[S2]。これらは、削除後に検索結果が空でも、保存層の整理が同時に終わったとは限らないことを示します。vacuumやcompactionの存在を、バックアップや媒体全体の消去保証へ拡張しません。 Qdrantには指定した名前のベクトルを削除するAPIがあります[S3]。削除対象を「文書」とだけ記録すると、point全体、payload、text vector、image vector、その他のnamed vectorのどれを消したのか分からなくなります。操作の単位を識別し、残す成分と削除する成分を明示しなければなりません。 独立研究Ghost Vectorsは、調査したHNSW実装において、論理削除後も保存層へのアクセスから埋め込みを回収し、逆変換によって情報を復元できたと報告しています[S4]。これは論文の実験条件に限った観測であり、全製品の現行版や通常APIからの回収可能性を示すものではありません。署名付きの削除イベント記録も、その記録だけで全複製の不可逆消去を証明するものではありません。 ## DERIVATION_GRAPH 消去対象は、source_idとsource_revisionから派生したartifactの集合として管理します。文書→チャンク→dense/sparse embedding→索引→検索キャッシュの経路に加え、要約、reranker用保存データ、知識グラフ、評価データ、trace、エクスポートも対象候補です。ここでの列挙は設計上の点検範囲であり、個々の製品が全種類を保存するという主張ではありません。 各artifactにはtenant、保存先、region、生成元の版、生成設定、モデル版、複製先、保持期限、削除APIの単位、検証方法を対応させます。依存関係が欠けている場合は自動的な完全性を主張せず、再スキャンか残留リスクの明示が必要です。複数原文を混ぜた要約などは、対象原文を消した後に残してよいかを判断し、必要なら残りの原文から再生成します。 ## CONTROL_AND_IMPLEMENTATION | 対象 | 操作・検証の要点 | | --- | --- | | 元文書・チャンク | 元版との対応を照合し、ID取得と検索の両方で不在を確認 | | named vector | 削除するvector名を列挙し、他のvectorやpayloadとの違いを再読込 | | 索引・セグメント | 提供面の不可視化とvacuum/compactionの進行を別記録 | | 要約・評価・graph | 依存集合を求め、削除または対象を除いた再計算を実施 | | WAL・snapshot・backup | 保存点、保持、復元時の失効記録照合を個別に管理 | | cache・export・trace | 保存責任と削除可能範囲を定め、照合不能を未知として記録 | 削除イベントには一意な要求IDと対象版を付け、遅延ジョブやCDC経路が古い入力から再生成しないよう、書込み直前にも失効記録を照合します。対象版以降の全データを無条件に消すと正当な再登録まで破壊するため、再登録の権限と版の系譜を区別します。削除要求そのものを含む監査ログには本文や埋め込みを再収録しません。 再読込では、削除したIDが返らないことに加え、該当するvector名、検索結果の引用元、キャッシュ結果、派生要約を確認します。類似した公開文書が検索されることと、対象の削除失敗を混同しないよう、照合は文字列の類似性だけに依存せずartifact IDと元版へ結び付けます。 ## BACKUP_AND_REDERIVATION DigitalOceanの復元仕様は、現在状態を過去のバックアップで置き換えることを明示しています[S5]。そのため削除より古い保存点を復元した場合、派生物も復元対象に含まれていれば再導入され得ます。これは文書から導く推論であり、本RUNでの実機再現結果ではありません。外部に保持した削除義務を復元後に再適用し、再生成入力の失効も確認してから提供を再開します。 WALによる現行系列の復旧と、削除前snapshotの復元は同じ検証ではありません。前者に削除記録が存在しても、独立した古いsnapshotが後から自動的に消えるわけではありません。各保存物の保持期限と復元責任を追跡します。暗号消去を用いる場合は対象鍵の範囲、複製鍵、平文一時物、共有鍵で保護する他データへの影響を別途検証します。 ## FAILURE_ENVELOPE 失敗は、text vectorだけ削除してimage/sparse vectorを残すこと、元文書の削除後も要約や評価コピーを配信すること、物理整理前のAPI不在を媒体消去とすること、古いsnapshotから復元して再照合しないこと、失効確認前のジョブが再生成することです。横断トランザクションがない構成では、部分成功を明示し、完了していない保存面を検索経路から隔離する必要があります。 ## COUNTEREVIDENCE_AND_LIMITATIONS 論理削除は通常の読取経路から対象を排除するために有効な制御であり、それ自体が無意味なのではありません。ただし保存層へのアクセスを含む脅威モデルでは証明範囲が不足します。Ghost Vectorsの観測を全データベースへ一般化せず、製品版、索引方式、保存アクセス、暗号化、compactionの実設定を確認します。ベクトルDBでの削除から、学習済みモデル内部の忘却を推定することもできません。 ## OPEN_UNKNOWN 全派生物の完全なlineage、各実装の現在版における残留・逆変換可能性、WAL/backupの実保存期間、暗号鍵の全複製、物理媒体の消去、外部保存先の削除、独立した本番事故の再現は未確認です。本RUNでは生の索引ファイルからの復元、実クラスタへの削除、復元試験を実施していません。 ## SAFE_WORDING 「指定したartifactと版について、提供面の不在と確認可能な保存層の整理状態を記録した」とします。埋め込みを匿名データと決めつけず、論理削除、物理除去、暗号消去、バックアップ失効の証拠を分けて説明します。 ## 運用上の停止・確認条件 対象vector名、派生物の元版、復元点、失効記録、残留検証の範囲が不明なら完全消去を宣言しません。未照合保存先があれば、その状態と提供面への影響を残します。 ## SOURCES_AND_PROVENANCE 既存研究EA-513-R1-20261012と継続Doc 1XpjZC_R1eHlIckvUaEaJ_mcj6YW6j0ihZ0b91z5vewUのEA-513節を継承。下記一次資料・原著を2026-10-18に確認し、文書仕様、原著の実験、提案制御、未実施試験を区別しました。 - [S1] Qdrant Optimizer, Vacuum Optimizer: https://qdrant.tech/documentation/operations/optimizer/ - [S2] Milvus Set Collection TTL, v3.0.x表示、Overview: https://milvus.io/docs/set-collection-ttl.md - [S3] Qdrant Delete vectors API, v1.19.x、pointsとvectorsの指定: https://api.qdrant.tech/api-reference/points/delete-vectors - [S4] Chakraborttiiほか, Ghost Vectors, arXiv:2606.18497、Abstract（原著著者の実験報告。個別実装の最新版再試験は未実施）: https://arxiv.org/abs/2606.18497 - [S5] DigitalOcean Restore Weaviate Clusters from Backups, 現在状態の置換: https://docs.digitalocean.com/products/vector-databases/weaviate/how-to/restore-from-backups/ NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.