Data 変更・継承の履歴／出典・来歴をAI回答までつなぐ

AI回答のcitation、execution trace、data lineageは同一ではありません。 citationは回答からsourceを参照する表示、traceはLLM・retrieval・tool等の実行経路、lineageはsource artifactから派生artifactまでのderivationです。監査・再現・影響分析に使う場合は、この三者をstable identifierで接続します。

最低限、次のchainを追跡可能にします。 source revision → transform run → document/chunk → embedding/index revision → retrieval span → generation run → answer citation 各edgeについて、誰が・何を・どのversionで生成または使用したかを記録します。

sourceのURL、table名、document IDだけをversion identityにしません。利用可能ならsnapshot ID、object version、commit、database version、content hash等のimmutable revisionを記録します。同じURIでも内容が更新されれば別revisionとして扱います。OpenLineageにはdataset versionを表すfacetがありますが、version semantics自体はsource system側で定義します。

parse、normalize、chunk、redact、embed、index buildを独立したtransform/runとして識別します。各materializationへsource revision、transform/code/config revision、chunker revision、embedding model/version、index namespace/revision、output document/chunk IDを関連付けます。re-chunkingやre-embeddingでIDが変わる場合、旧materializationとのsupersedes/derivation関係を保持します。

jobのinput一覧とoutput一覧を単純なCartesian productで結びません。複数input・複数outputのjobでは、どのsourceがどのtargetを生成したかをexplicit edgeとして記録します。OpenLineage 1.53.0のLineage Job Facetも、false edgeを避けるためtargetごとのinputsを表現できます。

retrieval spanにはtrace/span ID、index revision、query/filter revision、returned chunk ID、source/document URIまたはstable source ID、rank/score、retrieval timestampを可能な範囲で残します。MLflowのRETRIEVER span schemaではdocument metadataにdoc_uri、chunk_id等を持たせられます。

generation runへmodel ID/revision、prompt/template revision、retrieval/tool child spanを結び付けます。answer citationは表示URLだけで終わらせず、実際にretrievedされたchunk IDへ接続します。引用表示とretrieval evidenceが一致しないorphan citationを検出対象にします。providerがexact model revisionを公開しない場合は推測せずUNKNOWNとして残します。

lineage eventを送信したことだけでcompleteと判定しません。required chainの各edgeが存在するか検査し、欠落したedgeを記録します。trace samplingを行う場合、untraced requestをprovenanceありと扱いません。

source訂正、権限変更、削除、embedding/model更新時にはreverse lineageで影響対象を列挙します。対象にはderived chunk、index entry、cache、retrieval evidence、必要に応じて保存済みanswerを含めます。lineage recordが対象を示したことと、実際に削除・再構築されたことは別です。downstream storage/indexをreadbackして完了を確認します。

lineage/trace storeを二次的な機密data storeとして扱います。full prompt、retrieved document、tool outputを無制限に保存せず、監査目的にstable IDs、hash、version metadataで足りる箇所はraw contentを避けます。raw contentが必要な場合はtenant isolation、access control、encryption、redaction、retentionを明示します。

W3C PROVはEntity、Activity、Agentとderivation/usage/responsibilityを表現する概念基盤を提供します。OpenLineageはRun、Job、Datasetとfacetsでdata/job lineageを表現できます。MLflow tracingはLLM/retrieval/tool executionをspan treeとして記録できます。これらが自動的に相互運用するとは仮定せず、organization固有のmapping schemaとversionを管理します。

source version欠落、mutable URI、chunk ID変更、transform/embed/index revision欠落、false Cartesian edge、collector drop、out-of-order event、trace sampling、retrieval metadata欠落、citation rewrite、provenanceなしcache、tool output未接続、model revision UNKNOWN、tenant ID衝突、traceへのPII/secret流出、retention不一致、lineage store改ざん、delete未伝播、reverse-lineage欠落���rebuildによるID断絶を想定します。

本項は2026-10-06時点のW3C PROV、OpenLineage 1.53.0、MLflow GenAI tracing documentationとbounded local fixtureに基づきます。live lineage backend、vector DB、model provider、organization datasetへのmutationは未実施です。

AI回答のcitation、execution trace、data lineageは同一ではありません。sourceのimmutable version、transform/chunk/embed/index revision、retrieval spanとchunk identity、generation run、answer citationをstable IDsで接続し、required edgeの欠落を検査してください。lineage recordは削除・再現・正しさそのものの証明ではないため、downstream readbackや再現試験を別に行います。

対象source system、immutable version availability、lineage backend、vector/index revision semantics、chunk ID policy、embedding/model revision、prompt registry、trace sampling、tenant/IAM、retention/redaction、citation renderer、reverse-lineage query、deletion/rebuild SLOは未確認です。

citation/trace/lineageを分離し、source revision→materialization→retrieval→answerのrequired edge、false-edge防止、privacy boundary、reverse-lineage/readbackを監査可能な運用境界として固定します。