Data Quality 確認・承認の条件 for RAG／AI

RAG/AIのData Quality Gateは、定義したdata constraintsを満たさないrevisionをindex/servingへ進めないための制御です。 Gate PASSは「検査したconstraintを満たした」ことを示します。retrieval relevance、groundedness、answer correctnessまで保証するものではありません。

少なくともsource ingest前後、parse/normalize/chunk後、embedding/index materialization後、serving/publish直前、RAG/answer evaluationを分離します。data gateとAI eval gateを一つのPASSへ潰しません。

quality contractにはdataset/source IDとinput revision、contract version、validator/runtime version、constraint ID、severity(BLOCK/WARN/QUARANTINE)、threshold、sampling scope、run ID/timestamp、validation result、failed constraint、result hash/readbackを固定します。contract変更時、旧revisionのPASSを新contractへ自動継承しません。

schema/type、completeness/missing、validity/domain、uniqueness/duplicate、referential integrity、freshness、volume、distribution/anomalyを別dimensionとして扱います。freshness PASSだけでquality PASSとは判定しません。

parser成功率、empty/near-empty text、encoding/language、source document count、chunk count/size bounds、duplicate chunk、source→chunk coverage、required source/version metadata、ACL/tenant metadata presence、embedding/index materialization coverageを検査対象にします。parserがsuccess statusでも本文欠落があり得るためoutput coverageを別確認します。

sample validationのPASSをfull dataset PASSと表記しません。sample definition、抽出条件、件数、coverageを保存しSAMPLE_PASS等として区別します。高risk constraintはfull scanまたはdataset-level検証を要求します。

partition/incremental updateでは変更部分validationとdataset-level invariantを分離します。更新partitionのPASSだけを全datasetへ外挿しません。

BLOCKはcandidate revisionをpublishしません。QUARANTINEはbad batch/materializationをserving pathから分離します。WARNはpublish許容可能ですがPASSへ書き換えません。failure時にknown-good revisionをserveする場合、そのage/freshness SLOも監視します。

validation result保存だけではbad revisionがserveされていない証明になりません。publish/alias/index versionを再取得し、expected known-goodまたはvalidated revisionが実際にservingされていることをreadbackします。validation→publish race、manual bypass、別pipeline経路もfailure envelopeへ含めます。

Data Quality Gate PASSとRAG/answer eval PASSを別stateとして保持します。dataが完全でもretriever設定、embedding、ranking、prompt、model、tool executionにより回答品質は失敗できます。逆にAI evalの小さなsampleがPASSしてもdata quality defectを消しません。

本項は2026-10-06時点のGreat Expectations 1.23.2/0.18.21 documentation、Deequ current repository/releasesおよびNeurIPS 2018/ICDE 2019研究、Soda data-quality documentationとbounded local fixtureに基づきます。live Great Expectations/Deequ/Soda、production dataset、vector index、RAG evaluationへのmutationは未実施です。

wrong threshold、stale contract、validator version drift、sample bias、null sentinel mismatch、timezone/freshness error、schema-compatible semantic drift、partition-only blind spot、duplicate normalization mismatch、parser silent loss、chunk explosion/collapse、ACL metadata欠落、embedding/index partial write、validation store outage、gate action fail-open、validate/publish race、known-good freshness超過、quarantine肥大化、manual bypass、result tampering、sensitive failed-row leakage、data PASS後のAI eval regressionを想定します。

RAG/AIのData Quality Gateは、定義したdata constraintsを満たさないrevisionをindex/servingへ進めないための制御です。freshness、completeness、validity、uniqueness、schema、referential integrity、volume/distributionとRAG固有のparse/chunk/ACL/index coverageを分離して検査し、結果と実際のserving revisionをreadbackしてください。Gate PASSはretrieval品質やAI回答の正しさを保証しないため、RAG/answer evalを別gateとして維持します。

対象dataset、business constraints、freshness SLO、sampling policy、parser/chunker、ACL requirements、index publish mechanism、validator stack/version、known-good retention、quarantine policy、AI eval suite、tenant privacy/retentionは未確認です。