{
  "format": "agent-article-v0",
  "article_id": "EA-251",
  "canonical_url": "/tools/ea-251-data-quality-gate-for-rag-ai",
  "page_type": "reference",
  "claim_ids": [],
  "evidence_ids": [
    "EA-251-CURRENT-APPROVAL",
    "EA-251-CURRENT-BODY-READBACK"
  ],
  "unknown_ids": [
    "EA-251-UNKNOWN-01"
  ],
  "operational_object_ids": [],
  "provider": [],
  "models": [],
  "plans": [],
  "surfaces": [],
  "regions": [],
  "current_status": "CURRENT",
  "observation_status": "SPEC_ONLY",
  "freshness": "CURRENT",
  "last_verified": "2026-10-06",
  "supersedes": [],
  "superseded_by": [],
  "provenance": [
    "V23-CANDIDATE-EA251-FIRST-20261015-C3",
    "BODY-SHA256:b22d7b4d734fba0d1d221f095efa6bc919003e949d154ea7569921d21671e988"
  ],
  "article_sources": [
    {
      "id": "EA-251-CURRENT-APPROVAL",
      "evidence_class": "RESEARCH",
      "title": "現行本文の監査・revision対応",
      "supports": [
        "現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。"
      ],
      "limit": "監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。",
      "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET",
      "source_or_experiment_ids": [
        "V23-CANDIDATE-EA251-FIRST-20261015-C3"
      ],
      "supporting_locators": [
        "1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER!A53:U53",
        "EA_REVISION_LEDGER!A53:U53",
        "EA-251-FIRST-20261006"
      ],
      "provenance_status": "CURRENT_CANONICAL_APPROVAL_READBACK"
    },
    {
      "id": "EA-251-CURRENT-BODY-READBACK",
      "evidence_class": "IMPL",
      "title": "現行本文の収録照合",
      "supports": [
        "公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。"
      ],
      "limit": "本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。",
      "checked_at": "2026-10-17",
      "origin_class": "IMPLEMENTATION_READBACK",
      "source_or_experiment_ids": [
        "BODY-SHA256:b22d7b4d734fba0d1d221f095efa6bc919003e949d154ea7569921d21671e988"
      ],
      "supporting_locators": [
        "content/staging/EA-251.md",
        "b22d7b4d734fba0d1d221f095efa6bc919003e949d154ea7569921d21671e988",
        "EA-251-FIRST-20261006"
      ],
      "provenance_status": "CURRENT_APPROVED_BODY_HASH_MATCH"
    }
  ],
  "research_sections": [
    {
      "heading": "PUBLIC_CLAIM",
      "text": "RAG/AIのData Quality Gateは、定義したdata constraintsを満たさないrevisionをindex/servingへ進めないための制御です。\nGate PASSは「検査したconstraintを満たした」ことを示します。retrieval relevance、groundedness、answer correctnessまで保証するものではありません。"
    },
    {
      "heading": "GATE_PLACEMENT",
      "text": "少なくともsource ingest前後、parse/normalize/chunk後、embedding/index materialization後、serving/publish直前、RAG/answer evaluationを分離します。data gateとAI eval gateを一つのPASSへ潰しません。"
    },
    {
      "heading": "VERSIONED_QUALITY_CONTRACT",
      "text": "quality contractにはdataset/source IDとinput revision、contract version、validator/runtime version、constraint ID、severity(BLOCK/WARN/QUARANTINE)、threshold、sampling scope、run ID/timestamp、validation result、failed constraint、result hash/readbackを固定します。contract変更時、旧revisionのPASSを新contractへ自動継承しません。"
    },
    {
      "heading": "QUALITY_DIMENSIONS",
      "text": "schema/type、completeness/missing、validity/domain、uniqueness/duplicate、referential integrity、freshness、volume、distribution/anomalyを別dimensionとして扱います。freshness PASSだけでquality PASSとは判定しません。"
    },
    {
      "heading": "RAG_SPECIFIC_CHECKS",
      "text": "parser成功率、empty/near-empty text、encoding/language、source document count、chunk count/size bounds、duplicate chunk、source→chunk coverage、required source/version metadata、ACL/tenant metadata presence、embedding/index materialization coverageを検査対象にします。parserがsuccess statusでも本文欠落があり得るためoutput coverageを別確認します。"
    },
    {
      "heading": "SAMPLE_VS_FULL",
      "text": "sample validationのPASSをfull dataset PASSと表記しません。sample definition、抽出条件、件数、coverageを保存しSAMPLE_PASS等として区別します。高risk constraintはfull scanまたはdataset-level検証を要求します。"
    },
    {
      "heading": "INCREMENTAL_UPDATE",
      "text": "partition/incremental updateでは変更部分validationとdataset-level invariantを分離します。更新partitionのPASSだけを全datasetへ外挿しません。"
    },
    {
      "heading": "FAILURE_POLICY",
      "text": "BLOCKはcandidate revisionをpublishしません。QUARANTINEはbad batch/materializationをserving pathから分離します。WARNはpublish許容可能ですがPASSへ書き換えません。failure時にknown-good revisionをserveする場合、そのage/freshness SLOも監視します。"
    },
    {
      "heading": "PUBLISH_READBACK",
      "text": "validation result保存だけではbad revisionがserveされていない証明になりません。publish/alias/index versionを再取得し、expected known-goodまたはvalidated revisionが実際にservingされていることをreadbackします。validation→publish race、manual bypass、別pipeline経路もfailure envelopeへ含めます。"
    },
    {
      "heading": "AI_EVAL_BOUNDARY",
      "text": "Data Quality Gate PASSとRAG/answer eval PASSを別stateとして保持します。dataが完全でもretriever設定、embedding、ranking、prompt、model、tool executionにより回答品質は失敗できます。逆にAI evalの小さなsampleがPASSしてもdata quality defectを消しません。"
    },
    {
      "heading": "IMPLEMENTATION_STATE",
      "text": "本項は2026-10-06時点のGreat Expectations 1.23.2/0.18.21 documentation、Deequ current repository/releasesおよびNeurIPS 2018/ICDE 2019研究、Soda data-quality documentationとbounded local fixtureに基づきます。live Great Expectations/Deequ/Soda、production dataset、vector index、RAG evaluationへのmutationは未実施です。"
    },
    {
      "heading": "FAILURE_ENVELOPE",
      "text": "wrong threshold、stale contract、validator version drift、sample bias、null sentinel mismatch、timezone/freshness error、schema-compatible semantic drift、partition-only blind spot、duplicate normalization mismatch、parser silent loss、chunk explosion/collapse、ACL metadata欠落、embedding/index partial write、validation store outage、gate action fail-open、validate/publish race、known-good freshness超過、quarantine肥大化、manual bypass、result tampering、sensitive failed-row leakage、data PASS後のAI eval regressionを想定します。"
    },
    {
      "heading": "SAFE_WORDING",
      "text": "RAG/AIのData Quality Gateは、定義したdata constraintsを満たさないrevisionをindex/servingへ進めないための制御です。freshness、completeness、validity、uniqueness、schema、referential integrity、volume/distributionとRAG固有のparse/chunk/ACL/index coverageを分離して検査し、結果と実際のserving revisionをreadbackしてください。Gate PASSはretrieval品質やAI回答の正しさを保証しないため、RAG/answer evalを別gateとして維持します。"
    },
    {
      "heading": "OPEN_UNKNOWN",
      "text": "対象dataset、business constraints、freshness SLO、sampling policy、parser/chunker、ACL requirements、index publish mechanism、validator stack/version、known-good retention、quarantine policy、AI eval suite、tenant privacy/retentionは未確認です。"
    }
  ],
  "human_url": "/tools/ea-251-data-quality-gate-for-rag-ai",
  "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-251-data-quality-gate-for-rag-ai",
  "json_url": "/agent/article.json?path=%2Ftools%2Fea-251-data-quality-gate-for-rag-ai"
}