{
  "format": "agent-article-v0",
  "article_id": "CORE-07",
  "canonical_url": "/core/core-07",
  "page_type": "reference",
  "claim_ids": [],
  "evidence_ids": [
    "CORE-07-DOCUMENT-READBACK"
  ],
  "unknown_ids": [
    "CORE-07-CURRENTNESS"
  ],
  "operational_object_ids": [],
  "provider": [],
  "models": [],
  "plans": [],
  "surfaces": [],
  "regions": [],
  "current_status": "UNKNOWN",
  "observation_status": "UNOBSERVED",
  "freshness": "UNKNOWN",
  "last_verified": null,
  "supersedes": [],
  "superseded_by": [],
  "provenance": [
    "DOC-083cde4caa627644-CORE-07"
  ],
  "article_sources": [
    {
      "id": "CORE-07-DOCUMENT-READBACK",
      "evidence_class": "IMPL",
      "title": "原資料との収録照合",
      "supports": [
        "資料単位の本文ハッシュ、段落数、表数を照合しています。"
      ],
      "limit": "収録照合は主張の真偽や外部根拠の最新性を追加保証しません。",
      "origin_class": "DOCUMENT_INGESTION_READBACK",
      "source_or_experiment_ids": [
        "DOC-083cde4caa627644-CORE-07"
      ],
      "supporting_locators": [
        "18WPldGemks2px0ukhKYINeBMrBwAmlAi",
        "083cde4caa627644036a2225f1f6ff29b8015bd902614fe1f7a00a997b4eb59c",
        "packets/CORE-07.md",
        "bd838e20291653f84d3dcc37b41c2b03472e629644bffd369dc2c520b14e9347"
      ],
      "scope": "公開指定を受けた資料単位の全文・表・出典。",
      "provenance_status": "SOURCE_IDENTITY_VERIFIED"
    }
  ],
  "research_sections": [
    {
      "heading": "資料の識別情報",
      "text": "Source SHA-256 35ab1fce4e543b0deb92ef2e8098d9299bd177365c4e95873a5f61e475894265"
    },
    {
      "heading": "Enterprise AI Core — CORE-07 Golden Dataset / Pre-release Evaluation Contract",
      "text": "PACKET_ID: PKT-GEMINI-A-CORE-07-v0.1\n\nSECTION_ID: CORE-07\n\nWAVE: WAVE-A\n\nLAYER: ENTERPRISE_AI_CORE\n\nSTATUS: INITIAL_COMPILE_AUDITED_V0.1\n\nAS_OF: 2026-09-07\n\nDEPENDENCIES: CORE-01, CORE-02, CORE-03, CORE-04, CORE-05, CORE-06\n\nFROZEN_TOC: S063 v0.1"
    },
    {
      "heading": "1. Scope boundary",
      "text": "CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。\n\n含まない:\n\n- production traffic上のlive evaluation（CORE-08）\n\n- human trust、automation bias、承認UIの有効性（CORE-09）\n\n- release/change management全体（CORE-11）\n\n- incident response全体（CORE-12）\n\n- provider固有のeval service、model availability、quota、価格（Product Mapping）\n\n- 組織固有の閾値、risk appetite、release authority、更新周期（Organization Overlay）"
    },
    {
      "heading": "2. Canonical concepts",
      "text": "| CONCEPT_ID | TERM | CORE-07での境界 |\n| --- | --- | --- |\n| C-GOLDEN-DATASET | Golden dataset | task分布、期待結果、provenance、利用条件、版を持つrelease評価用dataset |\n| C-FAILURE-CORPUS | Failure corpus | 過去障害・near miss・known-bad outputを再発防止caseへ変換した集合 |\n| C-FRESHNESS-SET | Freshness set | 時点依存の事実・source・policy変更を検査する更新可能slice |\n| C-HIDDEN-HOLDOUT | Hidden holdout | prompt/config作成者とcandidate optimizationから隔離された非公開case集合 |\n| C-CHALLENGE-SET | Challenge set | 境界条件、adversarial入力、tail riskを狙って構成した反証集合 |\n| C-SCORER | Scorer | exact match、schema、citation、code/test等を判定する版付き手続き |\n| C-JUDGE | Judge | rubricに基づき意味品質等を判定する人またはmodel。oracleと同一視しない |\n| C-RUBRIC | Rubric | 観測可能な評価軸、尺度、失敗条件、abstentionを定義した版付き規則 |\n| C-THRESHOLD | Threshold | slice／risk class別のrelease合格条件。普遍的数値ではない |\n| C-EVAL-RUN | Evaluation run | dataset、candidate、scorer、judge、environment、resultを結ぶimmutable record |\n| C-CANDIDATE-CONFIG | Candidate configuration | CORE-06の完全なcandidate bundle参照。promptだけを候補identityにしない |"
    },
    {
      "heading": "3. Claims v0.1",
      "text": "| CLAIM_ID | CLAIM | CURRENT SUPPORT | STATUS |\n| --- | --- | --- | --- |\n| CLM-C07-001 | release判定はcandidate config、dataset、scorer、judge、rubric、environment、resultの各versionを結ぶEvaluation Contractに基づく | S045 manifest; CORE-01/06 dependency | INITIAL_SYNTHESIS |\n| CLM-C07-002 | golden datasetは対象task分布を代表するが、全運用条件の完全な代理にはならない | S013/S014/S053 manifest; CE-C07-001/003 | INITIAL_BOUNDED_RULE |\n| CLM-C07-003 | 過去のfailureとnear missはfailure corpusへ固定し、candidateごとにregression gateを通す | S029/S045/S054 manifest; CORE-12 route | INITIAL_SYNTHESIS |\n| CLM-C07-004 | freshness依存caseは静的golden setから分離し、source snapshotとeffective dateを持つ | CORE-02 source/freshness contract | EVIDENCE_CARRY |\n| CLM-C07-005 | hidden holdoutは作成・tuning・prompt revisionから隔離し、漏洩疑い時は合格証拠を失効させる | CE-C07-001/003; Frozen requirement | INITIAL_BOUNDED_RULE |\n| CLM-C07-006 | deterministicに検証できるschema、citation、calculation、code、artifact条件をLLM judgeへ委ねない | S013/S014/S053/S054 manifest | INITIAL_SYNTHESIS |\n| CLM-C07-007 | LLM judgeはjudge ID/version、prompt、rubric、sampling、position/order、abstention、human adjudicationを記録する | S013/S014/S053 manifest; CE-C07-002 | INITIAL_SYNTHESIS |\n| CLM-C07-008 | overall averageだけで合格させず、critical slice、worst-case、failure count、varianceを別gateにする | CE-C07-004; CORE-04 risk-tail carry | INITIAL_BOUNDED_RULE |\n| CLM-C07-009 | safety評価はunsafe complianceとover-refusalを対で測り、拒否率だけを安全性としない | Frozen acceptance TST-C07-06 | INITIAL_SYNTHESIS |\n| CLM-C07-010 | non-deterministic taskは単発scoreでなく反復run、variance、pass^k等を用途に応じて記録する | S039/S049 manifest; CORE-06 drift carry | INITIAL_BOUNDED_RULE |\n| CLM-C07-011 | Japanese business、long-context、RAG/citation、tool action、coding、spreadsheet/multimodalを一つのoverall scoreへ潰さない | S053/S054/S056 manifest | INITIAL_SYNTHESIS |\n| CLM-C07-012 | judge-human disagreement、invalid oracle、flaky result、contamination疑いは自動平均せず、保留・再測定・human adjudicationへ送る | CE-C07-001..004 | INITIAL_BOUNDED_RULE |"
    },
    {
      "heading": "4. Source and provenance boundary",
      "text": "Primary manifestはS002/S003/S004/S005/S012/S013/S014/S025/S027/S029/S039/S040/S043/S044/S045/S048/S050/S051/S052/S053/S054/S055/S056/S063、contextはS016/S018/S019/S020/S024/S041/S046/S047/S049/S059/S061/S062である。この初稿ではS063 Frozen manifestと既に直接監査済みのCORE-01/02/04/05/06 handoffだけを用いた。未回収のS013/S014/S025/S053/S054等の説明をclaim-level直接証拠へ昇格していない。S063内のS050–S055説明不一致はPROV-FIND-001として保持する。"
    },
    {
      "heading": "5. Evaluation Contract schema",
      "text": "| GROUP | REQUIRED FIELDS | FAILURE IF MISSING |\n| --- | --- | --- |\n| Identity | EVAL_CONTRACT_ID / VERSION / OWNER / PURPOSE / RISK_CLASS | 何の合格か不明 |\n| Candidate | CONFIG_ID / CONFIG_VERSION / CONFIG_DIGEST / PROVIDER / SURFACE / MODEL_REVISION_EVIDENCE | prompt名だけでは候補を再構成不能 |\n| Dataset | DATASET_ID / VERSION / SNAPSHOT_TIME / PROVENANCE / LICENSE / SLICE_MANIFEST / LEAKAGE_STATUS | task分布・汚染境界が不明 |\n| Expected result | ORACLE_TYPE / EXPECTED_ARTIFACT / ACCEPTABLE_VARIANTS / ABSTENTION_POLICY | invalid oracleまたは恣意採点 |\n| Scoring | SCORER_ID / VERSION / CODE_DIGEST / METRIC / ERROR_POLICY | scorer driftを検出不能 |\n| Judgment | JUDGE_ID / VERSION / JUDGE_PROMPT_DIGEST / RUBRIC_ID_VERSION / ORDER_POLICY / ABSTENTION / HUMAN_ADJUDICATION | judge自然文をoracle化 |\n| Environment | ENVIRONMENT_ID / SURFACE / TOOL_SOURCE_SNAPSHOT / LOCALE / TIME / RETRY_SAMPLING_POLICY | run差の原因を比較不能 |\n| Gate | SLICE_THRESHOLDS / CRITICAL_ZERO_TOLERANCE / VARIANCE_LIMIT / OVER_REFUSAL_LIMIT / MANUAL_BLOCK_RULE | averageだけでtailを隠す |\n| Result | EVAL_RUN_ID / START_END / ATTEMPTS / SLICE_RESULTS / FAILURES / UNCERTAINTIES / DECISION / APPROVAL_ID | 合否lineageが欠落 |"
    },
    {
      "heading": "6. Dataset composition contract",
      "text": "| DATASET PART | PURPOSE | ISOLATION / UPDATE RULE |\n| --- | --- | --- |\n| Representative golden | 通常task分布 | production分布との差を記録し、固定版で比較 |\n| Hidden holdout | tuning過適合の反証 | author/tunerから隔離。露出・再利用時はrotate |\n| Failure corpus | 既知障害の再発防止 | incident ID、root cause、fixed expectationへlink |\n| Freshness set | 時点依存回答 | source snapshot/effective dateを更新し、古い版も保持 |\n| Challenge set | 境界・adversarial・tail | 通常分布scoreと別表示し、失敗を平均で希釈しない |\n| Negative/abstain set | 答えるべきでないcase | unsafe complianceと正当拒否を区別 |\n| Over-refusal control | 答えるべき安全case | refusal過多を検出 |"
    },
    {
      "heading": "7. Scorer / judge registry",
      "text": "- deterministic verifierが可能なcaseは、schema parser、citation existence/source match、calculation、unit test、artifact readback等を第一判定とする。\n\n- semantic judgeは補助判定とし、judge自身のversion、prompt、rubric、position/order effect、abstentionを監査対象にする。\n\n- dual judgeは独立証拠を自動的に意味しない。同一provider、同一rubric、同一failure modeなら相関を記録する。\n\n- disagreementは多数決で自動消去せず、critical case、差の大きさ、oracle妥当性に応じてhuman adjudicationまたはrelease blockへ送る。"
    },
    {
      "heading": "8. Pass / fail gate",
      "text": "合格は次のAND条件とする。数値はOrganization Overlayで定める。\n\n- 必須sliceがすべて実行され、invalid／missing resultがない。\n\n- critical failure zero-tolerance条件に違反しない。\n\n- slice別thresholdとvariance limitを満たす。\n\n- failure corpusに未解決regressionがない。\n\n- unsafe complianceとover-refusalの両gateを満たす。\n\n- dataset leakage、invalid oracle、judge drift疑いが未解決でない。\n\n- candidate configと実行environmentのdigest/readbackが一致する。\n\n- release authorityがresultと残存UNKNOWNを確認する。\n\noverall平均は報告値にはできるが、上記AND条件を上書きしない。"
    },
    {
      "heading": "9. Required slice report",
      "text": "各sliceはN / valid N / attempts / score distribution / pass^k if used / failures / severity / oracle type / judge disagreement / decisionを持つ。最低sliceはJapanese business knowledge work、long-context、RAG/citation、tool action、coding artifact、spreadsheet/multimodal、safety/over-refusalである。provider surfaceに機能がない場合は0点扱いで平均せず、NOT_APPLICABLEとMISSING_REQUIRED_CAPABILITYを区別する。"
    },
    {
      "heading": "10. Acceptance tests",
      "text": "| TEST_ID | TEST INTENT | CURRENT STATUS |\n| --- | --- | --- |\n| TST-C07-01 | 同じcontract/version/environmentからrunを再構成できる | LOCAL_RULE_PASS |\n| TST-C07-02 | scorer/judge/rubric版欠落を拒否する | LOCAL_RULE_PASS |\n| TST-C07-03 | hidden holdoutの露出・candidate tuning利用を検知し結果を無効化する | LOCAL_RULE_PASS |\n| TST-C07-04 | failure corpusの一件でも再発すればaverageにかかわらずblockする | LOCAL_RULE_PASS |\n| TST-C07-05 | Japanese business sliceの欠落をoverall scoreで隠さない | LOCAL_RULE_PASS |\n| TST-C07-06 | unsafe complianceとover-refusalを別matrixで判定する | LOCAL_RULE_PASS |\n| TST-C07-07 | citation/schema/domain artifactをdeterministic verifierで先に判定する | LOCAL_RULE_PASS |\n\nこれらはtests/CORE-07_eval_gate_contract_fixture_v0.1.pyでsynthetic ruleとして検査する。model能力、provider eval product、実dataset品質を証明しない。"
    },
    {
      "heading": "GPT Product Mapping handoff — 2026-09-09",
      "text": "PM-GPT-CORE-07-v0.1でOpenAI Datasets、hosted Evals、Graders、Agent traces、Prompt optimizer、openai/evals OSSを分離した。hosted Evals/Gradersの2026-10-31 read-only・2026-11-30 shutdown予定はProduct Mappingのtemporal dependencyであり、Core評価契約を変更しない。judge position biasとConStat contamination detectionはbounded counterevidence/test intentとして採用し、GPTの欠陥・contamination断定には使わない。既存12/12 fixtureはEXP-C07-001のCOMPILER_EXPERIMENTのまま保持する。Core claim変更なし、Gemini遡及監査不要。"
    },
    {
      "heading": "Claude Product Mapping handoff — 2026-09-10",
      "text": "PM-CLAUDE-CORE-07-v0.1でAnthropicの評価設計guidance、Console prompt improver/evaluator、Message Batches、structured outputs、Agent SDK/Claude Code trajectory、claude-cookbooksを別surfaceとして分離した。2024年のprompt improver発表に含まれるassistant prefillと、Claude 4.6以降のcurrent prefill非対応はtemporal compatibility testへ送る。cookbook issue #761はAPI/harness例外をcandidate failureへ変換し得る限定的failure signalとして採用し、現行Claude一般欠陥にはしない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT遡及監査不要。"
    },
    {
      "heading": "Grok Product Mapping handoff — 2026-09-13",
      "text": "PM-GROK-CORE-07-v0.1でGrok 4.6 announcement/model card、benchmark実施者、harness/reasoning effort、author-maintained Grok Build、Batch、structured outputs、独立benchmark methodologyを別surfaceとして分離した。model cardの比較値はCursor、Mercor、Cognition、Datacurve、Abundant AI、Harbor、Artificial Analysis等の異なる実施者・harnessに由来するため、単一共通runやorganization acceptanceへ昇格しない。Grok Buildはv1.0.25とSOURCE_REVを固定anchorにしたが、current sourceを過去benchmark runのexact artifactとはみなさない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT/Claude遡及監査不要。"
    },
    {
      "heading": "11. Counterevidence and failure modes",
      "text": "| ID | FAILURE | REQUIRED RESPONSE |\n| --- | --- | --- |\n| CE-C07-001 | benchmark contamination / leakage | result invalidate、holdout rotate、lineage記録 |\n| CE-C07-002 | LLM judge bias / drift / position effect | judge pin、order control、deterministic check、human adjudication |\n| CE-C07-003 | repeated tuningによるtest overfitting | author/holdout separation、challenge更新、未使用holdout |\n| CE-C07-004 | average scoreがcritical tail failureを隠す | slice gate、zero-tolerance、worst-case/failure count併記 |"
    },
    {
      "heading": "12. UNKNOWN and routing",
      "text": "| UNKNOWN_ID | QUESTION | ROUTE |\n| --- | --- | --- |\n| UNK-C07-001 | dataset slice別の実数threshold、variance、zero-tolerance範囲 | Organization Overlay; sector chapter |\n| UNK-C07-002 | judge-human disagreementのsample率、tie-break、資格、SLA | Core evidence collection + Organization Overlay |\n| UNK-C07-003 | holdout/freshness/failure corpusの更新周期とアクセス管理 | Organization Overlay |\n| UNK-C07-004 | UI/API/batch/tool-enabled等のsurface差をどのrunで同値扱いできるか | Product Mapping + bounded provider test |"
    },
    {
      "heading": "13. Initial audit decision",
      "text": "- Coverage: Frozen packetの11 concept、12 claim、7 acceptance test、4 counterevidence、4 UNKNOWN、必須table/caseを配置した。\n\n- Evidence: direct-span未回収を明示し、manifest要約を直接証拠として扱っていない。\n\n- Product boundary: providerのeval service/model/version/quota/priceはCoreへ混入していない。\n\n- Organization boundary: threshold、更新周期、release authorityをUNKNOWNとして分離した。\n\n- Contradiction: PROV-FIND-001を保持した。\n\n- Test: synthetic contract fixtureのみであり、model/judge/dataset実性能へ昇格しない。\n\nNEXT_PACKET_ACTION: Q-C07-001..004に限定し、direct span、benchmark contamination、judge reliability、slice/tail gate、safe bounded evaluation profileの証拠を採集する。"
    }
  ],
  "human_url": "/core/core-07",
  "markdown_url": "/agent/article.md?path=%2Fcore%2Fcore-07",
  "json_url": "/agent/article.json?path=%2Fcore%2Fcore-07"
}