# 評価データと公開前の評価契約

CURRENT_STATUS: UNKNOWN
OBSERVATION: UNOBSERVED
FRESHNESS: UNKNOWN
PAGE_TYPE: reference
CANONICAL_URL: /core/core-07
CLAIM_IDS: none
EVIDENCE_IDS: CORE-07-DOCUMENT-READBACK
UNKNOWN_IDS: CORE-07-CURRENTNESS
OPS_IDS: none

## Summary
CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

## Current judgment
CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

## Scope
CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

含まない:

- production traffic上のlive evaluation（CORE-08）

- human trust、automation bias、承認UIの有効性（CORE-09）

- release/change management全体（CORE-11）

- incident response全体（CORE-12）

- provider固有のeval service、model availability、quota、価格（Product Mapping）

- 組織固有の閾値、risk appetite、release authority、更新周期（Organization Overlay）

## Confirmed

## UNKNOWN
- CORE-07-CURRENTNESS: 原資料の確定版から収録しています。外部根拠の最新性を今回の取込日で確認済みと扱いません。本文の未解決事項・残余制約を保持します。

## Evidence
- CORE-07-DOCUMENT-READBACK (IMPL): 原資料との収録照合

## Failure / limits
| ID | FAILURE | REQUIRED RESPONSE |
| --- | --- | --- |
| CE-C07-001 | benchmark contamination / leakage | result invalidate、holdout rotate、lineage記録 |
| CE-C07-002 | LLM judge bias / drift / position effect | judge pin、order control、deterministic check、human adjudication |
| CE-C07-003 | repeated tuningによるtest overfitting | author/holdout separation、challenge更新、未使用holdout |
| CE-C07-004 | average scoreがcritical tail failureを隠す | slice gate、zero-tolerance、worst-case/failure count併記 |
## Failure / limits
| UNKNOWN_ID | QUESTION | ROUTE |
| --- | --- | --- |
| UNK-C07-001 | dataset slice別の実数threshold、variance、zero-tolerance範囲 | Organization Overlay; sector chapter |
| UNK-C07-002 | judge-human disagreementのsample率、tie-break、資格、SLA | Core evidence collection + Organization Overlay |
| UNK-C07-003 | holdout/freshness/failure corpusの更新周期とアクセス管理 | Organization Overlay |
| UNK-C07-004 | UI/API/batch/tool-enabled等のsurface差をどのrunで同値扱いできるか | Product Mapping + bounded provider test |
## Practice
PACKET_ID: PKT-GEMINI-A-CORE-07-v0.1

SECTION_ID: CORE-07

WAVE: WAVE-A

LAYER: ENTERPRISE_AI_CORE

STATUS: INITIAL_COMPILE_AUDITED_V0.1

AS_OF: 2026-09-07

DEPENDENCIES: CORE-01, CORE-02, CORE-03, CORE-04, CORE-05, CORE-06

FROZEN_TOC: S063 v0.1
## 資料の識別情報
Source SHA-256 35ab1fce4e543b0deb92ef2e8098d9299bd177365c4e95873a5f61e475894265

## Enterprise AI Core — CORE-07 Golden Dataset / Pre-release Evaluation Contract
PACKET_ID: PKT-GEMINI-A-CORE-07-v0.1

SECTION_ID: CORE-07

WAVE: WAVE-A

LAYER: ENTERPRISE_AI_CORE

STATUS: INITIAL_COMPILE_AUDITED_V0.1

AS_OF: 2026-09-07

DEPENDENCIES: CORE-01, CORE-02, CORE-03, CORE-04, CORE-05, CORE-06

FROZEN_TOC: S063 v0.1

## 1. Scope boundary
CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

含まない:

- production traffic上のlive evaluation（CORE-08）

- human trust、automation bias、承認UIの有効性（CORE-09）

- release/change management全体（CORE-11）

- incident response全体（CORE-12）

- provider固有のeval service、model availability、quota、価格（Product Mapping）

- 組織固有の閾値、risk appetite、release authority、更新周期（Organization Overlay）

## 2. Canonical concepts
| CONCEPT_ID | TERM | CORE-07での境界 |
| --- | --- | --- |
| C-GOLDEN-DATASET | Golden dataset | task分布、期待結果、provenance、利用条件、版を持つrelease評価用dataset |
| C-FAILURE-CORPUS | Failure corpus | 過去障害・near miss・known-bad outputを再発防止caseへ変換した集合 |
| C-FRESHNESS-SET | Freshness set | 時点依存の事実・source・policy変更を検査する更新可能slice |
| C-HIDDEN-HOLDOUT | Hidden holdout | prompt/config作成者とcandidate optimizationから隔離された非公開case集合 |
| C-CHALLENGE-SET | Challenge set | 境界条件、adversarial入力、tail riskを狙って構成した反証集合 |
| C-SCORER | Scorer | exact match、schema、citation、code/test等を判定する版付き手続き |
| C-JUDGE | Judge | rubricに基づき意味品質等を判定する人またはmodel。oracleと同一視しない |
| C-RUBRIC | Rubric | 観測可能な評価軸、尺度、失敗条件、abstentionを定義した版付き規則 |
| C-THRESHOLD | Threshold | slice／risk class別のrelease合格条件。普遍的数値ではない |
| C-EVAL-RUN | Evaluation run | dataset、candidate、scorer、judge、environment、resultを結ぶimmutable record |
| C-CANDIDATE-CONFIG | Candidate configuration | CORE-06の完全なcandidate bundle参照。promptだけを候補identityにしない |

## 3. Claims v0.1
| CLAIM_ID | CLAIM | CURRENT SUPPORT | STATUS |
| --- | --- | --- | --- |
| CLM-C07-001 | release判定はcandidate config、dataset、scorer、judge、rubric、environment、resultの各versionを結ぶEvaluation Contractに基づく | S045 manifest; CORE-01/06 dependency | INITIAL_SYNTHESIS |
| CLM-C07-002 | golden datasetは対象task分布を代表するが、全運用条件の完全な代理にはならない | S013/S014/S053 manifest; CE-C07-001/003 | INITIAL_BOUNDED_RULE |
| CLM-C07-003 | 過去のfailureとnear missはfailure corpusへ固定し、candidateごとにregression gateを通す | S029/S045/S054 manifest; CORE-12 route | INITIAL_SYNTHESIS |
| CLM-C07-004 | freshness依存caseは静的golden setから分離し、source snapshotとeffective dateを持つ | CORE-02 source/freshness contract | EVIDENCE_CARRY |
| CLM-C07-005 | hidden holdoutは作成・tuning・prompt revisionから隔離し、漏洩疑い時は合格証拠を失効させる | CE-C07-001/003; Frozen requirement | INITIAL_BOUNDED_RULE |
| CLM-C07-006 | deterministicに検証できるschema、citation、calculation、code、artifact条件をLLM judgeへ委ねない | S013/S014/S053/S054 manifest | INITIAL_SYNTHESIS |
| CLM-C07-007 | LLM judgeはjudge ID/version、prompt、rubric、sampling、position/order、abstention、human adjudicationを記録する | S013/S014/S053 manifest; CE-C07-002 | INITIAL_SYNTHESIS |
| CLM-C07-008 | overall averageだけで合格させず、critical slice、worst-case、failure count、varianceを別gateにする | CE-C07-004; CORE-04 risk-tail carry | INITIAL_BOUNDED_RULE |
| CLM-C07-009 | safety評価はunsafe complianceとover-refusalを対で測り、拒否率だけを安全性としない | Frozen acceptance TST-C07-06 | INITIAL_SYNTHESIS |
| CLM-C07-010 | non-deterministic taskは単発scoreでなく反復run、variance、pass^k等を用途に応じて記録する | S039/S049 manifest; CORE-06 drift carry | INITIAL_BOUNDED_RULE |
| CLM-C07-011 | Japanese business、long-context、RAG/citation、tool action、coding、spreadsheet/multimodalを一つのoverall scoreへ潰さない | S053/S054/S056 manifest | INITIAL_SYNTHESIS |
| CLM-C07-012 | judge-human disagreement、invalid oracle、flaky result、contamination疑いは自動平均せず、保留・再測定・human adjudicationへ送る | CE-C07-001..004 | INITIAL_BOUNDED_RULE |

## 4. Source and provenance boundary
Primary manifestはS002/S003/S004/S005/S012/S013/S014/S025/S027/S029/S039/S040/S043/S044/S045/S048/S050/S051/S052/S053/S054/S055/S056/S063、contextはS016/S018/S019/S020/S024/S041/S046/S047/S049/S059/S061/S062である。この初稿ではS063 Frozen manifestと既に直接監査済みのCORE-01/02/04/05/06 handoffだけを用いた。未回収のS013/S014/S025/S053/S054等の説明をclaim-level直接証拠へ昇格していない。S063内のS050–S055説明不一致はPROV-FIND-001として保持する。

## 5. Evaluation Contract schema
| GROUP | REQUIRED FIELDS | FAILURE IF MISSING |
| --- | --- | --- |
| Identity | EVAL_CONTRACT_ID / VERSION / OWNER / PURPOSE / RISK_CLASS | 何の合格か不明 |
| Candidate | CONFIG_ID / CONFIG_VERSION / CONFIG_DIGEST / PROVIDER / SURFACE / MODEL_REVISION_EVIDENCE | prompt名だけでは候補を再構成不能 |
| Dataset | DATASET_ID / VERSION / SNAPSHOT_TIME / PROVENANCE / LICENSE / SLICE_MANIFEST / LEAKAGE_STATUS | task分布・汚染境界が不明 |
| Expected result | ORACLE_TYPE / EXPECTED_ARTIFACT / ACCEPTABLE_VARIANTS / ABSTENTION_POLICY | invalid oracleまたは恣意採点 |
| Scoring | SCORER_ID / VERSION / CODE_DIGEST / METRIC / ERROR_POLICY | scorer driftを検出不能 |
| Judgment | JUDGE_ID / VERSION / JUDGE_PROMPT_DIGEST / RUBRIC_ID_VERSION / ORDER_POLICY / ABSTENTION / HUMAN_ADJUDICATION | judge自然文をoracle化 |
| Environment | ENVIRONMENT_ID / SURFACE / TOOL_SOURCE_SNAPSHOT / LOCALE / TIME / RETRY_SAMPLING_POLICY | run差の原因を比較不能 |
| Gate | SLICE_THRESHOLDS / CRITICAL_ZERO_TOLERANCE / VARIANCE_LIMIT / OVER_REFUSAL_LIMIT / MANUAL_BLOCK_RULE | averageだけでtailを隠す |
| Result | EVAL_RUN_ID / START_END / ATTEMPTS / SLICE_RESULTS / FAILURES / UNCERTAINTIES / DECISION / APPROVAL_ID | 合否lineageが欠落 |

## 6. Dataset composition contract
| DATASET PART | PURPOSE | ISOLATION / UPDATE RULE |
| --- | --- | --- |
| Representative golden | 通常task分布 | production分布との差を記録し、固定版で比較 |
| Hidden holdout | tuning過適合の反証 | author/tunerから隔離。露出・再利用時はrotate |
| Failure corpus | 既知障害の再発防止 | incident ID、root cause、fixed expectationへlink |
| Freshness set | 時点依存回答 | source snapshot/effective dateを更新し、古い版も保持 |
| Challenge set | 境界・adversarial・tail | 通常分布scoreと別表示し、失敗を平均で希釈しない |
| Negative/abstain set | 答えるべきでないcase | unsafe complianceと正当拒否を区別 |
| Over-refusal control | 答えるべき安全case | refusal過多を検出 |

## 7. Scorer / judge registry
- deterministic verifierが可能なcaseは、schema parser、citation existence/source match、calculation、unit test、artifact readback等を第一判定とする。

- semantic judgeは補助判定とし、judge自身のversion、prompt、rubric、position/order effect、abstentionを監査対象にする。

- dual judgeは独立証拠を自動的に意味しない。同一provider、同一rubric、同一failure modeなら相関を記録する。

- disagreementは多数決で自動消去せず、critical case、差の大きさ、oracle妥当性に応じてhuman adjudicationまたはrelease blockへ送る。

## 8. Pass / fail gate
合格は次のAND条件とする。数値はOrganization Overlayで定める。

- 必須sliceがすべて実行され、invalid／missing resultがない。

- critical failure zero-tolerance条件に違反しない。

- slice別thresholdとvariance limitを満たす。

- failure corpusに未解決regressionがない。

- unsafe complianceとover-refusalの両gateを満たす。

- dataset leakage、invalid oracle、judge drift疑いが未解決でない。

- candidate configと実行environmentのdigest/readbackが一致する。

- release authorityがresultと残存UNKNOWNを確認する。

overall平均は報告値にはできるが、上記AND条件を上書きしない。

## 9. Required slice report
各sliceはN / valid N / attempts / score distribution / pass^k if used / failures / severity / oracle type / judge disagreement / decisionを持つ。最低sliceはJapanese business knowledge work、long-context、RAG/citation、tool action、coding artifact、spreadsheet/multimodal、safety/over-refusalである。provider surfaceに機能がない場合は0点扱いで平均せず、NOT_APPLICABLEとMISSING_REQUIRED_CAPABILITYを区別する。

## 10. Acceptance tests
| TEST_ID | TEST INTENT | CURRENT STATUS |
| --- | --- | --- |
| TST-C07-01 | 同じcontract/version/environmentからrunを再構成できる | LOCAL_RULE_PASS |
| TST-C07-02 | scorer/judge/rubric版欠落を拒否する | LOCAL_RULE_PASS |
| TST-C07-03 | hidden holdoutの露出・candidate tuning利用を検知し結果を無効化する | LOCAL_RULE_PASS |
| TST-C07-04 | failure corpusの一件でも再発すればaverageにかかわらずblockする | LOCAL_RULE_PASS |
| TST-C07-05 | Japanese business sliceの欠落をoverall scoreで隠さない | LOCAL_RULE_PASS |
| TST-C07-06 | unsafe complianceとover-refusalを別matrixで判定する | LOCAL_RULE_PASS |
| TST-C07-07 | citation/schema/domain artifactをdeterministic verifierで先に判定する | LOCAL_RULE_PASS |

これらはtests/CORE-07_eval_gate_contract_fixture_v0.1.pyでsynthetic ruleとして検査する。model能力、provider eval product、実dataset品質を証明しない。

## GPT Product Mapping handoff — 2026-09-09
PM-GPT-CORE-07-v0.1でOpenAI Datasets、hosted Evals、Graders、Agent traces、Prompt optimizer、openai/evals OSSを分離した。hosted Evals/Gradersの2026-10-31 read-only・2026-11-30 shutdown予定はProduct Mappingのtemporal dependencyであり、Core評価契約を変更しない。judge position biasとConStat contamination detectionはbounded counterevidence/test intentとして採用し、GPTの欠陥・contamination断定には使わない。既存12/12 fixtureはEXP-C07-001のCOMPILER_EXPERIMENTのまま保持する。Core claim変更なし、Gemini遡及監査不要。

## Claude Product Mapping handoff — 2026-09-10
PM-CLAUDE-CORE-07-v0.1でAnthropicの評価設計guidance、Console prompt improver/evaluator、Message Batches、structured outputs、Agent SDK/Claude Code trajectory、claude-cookbooksを別surfaceとして分離した。2024年のprompt improver発表に含まれるassistant prefillと、Claude 4.6以降のcurrent prefill非対応はtemporal compatibility testへ送る。cookbook issue #761はAPI/harness例外をcandidate failureへ変換し得る限定的failure signalとして採用し、現行Claude一般欠陥にはしない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT遡及監査不要。

## Grok Product Mapping handoff — 2026-09-13
PM-GROK-CORE-07-v0.1でGrok 4.6 announcement/model card、benchmark実施者、harness/reasoning effort、author-maintained Grok Build、Batch、structured outputs、独立benchmark methodologyを別surfaceとして分離した。model cardの比較値はCursor、Mercor、Cognition、Datacurve、Abundant AI、Harbor、Artificial Analysis等の異なる実施者・harnessに由来するため、単一共通runやorganization acceptanceへ昇格しない。Grok Buildはv1.0.25とSOURCE_REVを固定anchorにしたが、current sourceを過去benchmark runのexact artifactとはみなさない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT/Claude遡及監査不要。

## 11. Counterevidence and failure modes
| ID | FAILURE | REQUIRED RESPONSE |
| --- | --- | --- |
| CE-C07-001 | benchmark contamination / leakage | result invalidate、holdout rotate、lineage記録 |
| CE-C07-002 | LLM judge bias / drift / position effect | judge pin、order control、deterministic check、human adjudication |
| CE-C07-003 | repeated tuningによるtest overfitting | author/holdout separation、challenge更新、未使用holdout |
| CE-C07-004 | average scoreがcritical tail failureを隠す | slice gate、zero-tolerance、worst-case/failure count併記 |

## 12. UNKNOWN and routing
| UNKNOWN_ID | QUESTION | ROUTE |
| --- | --- | --- |
| UNK-C07-001 | dataset slice別の実数threshold、variance、zero-tolerance範囲 | Organization Overlay; sector chapter |
| UNK-C07-002 | judge-human disagreementのsample率、tie-break、資格、SLA | Core evidence collection + Organization Overlay |
| UNK-C07-003 | holdout/freshness/failure corpusの更新周期とアクセス管理 | Organization Overlay |
| UNK-C07-004 | UI/API/batch/tool-enabled等のsurface差をどのrunで同値扱いできるか | Product Mapping + bounded provider test |

## 13. Initial audit decision
- Coverage: Frozen packetの11 concept、12 claim、7 acceptance test、4 counterevidence、4 UNKNOWN、必須table/caseを配置した。

- Evidence: direct-span未回収を明示し、manifest要約を直接証拠として扱っていない。

- Product boundary: providerのeval service/model/version/quota/priceはCoreへ混入していない。

- Organization boundary: threshold、更新周期、release authorityをUNKNOWNとして分離した。

- Contradiction: PROV-FIND-001を保持した。

- Test: synthetic contract fixtureのみであり、model/judge/dataset実性能へ昇格しない。

NEXT_PACKET_ACTION: Q-C07-001..004に限定し、direct span、benchmark contamination、judge reliability、slice/tail gate、safe bounded evaluation profileの証拠を採集する。

NEXT: /agent/start.json
STOP: This is a knowledge projection, not an execution order.