Skip to content

Evidence for AI operations

Enterprise AI Operations Dictionary

No English page yet. Showing the Japanese source.

Back to the entrance

評価データと公開前の評価契約

用語・参照用語・参照実挙動未確認実挙動未観測鮮度未確認鮮度を確定できない

記事状態: 公開 · 最終確認: 未確認

要点

CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

現在の判断

CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

どこまで当てはまるか

CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

含まない:

  • production traffic上のlive evaluation（CORE-08）
  • human trust、automation bias、承認UIの有効性（CORE-09）
  • release/change management全体（CORE-11）
  • incident response全体（CORE-12）
  • provider固有のeval service、model availability、quota、価格（Product Mapping）
  • 組織固有の閾値、risk appetite、release authority、更新周期（Organization Overlay）

詳しく理解する

確認・評価方法

PACKET_ID: PKT-GEMINI-A-CORE-07-v0.1

SECTION_ID: CORE-07

WAVE: WAVE-A

LAYER: ENTERPRISE_AI_CORE

STATUS: INITIAL_COMPILE_AUDITED_V0.1

AS_OF: 2026-09-07

DEPENDENCIES: CORE-01, CORE-02, CORE-03, CORE-04, CORE-05, CORE-06

FROZEN_TOC: S063 v0.1

1. Scope boundary

CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

含まない:

  • production traffic上のlive evaluation（CORE-08）
  • human trust、automation bias、承認UIの有効性（CORE-09）
  • release/change management全体（CORE-11）
  • incident response全体（CORE-12）
  • provider固有のeval service、model availability、quota、価格（Product Mapping）
  • 組織固有の閾値、risk appetite、release authority、更新周期（Organization Overlay）

2. Canonical concepts

CONCEPT_IDTERMCORE-07での境界
C-GOLDEN-DATASETGolden datasettask分布、期待結果、provenance、利用条件、版を持つrelease評価用dataset
C-FAILURE-CORPUSFailure corpus過去障害・near miss・known-bad outputを再発防止caseへ変換した集合
C-FRESHNESS-SETFreshness set時点依存の事実・source・policy変更を検査する更新可能slice
C-HIDDEN-HOLDOUTHidden holdoutprompt/config作成者とcandidate optimizationから隔離された非公開case集合
C-CHALLENGE-SETChallenge set境界条件、adversarial入力、tail riskを狙って構成した反証集合
C-SCORERScorerexact match、schema、citation、code/test等を判定する版付き手続き
C-JUDGEJudgerubricに基づき意味品質等を判定する人またはmodel。oracleと同一視しない
C-RUBRICRubric観測可能な評価軸、尺度、失敗条件、abstentionを定義した版付き規則
C-THRESHOLDThresholdslice／risk class別のrelease合格条件。普遍的数値ではない
C-EVAL-RUNEvaluation rundataset、candidate、scorer、judge、environment、resultを結ぶimmutable record
C-CANDIDATE-CONFIGCandidate configurationCORE-06の完全なcandidate bundle参照。promptだけを候補identityにしない

3. Claims v0.1

CLAIM_IDCLAIMCURRENT SUPPORTSTATUS
CLM-C07-001release判定はcandidate config、dataset、scorer、judge、rubric、environment、resultの各versionを結ぶEvaluation Contractに基づくS045 manifest; CORE-01/06 dependencyINITIAL_SYNTHESIS
CLM-C07-002golden datasetは対象task分布を代表するが、全運用条件の完全な代理にはならないS013/S014/S053 manifest; CE-C07-001/003INITIAL_BOUNDED_RULE
CLM-C07-003過去のfailureとnear missはfailure corpusへ固定し、candidateごとにregression gateを通すS029/S045/S054 manifest; CORE-12 routeINITIAL_SYNTHESIS
CLM-C07-004freshness依存caseは静的golden setから分離し、source snapshotとeffective dateを持つCORE-02 source/freshness contractEVIDENCE_CARRY
CLM-C07-005hidden holdoutは作成・tuning・prompt revisionから隔離し、漏洩疑い時は合格証拠を失効させるCE-C07-001/003; Frozen requirementINITIAL_BOUNDED_RULE
CLM-C07-006deterministicに検証できるschema、citation、calculation、code、artifact条件をLLM judgeへ委ねないS013/S014/S053/S054 manifestINITIAL_SYNTHESIS
CLM-C07-007LLM judgeはjudge ID/version、prompt、rubric、sampling、position/order、abstention、human adjudicationを記録するS013/S014/S053 manifest; CE-C07-002INITIAL_SYNTHESIS
CLM-C07-008overall averageだけで合格させず、critical slice、worst-case、failure count、varianceを別gateにするCE-C07-004; CORE-04 risk-tail carryINITIAL_BOUNDED_RULE
CLM-C07-009safety評価はunsafe complianceとover-refusalを対で測り、拒否率だけを安全性としないFrozen acceptance TST-C07-06INITIAL_SYNTHESIS
CLM-C07-010non-deterministic taskは単発scoreでなく反復run、variance、pass^k等を用途に応じて記録するS039/S049 manifest; CORE-06 drift carryINITIAL_BOUNDED_RULE
CLM-C07-011Japanese business、long-context、RAG/citation、tool action、coding、spreadsheet/multimodalを一つのoverall scoreへ潰さないS053/S054/S056 manifestINITIAL_SYNTHESIS
CLM-C07-012judge-human disagreement、invalid oracle、flaky result、contamination疑いは自動平均せず、保留・再測定・human adjudicationへ送るCE-C07-001..004INITIAL_BOUNDED_RULE

4. Source and provenance boundary

Primary manifestはS002/S003/S004/S005/S012/S013/S014/S025/S027/S029/S039/S040/S043/S044/S045/S048/S050/S051/S052/S053/S054/S055/S056/S063、contextはS016/S018/S019/S020/S024/S041/S046/S047/S049/S059/S061/S062である。この初稿ではS063 Frozen manifestと既に直接監査済みのCORE-01/02/04/05/06 handoffだけを用いた。未回収のS013/S014/S025/S053/S054等の説明をclaim-level直接証拠へ昇格していない。S063内のS050–S055説明不一致はPROV-FIND-001として保持する。

確認・評価方法 2

GROUPREQUIRED FIELDSFAILURE IF MISSING
IdentityEVAL_CONTRACT_ID / VERSION / OWNER / PURPOSE / RISK_CLASS何の合格か不明
CandidateCONFIG_ID / CONFIG_VERSION / CONFIG_DIGEST / PROVIDER / SURFACE / MODEL_REVISION_EVIDENCEprompt名だけでは候補を再構成不能
DatasetDATASET_ID / VERSION / SNAPSHOT_TIME / PROVENANCE / LICENSE / SLICE_MANIFEST / LEAKAGE_STATUStask分布・汚染境界が不明
Expected resultORACLE_TYPE / EXPECTED_ARTIFACT / ACCEPTABLE_VARIANTS / ABSTENTION_POLICYinvalid oracleまたは恣意採点
ScoringSCORER_ID / VERSION / CODE_DIGEST / METRIC / ERROR_POLICYscorer driftを検出不能
JudgmentJUDGE_ID / VERSION / JUDGE_PROMPT_DIGEST / RUBRIC_ID_VERSION / ORDER_POLICY / ABSTENTION / HUMAN_ADJUDICATIONjudge自然文をoracle化
EnvironmentENVIRONMENT_ID / SURFACE / TOOL_SOURCE_SNAPSHOT / LOCALE / TIME / RETRY_SAMPLING_POLICYrun差の原因を比較不能
GateSLICE_THRESHOLDS / CRITICAL_ZERO_TOLERANCE / VARIANCE_LIMIT / OVER_REFUSAL_LIMIT / MANUAL_BLOCK_RULEaverageだけでtailを隠す
ResultEVAL_RUN_ID / START_END / ATTEMPTS / SLICE_RESULTS / FAILURES / UNCERTAINTIES / DECISION / APPROVAL_ID合否lineageが欠落

6. Dataset composition contract

DATASET PARTPURPOSEISOLATION / UPDATE RULE
Representative golden通常task分布production分布との差を記録し、固定版で比較
Hidden holdouttuning過適合の反証author/tunerから隔離。露出・再利用時はrotate
Failure corpus既知障害の再発防止incident ID、root cause、fixed expectationへlink
Freshness set時点依存回答source snapshot/effective dateを更新し、古い版も保持
Challenge set境界・adversarial・tail通常分布scoreと別表示し、失敗を平均で希釈しない
Negative/abstain set答えるべきでないcaseunsafe complianceと正当拒否を区別
Over-refusal control答えるべき安全caserefusal過多を検出

7. Scorer / judge registry

  • deterministic verifierが可能なcaseは、schema parser、citation existence/source match、calculation、unit test、artifact readback等を第一判定とする。
  • semantic judgeは補助判定とし、judge自身のversion、prompt、rubric、position/order effect、abstentionを監査対象にする。
  • dual judgeは独立証拠を自動的に意味しない。同一provider、同一rubric、同一failure modeなら相関を記録する。
  • disagreementは多数決で自動消去せず、critical case、差の大きさ、oracle妥当性に応じてhuman adjudicationまたはrelease blockへ送る。

8. Pass / fail gate

合格は次のAND条件とする。数値はOrganization Overlayで定める。

  • 必須sliceがすべて実行され、invalid／missing resultがない。
  • critical failure zero-tolerance条件に違反しない。
  • slice別thresholdとvariance limitを満たす。
  • failure corpusに未解決regressionがない。
  • unsafe complianceとover-refusalの両gateを満たす。
  • dataset leakage、invalid oracle、judge drift疑いが未解決でない。
  • candidate configと実行environmentのdigest/readbackが一致する。
  • release authorityがresultと残存UNKNOWNを確認する。

overall平均は報告値にはできるが、上記AND条件を上書きしない。

9. Required slice report

各sliceはN / valid N / attempts / score distribution / pass^k if used / failures / severity / oracle type / judge disagreement / decisionを持つ。最低sliceはJapanese business knowledge work、long-context、RAG/citation、tool action、coding artifact、spreadsheet/multimodal、safety/over-refusalである。provider surfaceに機能がない場合は0点扱いで平均せず、NOT_APPLICABLEとMISSING_REQUIRED_CAPABILITYを区別する。

10. Acceptance tests

TEST_IDTEST INTENTCURRENT STATUS
TST-C07-01同じcontract/version/environmentからrunを再構成できるLOCAL_RULE_PASS
TST-C07-02scorer/judge/rubric版欠落を拒否するLOCAL_RULE_PASS
TST-C07-03hidden holdoutの露出・candidate tuning利用を検知し結果を無効化するLOCAL_RULE_PASS
TST-C07-04failure corpusの一件でも再発すればaverageにかかわらずblockするLOCAL_RULE_PASS
TST-C07-05Japanese business sliceの欠落をoverall scoreで隠さないLOCAL_RULE_PASS
TST-C07-06unsafe complianceとover-refusalを別matrixで判定するLOCAL_RULE_PASS
TST-C07-07citation/schema/domain artifactをdeterministic verifierで先に判定するLOCAL_RULE_PASS

これらはtests/CORE-07_eval_gate_contract_fixture_v0.1.pyでsynthetic ruleとして検査する。model能力、provider eval product、実dataset品質を証明しない。

GPT Product Mapping handoff — 2026-09-09

PM-GPT-CORE-07-v0.1でOpenAI Datasets、hosted Evals、Graders、Agent traces、Prompt optimizer、openai/evals OSSを分離した。hosted Evals/Gradersの2026-10-31 read-only・2026-11-30 shutdown予定はProduct Mappingのtemporal dependencyであり、Core評価契約を変更しない。judge position biasとConStat contamination detectionはbounded counterevidence/test intentとして採用し、GPTの欠陥・contamination断定には使わない。既存12/12 fixtureはEXP-C07-001のCOMPILER_EXPERIMENTのまま保持する。Core claim変更なし、Gemini遡及監査不要。

Claude Product Mapping handoff — 2026-09-10

PM-CLAUDE-CORE-07-v0.1でAnthropicの評価設計guidance、Console prompt improver/evaluator、Message Batches、structured outputs、Agent SDK/Claude Code trajectory、claude-cookbooksを別surfaceとして分離した。2024年のprompt improver発表に含まれるassistant prefillと、Claude 4.6以降のcurrent prefill非対応はtemporal compatibility testへ送る。cookbook issue #761はAPI/harness例外をcandidate failureへ変換し得る限定的failure signalとして採用し、現行Claude一般欠陥にはしない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT遡及監査不要。

Grok Product Mapping handoff — 2026-09-13

PM-GROK-CORE-07-v0.1でGrok 4.6 announcement/model card、benchmark実施者、harness/reasoning effort、author-maintained Grok Build、Batch、structured outputs、独立benchmark methodologyを別surfaceとして分離した。model cardの比較値はCursor、Mercor、Cognition、Datacurve、Abundant AI、Harbor、Artificial Analysis等の異なる実施者・harnessに由来するため、単一共通runやorganization acceptanceへ昇格しない。Grok Buildはv1.0.25とSOURCE_REVを固定anchorにしたが、current sourceを過去benchmark runのexact artifactとはみなさない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT/Claude遡及監査不要。

12. UNKNOWN and routing

UNKNOWN_IDQUESTIONROUTE
UNK-C07-001dataset slice別の実数threshold、variance、zero-tolerance範囲Organization Overlay; sector chapter
UNK-C07-002judge-human disagreementのsample率、tie-break、資格、SLACore evidence collection + Organization Overlay
UNK-C07-003holdout/freshness/failure corpusの更新周期とアクセス管理Organization Overlay
UNK-C07-004UI/API/batch/tool-enabled等のsurface差をどのrunで同値扱いできるかProduct Mapping + bounded provider test

13. Initial audit decision

  • Coverage: Frozen packetの11 concept、12 claim、7 acceptance test、4 counterevidence、4 UNKNOWN、必須table/caseを配置した。
  • Evidence: direct-span未回収を明示し、manifest要約を直接証拠として扱っていない。
  • Product boundary: providerのeval service/model/version/quota/priceはCoreへ混入していない。
  • Organization boundary: threshold、更新周期、release authorityをUNKNOWNとして分離した。
  • Contradiction: PROV-FIND-001を保持した。
  • Test: synthetic contract fixtureのみであり、model/judge/dataset実性能へ昇格しない。

NEXT_PACKET_ACTION: Q-C07-001..004に限定し、direct span、benchmark contamination、judge reliability、slice/tail gate、safe bounded evaluation profileの証拠を採集する。

よくある失敗・反証

  • IDFAILUREREQUIRED RESPONSE
    CE-C07-001benchmark contamination / leakageresult invalidate、holdout rotate、lineage記録
    CE-C07-002LLM judge bias / drift / position effectjudge pin、order control、deterministic check、human adjudication
    CE-C07-003repeated tuningによるtest overfittingauthor/holdout separation、challenge更新、未使用holdout
    CE-C07-004average scoreがcritical tail failureを隠すslice gate、zero-tolerance、worst-case/failure count併記
  • UNKNOWN_IDQUESTIONROUTE
    UNK-C07-001dataset slice別の実数threshold、variance、zero-tolerance範囲Organization Overlay; sector chapter
    UNK-C07-002judge-human disagreementのsample率、tie-break、資格、SLACore evidence collection + Organization Overlay
    UNK-C07-003holdout/freshness/failure corpusの更新周期とアクセス管理Organization Overlay
    UNK-C07-004UI/API/batch/tool-enabled等のsurface差をどのrunで同値扱いできるかProduct Mapping + bounded provider test

実務での使い方

  • PACKET_ID: PKT-GEMINI-A-CORE-07-v0.1

    SECTION_ID: CORE-07

    WAVE: WAVE-A

    LAYER: ENTERPRISE_AI_CORE

    STATUS: INITIAL_COMPILE_AUDITED_V0.1

    AS_OF: 2026-09-07

    DEPENDENCIES: CORE-01, CORE-02, CORE-03, CORE-04, CORE-05, CORE-06

    FROZEN_TOC: S063 v0.1

まだ確認できていないこと

  • CORE-07-CURRENTNESS

    原資料の確定版から収録しています。外部根拠の最新性を今回の取込日で確認済みと扱いません。本文の未解決事項・残余制約を保持します。

根拠資料

この記事には、直接開ける外部出典が登録されていません。出典IDや検証情報は末尾で確認できます。

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
CORE-07
最終確認日
—
提供元・モデル・プラン・利用環境
—
対象地域
—
元資料の全文と収録照合記録
資料の識別情報

Source SHA-256 35ab1fce4e543b0deb92ef2e8098d9299bd177365c4e95873a5f61e475894265

Enterprise AI Core — CORE-07 Golden Dataset / Pre-release Evaluation Contract

PACKET_ID: PKT-GEMINI-A-CORE-07-v0.1

SECTION_ID: CORE-07

WAVE: WAVE-A

LAYER: ENTERPRISE_AI_CORE

STATUS: INITIAL_COMPILE_AUDITED_V0.1

AS_OF: 2026-09-07

DEPENDENCIES: CORE-01, CORE-02, CORE-03, CORE-04, CORE-05, CORE-06

FROZEN_TOC: S063 v0.1

1. Scope boundary

CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

含まない:

  • production traffic上のlive evaluation（CORE-08）
  • human trust、automation bias、承認UIの有効性（CORE-09）
  • release/change management全体（CORE-11）
  • incident response全体（CORE-12）
  • provider固有のeval service、model availability、quota、価格（Product Mapping）
  • 組織固有の閾値、risk appetite、release authority、更新周期（Organization Overlay）
2. Canonical concepts
CONCEPT_IDTERMCORE-07での境界
C-GOLDEN-DATASETGolden datasettask分布、期待結果、provenance、利用条件、版を持つrelease評価用dataset
C-FAILURE-CORPUSFailure corpus過去障害・near miss・known-bad outputを再発防止caseへ変換した集合
C-FRESHNESS-SETFreshness set時点依存の事実・source・policy変更を検査する更新可能slice
C-HIDDEN-HOLDOUTHidden holdoutprompt/config作成者とcandidate optimizationから隔離された非公開case集合
C-CHALLENGE-SETChallenge set境界条件、adversarial入力、tail riskを狙って構成した反証集合
C-SCORERScorerexact match、schema、citation、code/test等を判定する版付き手続き
C-JUDGEJudgerubricに基づき意味品質等を判定する人またはmodel。oracleと同一視しない
C-RUBRICRubric観測可能な評価軸、尺度、失敗条件、abstentionを定義した版付き規則
C-THRESHOLDThresholdslice／risk class別のrelease合格条件。普遍的数値ではない
C-EVAL-RUNEvaluation rundataset、candidate、scorer、judge、environment、resultを結ぶimmutable record
C-CANDIDATE-CONFIGCandidate configurationCORE-06の完全なcandidate bundle参照。promptだけを候補identityにしない
3. Claims v0.1
CLAIM_IDCLAIMCURRENT SUPPORTSTATUS
CLM-C07-001release判定はcandidate config、dataset、scorer、judge、rubric、environment、resultの各versionを結ぶEvaluation Contractに基づくS045 manifest; CORE-01/06 dependencyINITIAL_SYNTHESIS
CLM-C07-002golden datasetは対象task分布を代表するが、全運用条件の完全な代理にはならないS013/S014/S053 manifest; CE-C07-001/003INITIAL_BOUNDED_RULE
CLM-C07-003過去のfailureとnear missはfailure corpusへ固定し、candidateごとにregression gateを通すS029/S045/S054 manifest; CORE-12 routeINITIAL_SYNTHESIS
CLM-C07-004freshness依存caseは静的golden setから分離し、source snapshotとeffective dateを持つCORE-02 source/freshness contractEVIDENCE_CARRY
CLM-C07-005hidden holdoutは作成・tuning・prompt revisionから隔離し、漏洩疑い時は合格証拠を失効させるCE-C07-001/003; Frozen requirementINITIAL_BOUNDED_RULE
CLM-C07-006deterministicに検証できるschema、citation、calculation、code、artifact条件をLLM judgeへ委ねないS013/S014/S053/S054 manifestINITIAL_SYNTHESIS
CLM-C07-007LLM judgeはjudge ID/version、prompt、rubric、sampling、position/order、abstention、human adjudicationを記録するS013/S014/S053 manifest; CE-C07-002INITIAL_SYNTHESIS
CLM-C07-008overall averageだけで合格させず、critical slice、worst-case、failure count、varianceを別gateにするCE-C07-004; CORE-04 risk-tail carryINITIAL_BOUNDED_RULE
CLM-C07-009safety評価はunsafe complianceとover-refusalを対で測り、拒否率だけを安全性としないFrozen acceptance TST-C07-06INITIAL_SYNTHESIS
CLM-C07-010non-deterministic taskは単発scoreでなく反復run、variance、pass^k等を用途に応じて記録するS039/S049 manifest; CORE-06 drift carryINITIAL_BOUNDED_RULE
CLM-C07-011Japanese business、long-context、RAG/citation、tool action、coding、spreadsheet/multimodalを一つのoverall scoreへ潰さないS053/S054/S056 manifestINITIAL_SYNTHESIS
CLM-C07-012judge-human disagreement、invalid oracle、flaky result、contamination疑いは自動平均せず、保留・再測定・human adjudicationへ送るCE-C07-001..004INITIAL_BOUNDED_RULE
4. Source and provenance boundary

Primary manifestはS002/S003/S004/S005/S012/S013/S014/S025/S027/S029/S039/S040/S043/S044/S045/S048/S050/S051/S052/S053/S054/S055/S056/S063、contextはS016/S018/S019/S020/S024/S041/S046/S047/S049/S059/S061/S062である。この初稿ではS063 Frozen manifestと既に直接監査済みのCORE-01/02/04/05/06 handoffだけを用いた。未回収のS013/S014/S025/S053/S054等の説明をclaim-level直接証拠へ昇格していない。S063内のS050–S055説明不一致はPROV-FIND-001として保持する。

5. Evaluation Contract schema
GROUPREQUIRED FIELDSFAILURE IF MISSING
IdentityEVAL_CONTRACT_ID / VERSION / OWNER / PURPOSE / RISK_CLASS何の合格か不明
CandidateCONFIG_ID / CONFIG_VERSION / CONFIG_DIGEST / PROVIDER / SURFACE / MODEL_REVISION_EVIDENCEprompt名だけでは候補を再構成不能
DatasetDATASET_ID / VERSION / SNAPSHOT_TIME / PROVENANCE / LICENSE / SLICE_MANIFEST / LEAKAGE_STATUStask分布・汚染境界が不明
Expected resultORACLE_TYPE / EXPECTED_ARTIFACT / ACCEPTABLE_VARIANTS / ABSTENTION_POLICYinvalid oracleまたは恣意採点
ScoringSCORER_ID / VERSION / CODE_DIGEST / METRIC / ERROR_POLICYscorer driftを検出不能
JudgmentJUDGE_ID / VERSION / JUDGE_PROMPT_DIGEST / RUBRIC_ID_VERSION / ORDER_POLICY / ABSTENTION / HUMAN_ADJUDICATIONjudge自然文をoracle化
EnvironmentENVIRONMENT_ID / SURFACE / TOOL_SOURCE_SNAPSHOT / LOCALE / TIME / RETRY_SAMPLING_POLICYrun差の原因を比較不能
GateSLICE_THRESHOLDS / CRITICAL_ZERO_TOLERANCE / VARIANCE_LIMIT / OVER_REFUSAL_LIMIT / MANUAL_BLOCK_RULEaverageだけでtailを隠す
ResultEVAL_RUN_ID / START_END / ATTEMPTS / SLICE_RESULTS / FAILURES / UNCERTAINTIES / DECISION / APPROVAL_ID合否lineageが欠落
6. Dataset composition contract
DATASET PARTPURPOSEISOLATION / UPDATE RULE
Representative golden通常task分布production分布との差を記録し、固定版で比較
Hidden holdouttuning過適合の反証author/tunerから隔離。露出・再利用時はrotate
Failure corpus既知障害の再発防止incident ID、root cause、fixed expectationへlink
Freshness set時点依存回答source snapshot/effective dateを更新し、古い版も保持
Challenge set境界・adversarial・tail通常分布scoreと別表示し、失敗を平均で希釈しない
Negative/abstain set答えるべきでないcaseunsafe complianceと正当拒否を区別
Over-refusal control答えるべき安全caserefusal過多を検出
7. Scorer / judge registry
  • deterministic verifierが可能なcaseは、schema parser、citation existence/source match、calculation、unit test、artifact readback等を第一判定とする。
  • semantic judgeは補助判定とし、judge自身のversion、prompt、rubric、position/order effect、abstentionを監査対象にする。
  • dual judgeは独立証拠を自動的に意味しない。同一provider、同一rubric、同一failure modeなら相関を記録する。
  • disagreementは多数決で自動消去せず、critical case、差の大きさ、oracle妥当性に応じてhuman adjudicationまたはrelease blockへ送る。
8. Pass / fail gate

合格は次のAND条件とする。数値はOrganization Overlayで定める。

  • 必須sliceがすべて実行され、invalid／missing resultがない。
  • critical failure zero-tolerance条件に違反しない。
  • slice別thresholdとvariance limitを満たす。
  • failure corpusに未解決regressionがない。
  • unsafe complianceとover-refusalの両gateを満たす。
  • dataset leakage、invalid oracle、judge drift疑いが未解決でない。
  • candidate configと実行environmentのdigest/readbackが一致する。
  • release authorityがresultと残存UNKNOWNを確認する。

overall平均は報告値にはできるが、上記AND条件を上書きしない。

9. Required slice report

各sliceはN / valid N / attempts / score distribution / pass^k if used / failures / severity / oracle type / judge disagreement / decisionを持つ。最低sliceはJapanese business knowledge work、long-context、RAG/citation、tool action、coding artifact、spreadsheet/multimodal、safety/over-refusalである。provider surfaceに機能がない場合は0点扱いで平均せず、NOT_APPLICABLEとMISSING_REQUIRED_CAPABILITYを区別する。

10. Acceptance tests
TEST_IDTEST INTENTCURRENT STATUS
TST-C07-01同じcontract/version/environmentからrunを再構成できるLOCAL_RULE_PASS
TST-C07-02scorer/judge/rubric版欠落を拒否するLOCAL_RULE_PASS
TST-C07-03hidden holdoutの露出・candidate tuning利用を検知し結果を無効化するLOCAL_RULE_PASS
TST-C07-04failure corpusの一件でも再発すればaverageにかかわらずblockするLOCAL_RULE_PASS
TST-C07-05Japanese business sliceの欠落をoverall scoreで隠さないLOCAL_RULE_PASS
TST-C07-06unsafe complianceとover-refusalを別matrixで判定するLOCAL_RULE_PASS
TST-C07-07citation/schema/domain artifactをdeterministic verifierで先に判定するLOCAL_RULE_PASS

これらはtests/CORE-07_eval_gate_contract_fixture_v0.1.pyでsynthetic ruleとして検査する。model能力、provider eval product、実dataset品質を証明しない。

GPT Product Mapping handoff — 2026-09-09

PM-GPT-CORE-07-v0.1でOpenAI Datasets、hosted Evals、Graders、Agent traces、Prompt optimizer、openai/evals OSSを分離した。hosted Evals/Gradersの2026-10-31 read-only・2026-11-30 shutdown予定はProduct Mappingのtemporal dependencyであり、Core評価契約を変更しない。judge position biasとConStat contamination detectionはbounded counterevidence/test intentとして採用し、GPTの欠陥・contamination断定には使わない。既存12/12 fixtureはEXP-C07-001のCOMPILER_EXPERIMENTのまま保持する。Core claim変更なし、Gemini遡及監査不要。

Claude Product Mapping handoff — 2026-09-10

PM-CLAUDE-CORE-07-v0.1でAnthropicの評価設計guidance、Console prompt improver/evaluator、Message Batches、structured outputs、Agent SDK/Claude Code trajectory、claude-cookbooksを別surfaceとして分離した。2024年のprompt improver発表に含まれるassistant prefillと、Claude 4.6以降のcurrent prefill非対応はtemporal compatibility testへ送る。cookbook issue #761はAPI/harness例外をcandidate failureへ変換し得る限定的failure signalとして採用し、現行Claude一般欠陥にはしない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT遡及監査不要。

Grok Product Mapping handoff — 2026-09-13

PM-GROK-CORE-07-v0.1でGrok 4.6 announcement/model card、benchmark実施者、harness/reasoning effort、author-maintained Grok Build、Batch、structured outputs、独立benchmark methodologyを別surfaceとして分離した。model cardの比較値はCursor、Mercor、Cognition、Datacurve、Abundant AI、Harbor、Artificial Analysis等の異なる実施者・harnessに由来するため、単一共通runやorganization acceptanceへ昇格しない。Grok Buildはv1.0.25とSOURCE_REVを固定anchorにしたが、current sourceを過去benchmark runのexact artifactとはみなさない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT/Claude遡及監査不要。

11. Counterevidence and failure modes
IDFAILUREREQUIRED RESPONSE
CE-C07-001benchmark contamination / leakageresult invalidate、holdout rotate、lineage記録
CE-C07-002LLM judge bias / drift / position effectjudge pin、order control、deterministic check、human adjudication
CE-C07-003repeated tuningによるtest overfittingauthor/holdout separation、challenge更新、未使用holdout
CE-C07-004average scoreがcritical tail failureを隠すslice gate、zero-tolerance、worst-case/failure count併記
12. UNKNOWN and routing
UNKNOWN_IDQUESTIONROUTE
UNK-C07-001dataset slice別の実数threshold、variance、zero-tolerance範囲Organization Overlay; sector chapter
UNK-C07-002judge-human disagreementのsample率、tie-break、資格、SLACore evidence collection + Organization Overlay
UNK-C07-003holdout/freshness/failure corpusの更新周期とアクセス管理Organization Overlay
UNK-C07-004UI/API/batch/tool-enabled等のsurface差をどのrunで同値扱いできるかProduct Mapping + bounded provider test
13. Initial audit decision
  • Coverage: Frozen packetの11 concept、12 claim、7 acceptance test、4 counterevidence、4 UNKNOWN、必須table/caseを配置した。
  • Evidence: direct-span未回収を明示し、manifest要約を直接証拠として扱っていない。
  • Product boundary: providerのeval service/model/version/quota/priceはCoreへ混入していない。
  • Organization boundary: threshold、更新周期、release authorityをUNKNOWNとして分離した。
  • Contradiction: PROV-FIND-001を保持した。
  • Test: synthetic contract fixtureのみであり、model/judge/dataset実性能へ昇格しない。

NEXT_PACKET_ACTION: Q-C07-001..004に限定し、direct span、benchmark contamination、judge reliability、slice/tail gate、safe bounded evaluation profileの証拠を採集する。

  • CORE-07-DOCUMENT-READBACK実装資料実装資料根拠の出所: DOCUMENT_INGESTION_READBACK

    原資料との収録照合

    裏付ける内容
    資料単位の本文ハッシュ、段落数、表数を照合しています。
    確認日
    —
    出典・実験ID
    DOC-083cde4caa627644-CORE-07
    検証箇所
    18WPldGemks2px0ukhKYINeBMrBwAmlAi · 083cde4caa627644036a2225f1f6ff29b8015bd902614fe1f7a00a997b4eb59c · packets/CORE-07.md · bd838e20291653f84d3dcc37b41c2b03472e629644bffd369dc2c520b14e9347
    適用範囲
    公開指定を受けた資料単位の全文・表・出典。
    出典・来歴
    SOURCE_IDENTITY_VERIFIED
    限界
    収録照合は主張の真偽や外部根拠の最新性を追加保証しません。
出典ID
DOC-083cde4caa627644-CORE-07
追跡中のUNKNOWN ID
CORE-07-CURRENTNESS
再確認のきっかけ
原資料の更新 · 参照資料の変更 · 新しい反証・検証記録

機械検査: 通過 — Automated validation does not guarantee accuracy or authorize execution.

    同じ記事IDの機械可読データです。