本文へスキップ

AI運用の判断と根拠を引く

Enterprise AI運用辞典

トップへ戻る

評価データと公開前の評価契約

用語・参照用語・参照実挙動未確認実挙動未観測鮮度未確認鮮度を確定できない

記事状態: 公開 · 最終確認: 未確認

要点

CORE-07は、候補設定を本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一比較評価、平均score、モデル名、judgeの自然文だけを公開・提供根拠にしない。

現在の判断

CORE-07は、候補設定を本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一比較評価、平均score、モデル名、judgeの自然文だけを公開・提供根拠にしない。

どこまで当てはまるか

CORE-07は、候補設定を本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一比較評価、平均score、モデル名、judgeの自然文だけを公開・提供根拠にしない。

含まない:

  • 本番環境 traffic上のlive 評価（CORE-08）
  • human trust、automation bias、承認UIの有効性（CORE-09）
  • リリースおよび変更管理（公開・提供/change management）全体（CORE-11）
  • incident response全体（CORE-12）
  • 提供元固有の評価 service、モデル 利用可能性、利用枠、価格（製品への適用整理）
  • 組織固有の閾値、リスク appetite、公開・提供 authority、更新周期（組織ごとの追加条件）

詳しく理解する

確認・評価方法

PACKET_ID: PKT-GEMINI-A-CORE-07-v0.1

SECTION_ID: CORE-07

WAVE: WAVE-A

LAYER: ENTERPRISE_AI_CORE

状態: INITIAL_COMPILE_AUDITED_V0.1

AS_OF: 2026-09-07

DEPENDENCIES: CORE-01, CORE-02, CORE-03, CORE-04, CORE-05, CORE-06

FROZEN_TOC: S063 v0.1

1. 適用範囲と限界

CORE-07は、候補設定を本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一比較評価、平均score、モデル名、judgeの自然文だけを公開・提供根拠にしない。

含まない:

  • 本番環境 traffic上のlive 評価（CORE-08）
  • human trust、automation bias、承認UIの有効性（CORE-09）
  • リリースおよび変更管理（公開・提供/change management）全体（CORE-11）
  • incident response全体（CORE-12）
  • 提供元固有の評価 service、モデル 利用可能性、利用枠、価格（製品への適用整理）
  • 組織固有の閾値、リスク appetite、公開・提供 authority、更新周期（組織ごとの追加条件）

2. 正式な concepts

CONCEPT_IDTERMCORE-07での境界
C-GOLDEN-DATASETGolden datasettask分布、期待結果、出典・来歴、利用条件、版を持つ公開・提供評価用dataset
C-FAILURE-CORPUS失敗 検索対象の文書群過去障害・near miss・known-bad outputを再発防止caseへ変換した集合
C-FRESHNESS-SET情報の鮮度 set時点依存の事実・出典・policy変更を検査する更新可能slice
C-HIDDEN-HOLDOUTHidden holdoutプロンプト/設定の作成者と、候補の最適化（candidate optimization）から隔離された非公開のケース集合
C-CHALLENGE-SETチャレンジセット境界条件、敵対的入力、テールリスクを狙って構成した反証集合
C-SCORERScorer完全一致、スキーマ、引用、コード/テスト等を判定する、版情報付きの手続き
C-JUDGEJudgeルーブリックに基づき意味の品質等を判定する人間またはモデル。オラクルとは同一視しない。
C-RUBRICRubric観測可能な評価軸、尺度、失敗条件、abstentionを定義した版付き規則
C-THRESHOLDThresholdslice／リスク class別の公開・提供合格条件。普遍的数値ではない
C-EVAL-RUN評価 実行データセット、候補、スコアラー、ジャッジ、環境、結果を結ぶ不変の記録
C-CANDIDATE-CONFIGCandidate 設定CORE-06の完全なcandidate bundle参照。promptだけを候補主体の識別にしない

3. Claims v0.1

CLAIM_ID記述・判断現在の 裏付け状態
CLM-C07-001リリース判定は、候補となる構成、データセット、スコアラー、判定者、評価基準、環境、結果の各バージョンを結びつける評価契約（評価 条件・契約）に基づく。S045 manifest; CORE-01/06 dependencyINITIAL_SYNTHESIS
CLM-C07-002golden datasetは対象task分布を代表するが、全運用条件の完全な代理にはならないS013/S014/S053 manifest; CE-C07-001/003INITIAL_BOUNDED_RULE
CLM-C07-003過去の失敗とnear missは失敗 検索対象の文書群へ固定し、candidateごとにregression 確認・承認の条件を通すS029/S045/S054 manifest; CORE-12 routeINITIAL_SYNTHESIS
CLM-C07-004鮮度（情報の鮮度）に依存するケースは静的なゴールデンセットから分離し、出典のスナップショットと適用日を持つものとする。CORE-02 出典/情報の鮮度 条件・契約EVIDENCE_CARRY
CLM-C07-005hidden holdoutは作成・tuning・prompt 改訂版から隔離し、漏洩疑い時は合格証拠を失効させるCE-C07-001/003; Frozen requirementINITIAL_BOUNDED_RULE
CLM-C07-006決まった規則に従うに検証できるデータ形式の定義、citation、calculation、code、成果物条件をLLM judgeへ委ねないS013/S014/S053/S054 manifestINITIAL_SYNTHESIS
CLM-C07-007LLM judgeは、judge ID/バージョン、プロンプト、評価基準（rubric）、サンプリング、位置/順序、棄権、および人による最終判断（human adjudication）を記録する。S013/S014/S053 manifest; CE-C07-002INITIAL_SYNTHESIS
CLM-C07-008overall averageだけで合格させず、critical slice、worst-case、失敗 count、varianceを別確認・承認の条件にするCE-C07-004; CORE-04 risk-tail carryINITIAL_BOUNDED_RULE
CLM-C07-009安全性評価はunsafe complianceとover-refusalを対で測り、拒否率だけを安全性としないFrozen 受け入れ確認 TST-C07-06INITIAL_SYNTHESIS
CLM-C07-010non-deterministic taskは単発scoreでなく反復実行、variance、pass^k等を用途に応じて記録するS039/S049 マニフェスト; CORE-06 ドリフトの引き継ぎINITIAL_BOUNDED_RULE
CLM-C07-011日本のビジネス、ロングコンテキスト、RAG/引用、ツール実行、コーディング、スプレッドシート/マルチモーダルを、一つの総合スコアに集約しない。S053/S054/S056 manifestINITIAL_SYNTHESIS
CLM-C07-012judge-human disagreement、invalid oracle、flaky result、contamination疑いは自動平均せず、保留・再測定・human adjudicationへ送るCE-C07-001..004INITIAL_BOUNDED_RULE

4. 出典 and 出典・来歴 適用限界

Primary manifestはS002/S003/S004/S005/S012/S013/S014/S025/S027/S029/S039/S040/S043/S044/S045/S048/S050/S051/S052/S053/S054/S055/S056/S063、文脈・入力情報はS016/S018/S019/S020/S024/S041/S046/S047/S049/S059/S061/S062である。この初稿ではS063 Frozen manifestと、既に直接監査済みのCORE-01/02/04/05/06 引継ぎのみを用いた。未回収のS013/S014/S025/S053/S054等の説明は、記述・判断レベルの直接証拠へは昇格させていない。S063内のS050–S055における説明の不一致は、PROV-FIND-001として保持する。

確認・評価方法 2

GROUPREQUIRED FIELDS失敗 IF MISSING
主体の識別EVAL_CONTRACT_ID / バージョン / 担当者 / PURPOSE / RISK_CLASS何の合格か不明
CandidateCONFIG_ID / CONFIG_VERSION / CONFIG_DIGEST / 提供元 / 利用機能・接続経路 / MODEL_REVISION_EVIDENCEprompt名だけでは候補を再構成不能
DatasetDATASET_ID / バージョン / SNAPSHOT_TIME / 出典・来歴 / LICENSE / SLICE_MANIFEST / LEAKAGE_STATUStask分布・汚染境界が不明
Expected resultORACLE_TYPE / EXPECTED_ARTIFACT / ACCEPTABLE_VARIANTS / ABSTENTION_POLICYinvalid oracleまたは恣意採点
ScoringSCORER_ID / バージョン / CODE_DIGEST / 評価指標 / ERROR_POLICYscorer driftを検出不能
JudgmentJUDGE_ID / バージョン / JUDGE_PROMPT_DIGEST / RUBRIC_ID_VERSION / ORDER_POLICY / ABSTENTION / HUMAN_ADJUDICATIONjudge自然文をoracle化
EnvironmentENVIRONMENT_ID / 利用機能・接続経路 / TOOL_SOURCE_SNAPSHOT / LOCALE / TIME / RETRY_SAMPLING_POLICY実行差の原因を比較不能
確認・承認の条件SLICE_THRESHOLDS / CRITICAL_ZERO_TOLERANCE / VARIANCE_LIMIT / OVER_REFUSAL_LIMIT / MANUAL_BLOCK_RULEaverageだけでtailを隠す
ResultEVAL_RUN_ID / START_END / ATTEMPTS / SLICE_RESULTS / FAILURES / UNCERTAINTIES / DECISION / APPROVAL_ID合否変更・継承の履歴が欠落

6. Dataset composition 条件・契約

DATASET PARTPURPOSEISOLATION / UPDATE RULE
Representative golden通常task分布本番環境分布との差を記録し、固定版で比較
Hidden holdouttuning過適合の反証author/tunerから隔離。露出・再利用時はrotate
失敗 検索対象の文書群既知障害の再発防止インシデントID、根本原因、修正後の期待値へリンク
情報の鮮度 set時点依存回答参照資料の固定版/effective dateを更新し、古い版も保持
チャレンジセット境界・adversarial・tail通常分布scoreと別表示し、失敗を平均で希釈しない
Negative/abstain set答えるべきでないcaseunsafe complianceと正当拒否を区別
Over-refusal 制御答えるべき安全caserefusal過多を検出

7. Scorer / judge registry

  • 決まった規則に従う verifierが可能なcaseは、データ形式の定義 parser、citation existence/出典 match、calculation、unit test、成果物 結果の照合等を第一判定とする。
  • 意味上の judgeは補助判定とし、judge自身のバージョン、プロンプト、評価基準（rubric）、位置/順序効果、および棄権（abstention）を監査対象とする。
  • dual judgeは独立証拠を自動的に意味しない。同一提供元、同一rubric、同一失敗条件なら相関を記録する。
  • disagreementは多数決で自動消去せず、critical case、差の大きさ、oracle妥当性に応じてhuman adjudicationまたは公開・提供 blockへ送る。

8. 合否判定ゲート

合格は次のAND条件とする。数値は組織ごとの追加条件で定める。

  • 必須のスライスがすべて実行されており、無効な結果や欠落した結果がないこと。
  • critical 失敗 zero-tolerance条件に違反しない。
  • スライス別の閾値と分散制限を満たす。
  • 失敗 検索対象の文書群に未解決regressionがない。
  • unsafe complianceとover-refusalの両確認・承認の条件を満たす。
  • dataset leakage、invalid oracle、judge drift疑いが未解決でない。
  • candidate 設定と実行environmentのdigest/結果の照合が一致する。
  • リリース権限者が、結果と残存する未確認事項を確認する。

overall平均は報告値にはできるが、上記AND条件を上書きしない。

9. Required slice report

各スライスは、N（件数） / 有効なN / 試行回数 / スコア分布 / 使用された場合のpass^k / 失敗 / 重要度 / オラクル形式 / 判定の不一致 / 決定 を持つ。最小のスライスは、日本語のビジネス知識業務、ロングコンテキスト、RAG/引用、ツールアクション、コーディング成果物、スプレッドシート/マルチモーダル、安全性/過剰な拒否である。プロバイダーの機能として存在しない場合は0点として扱い、平均には含めない。「NOT_APPLICABLE（該当なし）」と「MISSING_REQUIRED_CAPABILITY（必要な機能の欠如）」を区別する。

10. 受け入れ確認 tests

TEST_IDTEST INTENT現在の 状態
TST-C07-01同じ条件・契約/バージョン/environmentから実行を再構成できるLOCAL_RULE_PASS
TST-C07-02scorer/judge/rubric版欠落を拒否するLOCAL_RULE_PASS
TST-C07-03hidden holdoutの露出・candidate tuning利用を検知し結果を無効化するLOCAL_RULE_PASS
TST-C07-04失敗 検索対象の文書群の一件でも再発すればaverageにかかわらずblockするLOCAL_RULE_PASS
TST-C07-05Japanese business sliceの欠落をoverall scoreで隠さないLOCAL_RULE_PASS
TST-C07-06unsafe complianceとover-refusalを別matrixで判定するLOCAL_RULE_PASS
TST-C07-07citation/データ形式の定義/domain 成果物を決まった規則に従う verifierで先に判定するLOCAL_RULE_PASS

これらはtests/CORE-07_eval_gate_contract_fixture_v0.1.pyでsynthetic ruleとして検査する。モデル能力、提供元 評価 product、実dataset品質を証明しない。

GPT 製品への適用整理 引継ぎ — 2026-09-09

PM-GPT-CORE-07-v0.1でOpenAI Datasets、提供元が管理する Evals、Graders、Agent traces、Prompt optimizer、openai/evals OSSを分離した。提供元が管理する Evals/Gradersの2026-10-31 read-only・2026-11-30 shutdown予定は製品への適用整理のtemporal dependencyであり、Core評価契約を変更しない。judge position biasとConStat contamination detectionはbounded 反証/test intentとして採用し、GPTの欠陥・contamination断定には使わない。既存12/12 fixtureはEXP-C07-001のCOMPILER_EXPERIMENTのまま保持する。Core 記述・判断変更なし、Gemini遡及監査不要。

Claude 製品への適用整理 引継ぎ — 2026-09-10

PM-CLAUDE-CORE-07-v0.1でAnthropicの評価設計guidance、Console prompt improver/evaluator、Message Batches、structured outputs、Agent SDK/Claude Code trajectory、claude-cookbooksを別利用機能・接続経路として分離した。2024年のprompt improver発表に含まれるassistant prefillと、Claude 4.6以降の現在の prefill非対応はtemporal compatibility testへ送る。cookbook issue #761はAPI/harness例外をcandidate 失敗へ変換し得る限定的失敗 signalとして採用し、現行Claude一般欠陥にはしない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core 記述・判断変更なし、Gemini/GPT遡及監査不要。

Grok 製品マッピングの引き継ぎ — 2026-09-13

PM-GROK-CORE-07-v0.1でGrok 4.6 announcement/モデル card、比較評価実施者、harness/reasoning effort、author-maintained Grok 生成・構築、Batch、structured outputs、独立比較評価 methodologyを別利用機能・接続経路として分離した。モデル cardの比較値はCursor、Mercor、Cognition、Datacurve、Abundant AI、Harbor、Artificial Analysis等の異なる実施者・harnessに由来するため、単一共通実行や組織 受け入れ確認へ昇格しない。Grok 生成・構築はv1.0.25とSOURCE_REVを固定anchorにしたが、現在の 出典を過去比較評価 実行のexact 成果物とはみなさない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core 記述・判断変更なし、Gemini/GPT/Claude遡及監査不要。

12. 不明およびルーティング

UNKNOWN_ID検討する問いROUTE
UNK-C07-001dataset slice別の実数threshold、variance、zero-tolerance範囲組織ごとの追加条件; sector chapter
UNK-C07-002judge-human disagreementのsample率、tie-break、資格、SLACore 根拠 collection + 組織ごとの追加条件
UNK-C07-003holdout/情報の鮮度/失敗 検索対象の文書群の更新周期とアクセス管理組織ごとの追加条件
UNK-C07-004UI/API/batch/tool-enabled等の利用機能・接続経路差をどの実行で同値扱いできるか製品への適用整理 + bounded 提供元 test

13. 初回の監査決定

  • 網羅範囲：固定されたパケットの11の概念、12の記述、7の受け入れ確認、4の反証、4の不明な事項、および必須のテーブル/ケースを配置しました。
  • 根拠: direct-span未回収を明示し、manifest要約を直接証拠として扱っていない。
  • Product 適用限界: 提供元の評価 service/モデル/バージョン/利用枠/priceはCoreへ混入していない。
  • 組織の境界: しきい値、更新周期、リリース権限を「不明」として分離した。
  • Contradiction: PROV-FIND-001を保持した。
  • Test: synthetic 条件・契約 fixtureのみであり、モデル/judge/dataset実性能へ昇格しない。

NEXT_PACKET_ACTION: Q-C07-001..004に限定し、ダイレクトスパン、ベンチマークへの汚染、判定の信頼性、スライス／テイルゲート、安全な境界評価プロファイル（safe bounded 評価 profile）の証拠を採集する。

よくある失敗・反証

  • ID失敗REQUIRED RESPONSE
    CE-C07-001比較評価 contamination / leakageresult invalidate、holdout rotate、変更・継承の履歴記録
    CE-C07-002LLM judge bias / drift / position effectjudge pin、order 制御、決まった規則に従う check、human adjudication
    CE-C07-003repeated tuningによるtest overfitting作成者とホールドアウト（検証用データ）の分離、課題の更新、未使用のホールドアウト
    CE-C07-004average scoreがcritical tail 失敗を隠すslice 確認・承認の条件、zero-tolerance、worst-case/失敗 count併記
  • UNKNOWN_ID検討する問いROUTE
    UNK-C07-001dataset slice別の実数threshold、variance、zero-tolerance範囲組織ごとの追加条件; sector chapter
    UNK-C07-002judge-human disagreementのsample率、tie-break、資格、SLACore 根拠 collection + 組織ごとの追加条件
    UNK-C07-003holdout/情報の鮮度/失敗 検索対象の文書群の更新周期とアクセス管理組織ごとの追加条件
    UNK-C07-004UI/API/batch/tool-enabled等の利用機能・接続経路差をどの実行で同値扱いできるか製品への適用整理 + bounded 提供元 test

実務での使い方

  • PACKET_ID: PKT-GEMINI-A-CORE-07-v0.1

    SECTION_ID: CORE-07

    WAVE: WAVE-A

    LAYER: ENTERPRISE_AI_CORE

    状態: INITIAL_COMPILE_AUDITED_V0.1

    AS_OF: 2026-09-07

    DEPENDENCIES: CORE-01, CORE-02, CORE-03, CORE-04, CORE-05, CORE-06

    FROZEN_TOC: S063 v0.1

まだ確認できていないこと

  • CORE-07-CURRENTNESS

    原資料の確定版から収録しています。外部根拠の最新性を今回の取込日で確認済みと扱いません。本文の未解決事項・残余制約を保持します。

根拠資料

この記事には、直接開ける外部出典が登録されていません。出典IDや検証情報は末尾で確認できます。

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
CORE-07
最終確認日
—
提供元・モデル・プラン・利用環境
—
対象地域
—
元資料の全文と収録照合記録
資料の識別情報

Source SHA-256 35ab1fce4e543b0deb92ef2e8098d9299bd177365c4e95873a5f61e475894265

Enterprise AI Core — CORE-07 Golden Dataset / Pre-release Evaluation Contract

PACKET_ID: PKT-GEMINI-A-CORE-07-v0.1

SECTION_ID: CORE-07

WAVE: WAVE-A

LAYER: ENTERPRISE_AI_CORE

STATUS: INITIAL_COMPILE_AUDITED_V0.1

AS_OF: 2026-09-07

DEPENDENCIES: CORE-01, CORE-02, CORE-03, CORE-04, CORE-05, CORE-06

FROZEN_TOC: S063 v0.1

1. Scope boundary

CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。

含まない:

  • production traffic上のlive evaluation（CORE-08）
  • human trust、automation bias、承認UIの有効性（CORE-09）
  • release/change management全体（CORE-11）
  • incident response全体（CORE-12）
  • provider固有のeval service、model availability、quota、価格（Product Mapping）
  • 組織固有の閾値、risk appetite、release authority、更新周期（Organization Overlay）
2. Canonical concepts
CONCEPT_IDTERMCORE-07での境界
C-GOLDEN-DATASETGolden datasettask分布、期待結果、provenance、利用条件、版を持つrelease評価用dataset
C-FAILURE-CORPUSFailure corpus過去障害・near miss・known-bad outputを再発防止caseへ変換した集合
C-FRESHNESS-SETFreshness set時点依存の事実・source・policy変更を検査する更新可能slice
C-HIDDEN-HOLDOUTHidden holdoutprompt/config作成者とcandidate optimizationから隔離された非公開case集合
C-CHALLENGE-SETChallenge set境界条件、adversarial入力、tail riskを狙って構成した反証集合
C-SCORERScorerexact match、schema、citation、code/test等を判定する版付き手続き
C-JUDGEJudgerubricに基づき意味品質等を判定する人またはmodel。oracleと同一視しない
C-RUBRICRubric観測可能な評価軸、尺度、失敗条件、abstentionを定義した版付き規則
C-THRESHOLDThresholdslice／risk class別のrelease合格条件。普遍的数値ではない
C-EVAL-RUNEvaluation rundataset、candidate、scorer、judge、environment、resultを結ぶimmutable record
C-CANDIDATE-CONFIGCandidate configurationCORE-06の完全なcandidate bundle参照。promptだけを候補identityにしない
3. Claims v0.1
CLAIM_IDCLAIMCURRENT SUPPORTSTATUS
CLM-C07-001release判定はcandidate config、dataset、scorer、judge、rubric、environment、resultの各versionを結ぶEvaluation Contractに基づくS045 manifest; CORE-01/06 dependencyINITIAL_SYNTHESIS
CLM-C07-002golden datasetは対象task分布を代表するが、全運用条件の完全な代理にはならないS013/S014/S053 manifest; CE-C07-001/003INITIAL_BOUNDED_RULE
CLM-C07-003過去のfailureとnear missはfailure corpusへ固定し、candidateごとにregression gateを通すS029/S045/S054 manifest; CORE-12 routeINITIAL_SYNTHESIS
CLM-C07-004freshness依存caseは静的golden setから分離し、source snapshotとeffective dateを持つCORE-02 source/freshness contractEVIDENCE_CARRY
CLM-C07-005hidden holdoutは作成・tuning・prompt revisionから隔離し、漏洩疑い時は合格証拠を失効させるCE-C07-001/003; Frozen requirementINITIAL_BOUNDED_RULE
CLM-C07-006deterministicに検証できるschema、citation、calculation、code、artifact条件をLLM judgeへ委ねないS013/S014/S053/S054 manifestINITIAL_SYNTHESIS
CLM-C07-007LLM judgeはjudge ID/version、prompt、rubric、sampling、position/order、abstention、human adjudicationを記録するS013/S014/S053 manifest; CE-C07-002INITIAL_SYNTHESIS
CLM-C07-008overall averageだけで合格させず、critical slice、worst-case、failure count、varianceを別gateにするCE-C07-004; CORE-04 risk-tail carryINITIAL_BOUNDED_RULE
CLM-C07-009safety評価はunsafe complianceとover-refusalを対で測り、拒否率だけを安全性としないFrozen acceptance TST-C07-06INITIAL_SYNTHESIS
CLM-C07-010non-deterministic taskは単発scoreでなく反復run、variance、pass^k等を用途に応じて記録するS039/S049 manifest; CORE-06 drift carryINITIAL_BOUNDED_RULE
CLM-C07-011Japanese business、long-context、RAG/citation、tool action、coding、spreadsheet/multimodalを一つのoverall scoreへ潰さないS053/S054/S056 manifestINITIAL_SYNTHESIS
CLM-C07-012judge-human disagreement、invalid oracle、flaky result、contamination疑いは自動平均せず、保留・再測定・human adjudicationへ送るCE-C07-001..004INITIAL_BOUNDED_RULE
4. Source and provenance boundary

Primary manifestはS002/S003/S004/S005/S012/S013/S014/S025/S027/S029/S039/S040/S043/S044/S045/S048/S050/S051/S052/S053/S054/S055/S056/S063、contextはS016/S018/S019/S020/S024/S041/S046/S047/S049/S059/S061/S062である。この初稿ではS063 Frozen manifestと既に直接監査済みのCORE-01/02/04/05/06 handoffだけを用いた。未回収のS013/S014/S025/S053/S054等の説明をclaim-level直接証拠へ昇格していない。S063内のS050–S055説明不一致はPROV-FIND-001として保持する。

5. Evaluation Contract schema
GROUPREQUIRED FIELDSFAILURE IF MISSING
IdentityEVAL_CONTRACT_ID / VERSION / OWNER / PURPOSE / RISK_CLASS何の合格か不明
CandidateCONFIG_ID / CONFIG_VERSION / CONFIG_DIGEST / PROVIDER / SURFACE / MODEL_REVISION_EVIDENCEprompt名だけでは候補を再構成不能
DatasetDATASET_ID / VERSION / SNAPSHOT_TIME / PROVENANCE / LICENSE / SLICE_MANIFEST / LEAKAGE_STATUStask分布・汚染境界が不明
Expected resultORACLE_TYPE / EXPECTED_ARTIFACT / ACCEPTABLE_VARIANTS / ABSTENTION_POLICYinvalid oracleまたは恣意採点
ScoringSCORER_ID / VERSION / CODE_DIGEST / METRIC / ERROR_POLICYscorer driftを検出不能
JudgmentJUDGE_ID / VERSION / JUDGE_PROMPT_DIGEST / RUBRIC_ID_VERSION / ORDER_POLICY / ABSTENTION / HUMAN_ADJUDICATIONjudge自然文をoracle化
EnvironmentENVIRONMENT_ID / SURFACE / TOOL_SOURCE_SNAPSHOT / LOCALE / TIME / RETRY_SAMPLING_POLICYrun差の原因を比較不能
GateSLICE_THRESHOLDS / CRITICAL_ZERO_TOLERANCE / VARIANCE_LIMIT / OVER_REFUSAL_LIMIT / MANUAL_BLOCK_RULEaverageだけでtailを隠す
ResultEVAL_RUN_ID / START_END / ATTEMPTS / SLICE_RESULTS / FAILURES / UNCERTAINTIES / DECISION / APPROVAL_ID合否lineageが欠落
6. Dataset composition contract
DATASET PARTPURPOSEISOLATION / UPDATE RULE
Representative golden通常task分布production分布との差を記録し、固定版で比較
Hidden holdouttuning過適合の反証author/tunerから隔離。露出・再利用時はrotate
Failure corpus既知障害の再発防止incident ID、root cause、fixed expectationへlink
Freshness set時点依存回答source snapshot/effective dateを更新し、古い版も保持
Challenge set境界・adversarial・tail通常分布scoreと別表示し、失敗を平均で希釈しない
Negative/abstain set答えるべきでないcaseunsafe complianceと正当拒否を区別
Over-refusal control答えるべき安全caserefusal過多を検出
7. Scorer / judge registry
  • deterministic verifierが可能なcaseは、schema parser、citation existence/source match、calculation、unit test、artifact readback等を第一判定とする。
  • semantic judgeは補助判定とし、judge自身のversion、prompt、rubric、position/order effect、abstentionを監査対象にする。
  • dual judgeは独立証拠を自動的に意味しない。同一provider、同一rubric、同一failure modeなら相関を記録する。
  • disagreementは多数決で自動消去せず、critical case、差の大きさ、oracle妥当性に応じてhuman adjudicationまたはrelease blockへ送る。
8. Pass / fail gate

合格は次のAND条件とする。数値はOrganization Overlayで定める。

  • 必須sliceがすべて実行され、invalid／missing resultがない。
  • critical failure zero-tolerance条件に違反しない。
  • slice別thresholdとvariance limitを満たす。
  • failure corpusに未解決regressionがない。
  • unsafe complianceとover-refusalの両gateを満たす。
  • dataset leakage、invalid oracle、judge drift疑いが未解決でない。
  • candidate configと実行environmentのdigest/readbackが一致する。
  • release authorityがresultと残存UNKNOWNを確認する。

overall平均は報告値にはできるが、上記AND条件を上書きしない。

9. Required slice report

各sliceはN / valid N / attempts / score distribution / pass^k if used / failures / severity / oracle type / judge disagreement / decisionを持つ。最低sliceはJapanese business knowledge work、long-context、RAG/citation、tool action、coding artifact、spreadsheet/multimodal、safety/over-refusalである。provider surfaceに機能がない場合は0点扱いで平均せず、NOT_APPLICABLEとMISSING_REQUIRED_CAPABILITYを区別する。

10. Acceptance tests
TEST_IDTEST INTENTCURRENT STATUS
TST-C07-01同じcontract/version/environmentからrunを再構成できるLOCAL_RULE_PASS
TST-C07-02scorer/judge/rubric版欠落を拒否するLOCAL_RULE_PASS
TST-C07-03hidden holdoutの露出・candidate tuning利用を検知し結果を無効化するLOCAL_RULE_PASS
TST-C07-04failure corpusの一件でも再発すればaverageにかかわらずblockするLOCAL_RULE_PASS
TST-C07-05Japanese business sliceの欠落をoverall scoreで隠さないLOCAL_RULE_PASS
TST-C07-06unsafe complianceとover-refusalを別matrixで判定するLOCAL_RULE_PASS
TST-C07-07citation/schema/domain artifactをdeterministic verifierで先に判定するLOCAL_RULE_PASS

これらはtests/CORE-07_eval_gate_contract_fixture_v0.1.pyでsynthetic ruleとして検査する。model能力、provider eval product、実dataset品質を証明しない。

GPT Product Mapping handoff — 2026-09-09

PM-GPT-CORE-07-v0.1でOpenAI Datasets、hosted Evals、Graders、Agent traces、Prompt optimizer、openai/evals OSSを分離した。hosted Evals/Gradersの2026-10-31 read-only・2026-11-30 shutdown予定はProduct Mappingのtemporal dependencyであり、Core評価契約を変更しない。judge position biasとConStat contamination detectionはbounded counterevidence/test intentとして採用し、GPTの欠陥・contamination断定には使わない。既存12/12 fixtureはEXP-C07-001のCOMPILER_EXPERIMENTのまま保持する。Core claim変更なし、Gemini遡及監査不要。

Claude Product Mapping handoff — 2026-09-10

PM-CLAUDE-CORE-07-v0.1でAnthropicの評価設計guidance、Console prompt improver/evaluator、Message Batches、structured outputs、Agent SDK/Claude Code trajectory、claude-cookbooksを別surfaceとして分離した。2024年のprompt improver発表に含まれるassistant prefillと、Claude 4.6以降のcurrent prefill非対応はtemporal compatibility testへ送る。cookbook issue #761はAPI/harness例外をcandidate failureへ変換し得る限定的failure signalとして採用し、現行Claude一般欠陥にはしない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT遡及監査不要。

Grok Product Mapping handoff — 2026-09-13

PM-GROK-CORE-07-v0.1でGrok 4.6 announcement/model card、benchmark実施者、harness/reasoning effort、author-maintained Grok Build、Batch、structured outputs、独立benchmark methodologyを別surfaceとして分離した。model cardの比較値はCursor、Mercor、Cognition、Datacurve、Abundant AI、Harbor、Artificial Analysis等の異なる実施者・harnessに由来するため、単一共通runやorganization acceptanceへ昇格しない。Grok Buildはv1.0.25とSOURCE_REVを固定anchorにしたが、current sourceを過去benchmark runのexact artifactとはみなさない。既存12/12 fixtureはCOMPILER_EXPERIMENTのまま。Core claim変更なし、Gemini/GPT/Claude遡及監査不要。

11. Counterevidence and failure modes
IDFAILUREREQUIRED RESPONSE
CE-C07-001benchmark contamination / leakageresult invalidate、holdout rotate、lineage記録
CE-C07-002LLM judge bias / drift / position effectjudge pin、order control、deterministic check、human adjudication
CE-C07-003repeated tuningによるtest overfittingauthor/holdout separation、challenge更新、未使用holdout
CE-C07-004average scoreがcritical tail failureを隠すslice gate、zero-tolerance、worst-case/failure count併記
12. UNKNOWN and routing
UNKNOWN_IDQUESTIONROUTE
UNK-C07-001dataset slice別の実数threshold、variance、zero-tolerance範囲Organization Overlay; sector chapter
UNK-C07-002judge-human disagreementのsample率、tie-break、資格、SLACore evidence collection + Organization Overlay
UNK-C07-003holdout/freshness/failure corpusの更新周期とアクセス管理Organization Overlay
UNK-C07-004UI/API/batch/tool-enabled等のsurface差をどのrunで同値扱いできるかProduct Mapping + bounded provider test
13. Initial audit decision
  • Coverage: Frozen packetの11 concept、12 claim、7 acceptance test、4 counterevidence、4 UNKNOWN、必須table/caseを配置した。
  • Evidence: direct-span未回収を明示し、manifest要約を直接証拠として扱っていない。
  • Product boundary: providerのeval service/model/version/quota/priceはCoreへ混入していない。
  • Organization boundary: threshold、更新周期、release authorityをUNKNOWNとして分離した。
  • Contradiction: PROV-FIND-001を保持した。
  • Test: synthetic contract fixtureのみであり、model/judge/dataset実性能へ昇格しない。

NEXT_PACKET_ACTION: Q-C07-001..004に限定し、direct span、benchmark contamination、judge reliability、slice/tail gate、safe bounded evaluation profileの証拠を採集する。

  • CORE-07-DOCUMENT-READBACK実装資料実装資料根拠の出所: DOCUMENT_INGESTION_READBACK

    原資料との収録照合

    裏付ける内容
    資料単位の本文ハッシュ、段落数、表数を照合しています。
    確認日
    —
    出典・実験ID
    DOC-083cde4caa627644-CORE-07
    検証箇所
    18WPldGemks2px0ukhKYINeBMrBwAmlAi · 083cde4caa627644036a2225f1f6ff29b8015bd902614fe1f7a00a997b4eb59c · packets/CORE-07.md · bd838e20291653f84d3dcc37b41c2b03472e629644bffd369dc2c520b14e9347
    適用範囲
    公開指定を受けた資料単位の全文・表・出典。
    出典・来歴
    SOURCE_IDENTITY_VERIFIED
    限界
    収録照合は主張の真偽や外部根拠の最新性を追加保証しません。
出典ID
DOC-083cde4caa627644-CORE-07
追跡中のUNKNOWN ID
CORE-07-CURRENTNESS
再確認のきっかけ
原資料の更新 · 参照資料の変更 · 新しい反証・検証記録

機械検査: 通過 — 機械検査の結果です。情報の正確性や実行の承認を保証するものではありません。

    同じ記事IDの機械可読データです。