# OpenAI / GPT：評価データと公開前の評価契約

CURRENT_STATUS: UNKNOWN
OBSERVATION: UNOBSERVED
FRESHNESS: UNKNOWN
PAGE_TYPE: reference
CANONICAL_URL: /providers/pm-gpt-core-07
CLAIM_IDS: none
EVIDENCE_IDS: EVD-PM-GPT-CORE-07-URL-8F4F2487ED99, EVD-PM-GPT-CORE-07-URL-A01937402C35, EVD-PM-GPT-CORE-07-URL-3F46CD4F9265, EVD-PM-GPT-CORE-07-URL-E4B992CCC389, EVD-PM-GPT-CORE-07-URL-6DB7A0E61936, EVD-PM-GPT-CORE-07-URL-850B438DC6B6, EVD-PM-GPT-CORE-07-URL-8679A00F99F7, EVD-PM-GPT-CORE-07-URL-BAB0E18B2802, EVD-PM-GPT-CORE-07-URL-3140024AB7C6, EVD-PM-GPT-CORE-07-URL-E4E7F033E252, EVD-PM-GPT-CORE-07-URL-827ACF165DA2, EVD-PM-GPT-CORE-07-URL-16D2741870AD, PM-GPT-CORE-07-DOCUMENT-READBACK
UNKNOWN_IDS: PM-GPT-CORE-07-CURRENTNESS
OPS_IDS: none

## Summary
CORE-07のgolden dataset、holdout、scorer/judge registry、slice-level AND gate、release/rollback evidenceをOpenAIのDatasets、Evals、Graders、Agent evals、Prompt optimizerおよびopenai/evals OSSへ対応づける。公開仕様と固定OSSだけを対象とし、実tenant、非公開dataset、model/judgeの実性能、組織閾値はOrganization Overlayへ残す。

## Current judgment
CORE-07のgolden dataset、holdout、scorer/judge registry、slice-level AND gate、release/rollback evidenceをOpenAIのDatasets、Evals、Graders、Agent evals、Prompt optimizerおよびopenai/evals OSSへ対応づける。公開仕様と固定OSSだけを対象とし、実tenant、非公開dataset、model/judgeの実性能、組織閾値はOrganization Overlayへ残す。

## Scope
CORE-07のgolden dataset、holdout、scorer/judge registry、slice-level AND gate、release/rollback evidenceをOpenAIのDatasets、Evals、Graders、Agent evals、Prompt optimizerおよびopenai/evals OSSへ対応づける。公開仕様と固定OSSだけを対象とし、実tenant、非公開dataset、model/judgeの実性能、組織閾値はOrganization Overlayへ残す。

## Confirmed

## UNKNOWN
- PM-GPT-CORE-07-CURRENTNESS: 原資料の確定版から収録しています。外部根拠の最新性を今回の取込日で確認済みと扱いません。本文の未解決事項・残余制約を保持します。

## Evidence
- EVD-PM-GPT-CORE-07-URL-8F4F2487ED99 (RESEARCH): OpenAI, Evaluation best practices: <[ — https://developers.openai.com/api/docs/guides/evaluation-best-practices
- EVD-PM-GPT-CORE-07-URL-A01937402C35 (RESEARCH): OpenAI, Working with evals: <[ — https://developers.openai.com/api/docs/guides/evals
- EVD-PM-GPT-CORE-07-URL-3F46CD4F9265 (RESEARCH): OpenAI, Datasets / Graders / Agent evals: <[ — https://developers.openai.com/api/docs/guides/evaluation-getting-started
- EVD-PM-GPT-CORE-07-URL-E4B992CCC389 (RESEARCH): OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started](https://developers.openai.com/api/docs/guides/evaluation-getti — https://developers.openai.com/api/docs/guides/graders
- EVD-PM-GPT-CORE-07-URL-6DB7A0E61936 (RESEARCH): OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started](https://developers.openai.com/api/docs/guides/evaluation-getti — https://developers.openai.com/api/docs/guides/agent-evals
- EVD-PM-GPT-CORE-07-URL-850B438DC6B6 (RESEARCH): OpenAI, Prompt optimizer / Fine-tuning best practices: <[ — https://developers.openai.com/api/docs/guides/prompt-optimizer
- EVD-PM-GPT-CORE-07-URL-8679A00F99F7 (RESEARCH): OpenAI, Prompt optimizer / Fine-tuning best practices: <[https://developers.openai.com/api/docs/guides/prompt-optimizer](https://developers.openai.com/api/docs/guides/prompt-optimi — https://developers.openai.com/api/docs/guides/fine-tuning-best-practices
- EVD-PM-GPT-CORE-07-URL-BAB0E18B2802 (RESEARCH): OpenAI, Deprecations: <[ — https://developers.openai.com/api/docs/deprecations
- EVD-PM-GPT-CORE-07-URL-3140024AB7C6 (RESEARCH): OpenAI, openai/evals: <[ — https://github.com/openai/evals
- EVD-PM-GPT-CORE-07-URL-E4E7F033E252 (RESEARCH): OpenAI, openai/evals: <[https://github.com/openai/evals](https://github.com/openai/evals)>; commit <[ — https://github.com/openai/evals/commit/8eac7a7de5215c907fbddc30efdaf316913eccdd
- EVD-PM-GPT-CORE-07-URL-827ACF165DA2 (RESEARCH): Shi et al., Judging the Judges, ACL-IJCNLP 2025: <[ — https://aclanthology.org/2025.ijcnlp-long.18/
- EVD-PM-GPT-CORE-07-URL-16D2741870AD (RESEARCH): Dekoninck et al., ConStat: <[ — https://arxiv.org/abs/2405.16281
- PM-GPT-CORE-07-DOCUMENT-READBACK (IMPL): 原資料との収録照合

## Practice
CORE-07のgolden dataset、holdout、scorer/judge registry、slice-level AND gate、release/rollback evidenceをOpenAIのDatasets、Evals、Graders、Agent evals、Prompt optimizerおよびopenai/evals OSSへ対応づける。公開仕様と固定OSSだけを対象とし、実tenant、非公開dataset、model/judgeの実性能、組織閾値はOrganization Overlayへ残す。
## 資料の識別情報
Source SHA-256 bffa68bb3a761f7e193bfa5647b19f0503bac9de371403111bf9ba8007ba67ea

## Product Mapping — GPT / CORE-07
PRODUCT_MAPPING_ID: PM-GPT-CORE-07-v0.1

PROVIDER: GPT / OpenAI

CORE_PACKET: PKT-GEMINI-A-CORE-07-v0.1

AS_OF: 2026-09-09 JST

STATUS: PUBLIC_MAPPING_BOUNDED_COMPLETE / HOSTED_EVALS_DEPRECATION_ACTIVE / LIVE_ORG_PENDING

LAYER: PRODUCT_MAPPING (not Enterprise AI Core; not Organization Overlay)

## Scope
CORE-07のgolden dataset、holdout、scorer/judge registry、slice-level AND gate、release/rollback evidenceをOpenAIのDatasets、Evals、Graders、Agent evals、Prompt optimizerおよびopenai/evals OSSへ対応づける。公開仕様と固定OSSだけを対象とし、実tenant、非公開dataset、model/judgeの実性能、組織閾値はOrganization Overlayへ残す。

## Surface and lifecycle separation
| SURFACE | CURRENT EVIDENCE | LIFECYCLE DECISION | LIMIT |
| --- | --- | --- | --- |
| dashboard Datasets | rows、dynamic data、prompts、annotations、graderを保持して反復評価を支援 | rapid iteration用artifactとして扱い、dataset provenance、split、export、access、retentionを別台帳で固定 | UI上のdataset名・IDだけではimmutability、hidden holdout隔離、長期保存を証明しない |
| Evals API/dashboard | data_source_config、item schema、testing_criteria、runs、result countsを提供 | 2026-06-03 deprecated、2026-10-31既存evals read-only、2026-11-30 dashboard/API shutdown予定のACTIVE_DEPRECATED_DEPENDENCY | forward release gateとして新規依存しない。停止予定は現在の即時利用不能を意味しない |
| Graders | string、text-similarity、score-model、label-model、Python等の評価器 | deterministic checkとmodel judgeを分離し、grader definition、model、prompt、threshold、range、sampling、error policyをversion固定 | grader scoreは人手正解や全slice品質の代用ではなく、grader基盤自体もdeprecation対象 |
| Agent evals / traces | traceからdataset/eval runを構成し、agent workflow変更を比較可能 | trajectory評価をrelease evidenceの一部として採用 | traceは外部systemのauthoritative final state、業務成果、完全なside effectを証明しない |
| Prompt optimizer | dataset、annotations、grader resultsを用いてprompt改善を反復 | optimization corpusとsealed holdoutを分離し、再利用回数・閲覧・派生promptをleak ledgerへ記録 | 同一datasetでの反復最適化はtest overfittingを招き得る。改善scoreを未見分布へ外挿しない |
| openai/evals OSS | author-maintained framework/registry。2026-04-14 commit 8eac7a7de5215c907fbddc30efdaf316913eccddを確認 | self-hosted/external harness候補としてhosted Evals lifecycleと別dependency化 | GitHub repositoryの存続はhosted API/dashboardの移行先・SLA・互換保証ではない |

## Core → GPT mapping rows
| ROW | CORE CONTRACT | GPT / OPENAI FINDING | DECISION / UNKNOWN |
| --- | --- | --- | --- |
| PM-C07-GPT-001 | evaluation artifact separation | Datasets、Evals runs、Graders、Agent traces、Prompt optimizerは役割とlifecycleが異なる | 一つの「OpenAI eval」へ束ねず、dataset/version、candidate config、scorer/judge、run、trace、release decisionを別IDで結合する |
| PM-C07-GPT-002 | temporal dependency | hosted EvalsとGradersは2026-06-03 deprecated。既存evalsは2026-10-31 read-only、2026-11-30 shutdown予定 | 新規release gateのsingle point of failureにしない。migration owner、export、dual-run、cutover、rollback期限を要求。後継の完全同値surfaceは公開情報ではUNKNOWN |
| PM-C07-GPT-003 | dataset schema and run evidence | Evals APIはitem JSON schema、testing criteria、run result countsを持つ | schema/run ID/countをCore evaluation contractのcomponentとして記録。ただしprovenance、holdout access、slice completeness、immutability、retentionは別証拠が必要 |
| PM-C07-GPT-004 | deterministic-first scoring | Datasets/Gradersは複数grader typeを提供し、Python graderの例外・invalid floatはinvalid/0として扱われる | exact/schema/rule checksを先行させ、grader failureとcandidate failureを分離。aggregate scoreだけでreleaseしない |
| PM-C07-GPT-005 | judge registry and calibration | score-model graderはmodel、prompt、threshold、range、samplingを設定する。独立研究はposition biasがjudge/taskで変動することを示す | judge ID/model/snapshot、prompt/rubric、sampling、candidate order/permutation、abstention、human disagreementを保存。swap testと人手calibrationなしにjudge scoreをground truth化しない |
| PM-C07-GPT-006 | optimization/holdout split | Prompt optimizerはdataset、annotation、grader resultを反復利用する | optimization corpusとsealed holdout/challenge setを分離。prompt optimizerへの閲覧・feedback・再実行をcontamination eventとして追跡 |
| PM-C07-GPT-007 | hosted/OSS boundary | openai/evals OSSはhosted Evalsとは別artifactで、公開repoにrelease tagはなくcommit履歴で固定可能 | commit SHA、dependencies、registry、runner、result digestを固定。OSS利用可能性をhosted replacement guaranteeへ昇格しない |
| PM-C07-GPT-008 | bounded contamination counterevidence | ConStatはprimary/reference benchmarkと同分布のrephrased/synthetic samplesを比較し、非一般化したscore inflationを検出する | named-model contaminationの断定には使わず、public benchmark、rephrase、fresh challenge、sealed holdoutのgapをrelease前に測る反証profileとして採用 |
| PM-C07-GPT-009 | release decision and readback | OpenAIはtask-specific data、実分布、continuous evaluation、人手feedbackとのcalibrationを推奨する | overall平均ではなくcritical slice AND gate、variance、known regression、safety/over-refusalを個別判定し、release/rollback後のeffective configurationと受入結果をread backする |

## Safe verification profile
非機密synthetic fixtureと既存のprovider-neutral 12/12 diagnosticだけを使う。今回はOpenAI API、dashboard、tenant、dataset、grader、optimizer、model、traceを操作していない。

- Datasets、Evals、Graders、Agent traces、Prompt optimizer、OSS harnessを別dependencyとしてinventoryし、hosted deprecation日とmigration ownerを付ける。

- candidate、rendered input、tool/source/policy、dataset split/version、scorer/judge、environment、run、release decisionを一つのevaluation contractへ参照結合する。

- exact/schema/rule checksを先行し、grader exception、timeout、invalid score、missing sliceをcandidate failureと別分類する。

- model judgeではcandidate順序をswap/permutationし、judge version・samplingを固定して反復し、人手labelとのdisagreementをslice別に測る。

- tuning/optimizerへ触れたcaseをsealed holdoutから失効させ、public benchmark、rephrase、fresh challenge、failure corpusのscore gapを記録する。

- overall passでもcritical slice、known regression、Japanese、safety、over-refusal、tail、varianceのいずれかがfailならreleaseをblockする。

- hosted export/dual-run後にrun count、per-item result、grader definition、artifact digest、retention/readabilityをread backし、移行不能ならmanual release stopへ切り替える。

既存EXP-C07-001の12/12は本研究のCOMPILER_EXPERIMENTであり、GPT/OpenAI、hosted Evals、grader、model judgeのlive試験へ再分類しない。

## Organization Overlay handoff
- adopted evaluation surfaces、workspace/tenant、dataset owner、access group、retention、export location

- dataset provenance、PII/security review、language/risk slice、sealed holdout custodian、leak response

- grader/judge allowlist、model snapshot、rubric owner、human calibration sample、disagreement threshold

- release threshold、critical slice、variance budget、zero-tolerance failure、exception approver

- Evals/Graders migration owner、2026-10-31/11-30 cutover、dual-run、rollback、evidence retention

- production telemetry、incident/failure corpus intake、continuous-eval cadence、release/rollback owner

## Provenance
- OpenAI, Evaluation best practices: <[https://developers.openai.com/api/docs/guides/evaluation-best-practices](https://developers.openai.com/api/docs/guides/evaluation-best-practices)> (accessed 2026-09-09)

- OpenAI, Working with evals: <[https://developers.openai.com/api/docs/guides/evals](https://developers.openai.com/api/docs/guides/evals)> (accessed 2026-09-09)

- OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started](https://developers.openai.com/api/docs/guides/evaluation-getting-started)>; <[https://developers.openai.com/api/docs/guides/graders](https://developers.openai.com/api/docs/guides/graders)>; <[https://developers.openai.com/api/docs/guides/agent-evals](https://developers.openai.com/api/docs/guides/agent-evals)> (accessed 2026-09-09)

- OpenAI, Prompt optimizer / Fine-tuning best practices: <[https://developers.openai.com/api/docs/guides/prompt-optimizer](https://developers.openai.com/api/docs/guides/prompt-optimizer)>; <[https://developers.openai.com/api/docs/guides/fine-tuning-best-practices](https://developers.openai.com/api/docs/guides/fine-tuning-best-practices)> (accessed 2026-09-09)

- OpenAI, Deprecations: <[https://developers.openai.com/api/docs/deprecations](https://developers.openai.com/api/docs/deprecations)> (accessed 2026-09-09)

- OpenAI, openai/evals: <[https://github.com/openai/evals](https://github.com/openai/evals)>; commit <[https://github.com/openai/evals/commit/8eac7a7de5215c907fbddc30efdaf316913eccdd](https://github.com/openai/evals/commit/8eac7a7de5215c907fbddc30efdaf316913eccdd)>

- Shi et al., Judging the Judges, ACL-IJCNLP 2025: <[https://aclanthology.org/2025.ijcnlp-long.18/](https://aclanthology.org/2025.ijcnlp-long.18/)>

- Dekoninck et al., ConStat: <[https://arxiv.org/abs/2405.16281](https://arxiv.org/abs/2405.16281)>

## Exit condition
OpenAI固有surface、hosted Evals/Gradersの停止予定、judge bias、optimizer/holdout漏洩、hosted/OSS境界をCORE-07へ対応づけた。公開文書内の「DatasetからEvalへexport」という現行案と、Evals停止予定の時間的不一致は移行残差として保持し、公開されていない完全な後継・export/retention保証を推測しない。Core claimは変更しないためGemini遡及監査は不要である。

NEXT: /agent/start.json
STOP: This is a knowledge projection, not an execution order.