No English page yet. Showing the Japanese source.

OpenAI / GPT：評価データと公開前の評価契約

用語・参照実挙動未確認鮮度未確認

記事状態: 公開 · 最終確認: 未確認

要点

CORE-07のgolden dataset、holdout、scorer/judge registry、slice-level AND gate、release/rollback evidenceをOpenAIのDatasets、Evals、Graders、Agent evals、Prompt optimizerおよびopenai/evals OSSへ対応づける。公開仕様と固定OSSだけを対象とし、実tenant、非公開dataset、model/judgeの実性能、組織閾値はOrganization Overlayへ残す。

現在の判断

どこまで当てはまるか

詳しく理解する

Product Mapping — GPT / CORE-07

PRODUCT_MAPPING_ID: PM-GPT-CORE-07-v0.1

PROVIDER: GPT / OpenAI

CORE_PACKET: PKT-GEMINI-A-CORE-07-v0.1

AS_OF: 2026-09-09 JST

STATUS: PUBLIC_MAPPING_BOUNDED_COMPLETE / HOSTED_EVALS_DEPRECATION_ACTIVE / LIVE_ORG_PENDING

LAYER: PRODUCT_MAPPING (not Enterprise AI Core; not Organization Overlay)

対象範囲と前提

利用できる条件

SURFACE	CURRENT EVIDENCE	LIFECYCLE DECISION	LIMIT
dashboard Datasets	rows、dynamic data、prompts、annotations、graderを保持して反復評価を支援	rapid iteration用artifactとして扱い、dataset provenance、split、export、access、retentionを別台帳で固定	UI上のdataset名・IDだけではimmutability、hidden holdout隔離、長期保存を証明しない
Evals API/dashboard	data_source_config、item schema、testing_criteria、runs、result countsを提供	2026-06-03 deprecated、2026-10-31既存evals read-only、2026-11-30 dashboard/API shutdown予定のACTIVE_DEPRECATED_DEPENDENCY	forward release gateとして新規依存しない。停止予定は現在の即時利用不能を意味しない
Graders	string、text-similarity、score-model、label-model、Python等の評価器	deterministic checkとmodel judgeを分離し、grader definition、model、prompt、threshold、range、sampling、error policyをversion固定	grader scoreは人手正解や全slice品質の代用ではなく、grader基盤自体もdeprecation対象
Agent evals / traces	traceからdataset/eval runを構成し、agent workflow変更を比較可能	trajectory評価をrelease evidenceの一部として採用	traceは外部systemのauthoritative final state、業務成果、完全なside effectを証明しない
Prompt optimizer	dataset、annotations、grader resultsを用いてprompt改善を反復	optimization corpusとsealed holdoutを分離し、再利用回数・閲覧・派生promptをleak ledgerへ記録	同一datasetでの反復最適化はtest overfittingを招き得る。改善scoreを未見分布へ外挿しない
openai/evals OSS	author-maintained framework/registry。2026-04-14 commit 8eac7a7de5215c907fbddc30efdaf316913eccddを確認	self-hosted/external harness候補としてhosted Evals lifecycleと別dependency化	GitHub repositoryの存続はhosted API/dashboardの移行先・SLA・互換保証ではない

Core → GPT mapping rows

ROW	CORE CONTRACT	GPT / OPENAI FINDING	DECISION / UNKNOWN
PM-C07-GPT-001	evaluation artifact separation	Datasets、Evals runs、Graders、Agent traces、Prompt optimizerは役割とlifecycleが異なる	一つの「OpenAI eval」へ束ねず、dataset/version、candidate config、scorer/judge、run、trace、release decisionを別IDで結合する
PM-C07-GPT-002	temporal dependency	hosted EvalsとGradersは2026-06-03 deprecated。既存evalsは2026-10-31 read-only、2026-11-30 shutdown予定	新規release gateのsingle point of failureにしない。migration owner、export、dual-run、cutover、rollback期限を要求。後継の完全同値surfaceは公開情報ではUNKNOWN
PM-C07-GPT-003	dataset schema and run evidence	Evals APIはitem JSON schema、testing criteria、run result countsを持つ	schema/run ID/countをCore evaluation contractのcomponentとして記録。ただしprovenance、holdout access、slice completeness、immutability、retentionは別証拠が必要
PM-C07-GPT-004	deterministic-first scoring	Datasets/Gradersは複数grader typeを提供し、Python graderの例外・invalid floatはinvalid/0として扱われる	exact/schema/rule checksを先行させ、grader failureとcandidate failureを分離。aggregate scoreだけでreleaseしない
PM-C07-GPT-005	judge registry and calibration	score-model graderはmodel、prompt、threshold、range、samplingを設定する。独立研究はposition biasがjudge/taskで変動することを示す	judge ID/model/snapshot、prompt/rubric、sampling、candidate order/permutation、abstention、human disagreementを保存。swap testと人手calibrationなしにjudge scoreをground truth化しない
PM-C07-GPT-006	optimization/holdout split	Prompt optimizerはdataset、annotation、grader resultを反復利用する	optimization corpusとsealed holdout/challenge setを分離。prompt optimizerへの閲覧・feedback・再実行をcontamination eventとして追跡
PM-C07-GPT-007	hosted/OSS boundary	openai/evals OSSはhosted Evalsとは別artifactで、公開repoにrelease tagはなくcommit履歴で固定可能	commit SHA、dependencies、registry、runner、result digestを固定。OSS利用可能性をhosted replacement guaranteeへ昇格しない
PM-C07-GPT-008	bounded contamination counterevidence	ConStatはprimary/reference benchmarkと同分布のrephrased/synthetic samplesを比較し、非一般化したscore inflationを検出する	named-model contaminationの断定には使わず、public benchmark、rephrase、fresh challenge、sealed holdoutのgapをrelease前に測る反証profileとして採用
PM-C07-GPT-009	release decision and readback	OpenAIはtask-specific data、実分布、continuous evaluation、人手feedbackとのcalibrationを推奨する	overall平均ではなくcritical slice AND gate、variance、known regression、safety/over-refusalを個別判定し、release/rollback後のeffective configurationと受入結果をread backする

Safe verification profile

非機密synthetic fixtureと既存のprovider-neutral 12/12 diagnosticだけを使う。今回はOpenAI API、dashboard、tenant、dataset、grader、optimizer、model、traceを操作していない。

Datasets、Evals、Graders、Agent traces、Prompt optimizer、OSS harnessを別dependencyとしてinventoryし、hosted deprecation日とmigration ownerを付ける。

candidate、rendered input、tool/source/policy、dataset split/version、scorer/judge、environment、run、release decisionを一つのevaluation contractへ参照結合する。

exact/schema/rule checksを先行し、grader exception、timeout、invalid score、missing sliceをcandidate failureと別分類する。

model judgeではcandidate順序をswap/permutationし、judge version・samplingを固定して反復し、人手labelとのdisagreementをslice別に測る。

tuning/optimizerへ触れたcaseをsealed holdoutから失効させ、public benchmark、rephrase、fresh challenge、failure corpusのscore gapを記録する。

overall passでもcritical slice、known regression、Japanese、safety、over-refusal、tail、varianceのいずれかがfailならreleaseをblockする。

hosted export/dual-run後にrun count、per-item result、grader definition、artifact digest、retention/readabilityをread backし、移行不能ならmanual release stopへ切り替える。

既存EXP-C07-001の12/12は本研究のCOMPILER_EXPERIMENTであり、GPT/OpenAI、hosted Evals、grader、model judgeのlive試験へ再分類しない。

Organization Overlay handoff

adopted evaluation surfaces、workspace/tenant、dataset owner、access group、retention、export location

dataset provenance、PII/security review、language/risk slice、sealed holdout custodian、leak response

grader/judge allowlist、model snapshot、rubric owner、human calibration sample、disagreement threshold

release threshold、critical slice、variance budget、zero-tolerance failure、exception approver

Evals/Graders migration owner、2026-10-31/11-30 cutover、dual-run、rollback、evidence retention

production telemetry、incident/failure corpus intake、continuous-eval cadence、release/rollback owner

Provenance

OpenAI, Evaluation best practices: <https://developers.openai.com/api/docs/guides/evaluation-best-practices> (accessed 2026-09-09)

OpenAI, Working with evals: <https://developers.openai.com/api/docs/guides/evals> (accessed 2026-09-09)

OpenAI, Datasets / Graders / Agent evals: <https://developers.openai.com/api/docs/guides/evaluation-getting-started>; <https://developers.openai.com/api/docs/guides/graders>; <https://developers.openai.com/api/docs/guides/agent-evals> (accessed 2026-09-09)

OpenAI, Prompt optimizer / Fine-tuning best practices: <https://developers.openai.com/api/docs/guides/prompt-optimizer>; <https://developers.openai.com/api/docs/guides/fine-tuning-best-practices> (accessed 2026-09-09)

OpenAI, Deprecations: <https://developers.openai.com/api/docs/deprecations> (accessed 2026-09-09)

OpenAI, openai/evals: <https://github.com/openai/evals>; commit <https://github.com/openai/evals/commit/8eac7a7de5215c907fbddc30efdaf316913eccdd>

Shi et al., Judging the Judges, ACL-IJCNLP 2025: <https://aclanthology.org/2025.ijcnlp-long.18/>

Dekoninck et al., ConStat: <https://arxiv.org/abs/2405.16281>

Exit condition

OpenAI固有surface、hosted Evals/Gradersの停止予定、judge bias、optimizer/holdout漏洩、hosted/OSS境界をCORE-07へ対応づけた。公開文書内の「DatasetからEvalへexport」という現行案と、Evals停止予定の時間的不一致は移行残差として保持し、公開されていない完全な後継・export/retention保証を推測しない。Core claimは変更しないためGemini遡及監査は不要である。

実務での使い方

CORE-07のgolden dataset、holdout、scorer/judge registry、slice-level AND gate、release/rollback evidenceをOpenAIのDatasets、Evals、Graders、Agent evals、Prompt optimizerおよびopenai/evals OSSへ対応づける。公開仕様と固定OSSだけを対象とし、実tenant、非公開dataset、model/judgeの実性能、組織閾値はOrganization Overlayへ残す。

まだ確認できていないこと

PM-GPT-CORE-07-CURRENTNESS
原資料の確定版から収録しています。外部根拠の最新性を今回の取込日で確認済みと扱いません。本文の未解決事項・残余制約を保持します。

根拠資料

研究資料研究資料
OpenAI, Evaluation best practices: <[
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
OpenAI, Working with evals: <[
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
OpenAI, Datasets / Graders / Agent evals: <[
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started](https://developers.openai.com/api/docs/guides/evaluation-getti
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started](https://developers.openai.com/api/docs/guides/evaluation-getti
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
OpenAI, Prompt optimizer / Fine-tuning best practices: <[
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
OpenAI, Prompt optimizer / Fine-tuning best practices: <[https://developers.openai.com/api/docs/guides/prompt-optimizer](https://developers.openai.com/api/docs/guides/prompt-optimi
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
OpenAI, Deprecations: <[
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
OpenAI, openai/evals: <[
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
OpenAI, openai/evals: <[https://github.com/openai/evals](https://github.com/openai/evals)>; commit <[
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
Shi et al., Judging the Judges, ACL-IJCNLP 2025: <[
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
研究資料研究資料
Dekoninck et al., ConStat: <[
原資料を開く
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID: PM-GPT-CORE-07
最終確認日: —
提供元・モデル・プラン・利用環境: GPT
対象地域: —

元資料の全文と収録照合記録

資料の識別情報

Source SHA-256 bffa68bb3a761f7e193bfa5647b19f0503bac9de371403111bf9ba8007ba67ea