本文へスキップ

AI運用の判断と根拠を引く

Enterprise AI運用辞典

トップへ戻る

OpenAI / GPT：評価データと公開前の評価契約

用語・参照用語・参照実挙動未確認実挙動未観測鮮度未確認鮮度を確定できない

記事状態: 公開 · 最終確認: 未確認

要点

CORE-07 のゴールデンデータセット、ホールドアウト、スコアラー/判定器レジストリ、スライスレベルの AND 確認・承認の条件、リリース/ロールバックの証拠を、OpenAI の Datasets、Evals、Graders、Agent evals、Prompt optimizer、および openai/evals OSS へ対応づける。公開仕様と固定の OSS のみを対象とし、実際の組織の利用環境（組織の利用環境）、非公開データセット、モデル/判定器の実性能、および組織の閾値は、組織の利用環境（組織ごとの追加条件）に留める。

現在の判断

CORE-07 のゴールデンデータセット、ホールドアウト、スコアラー/判定器レジストリ、スライスレベルの AND 確認・承認の条件、リリース/ロールバックの証拠を、OpenAI の Datasets、Evals、Graders、Agent evals、Prompt optimizer、および openai/evals OSS へ対応づける。公開仕様と固定の OSS のみを対象とし、実際の組織の利用環境（組織の利用環境）、非公開データセット、モデル/判定器の実性能、および組織の閾値は、組織の利用環境（組織ごとの追加条件）に留める。

どこまで当てはまるか

CORE-07 のゴールデンデータセット、ホールドアウト、スコアラー/判定器レジストリ、スライスレベルの AND 確認・承認の条件、リリース/ロールバックの証拠を、OpenAI の Datasets、Evals、Graders、Agent evals、Prompt optimizer、および openai/evals OSS へ対応づける。公開仕様と固定の OSS のみを対象とし、実際の組織の利用環境（組織の利用環境）、非公開データセット、モデル/判定器の実性能、および組織の閾値は、組織の利用環境（組織ごとの追加条件）に留める。

詳しく理解する

製品への適用整理 — GPT / CORE-07

PRODUCT_MAPPING_ID: PM-GPT-CORE-07-v0.1

提供元: GPT / OpenAI

CORE_PACKET: PKT-GEMINI-A-CORE-07-v0.1

AS_OF: 2026-09-09 JST

状態: PUBLIC_MAPPING_BOUNDED_COMPLETE / HOSTED_EVALS_DEPRECATION_ACTIVE / LIVE_ORG_PENDING

レイヤー: 製品マッピング（企業AI運用の共通原則ではなく、組織の利用環境でもありません）

対象範囲と前提

CORE-07 のゴールデンデータセット、ホールドアウト、スコアラー/判定器レジストリ、スライスレベルの AND 確認・承認の条件、リリース/ロールバックの証拠を、OpenAI の Datasets、Evals、Graders、Agent evals、Prompt optimizer、および openai/evals OSS へ対応づける。公開仕様と固定の OSS のみを対象とし、実際の組織の利用環境（組織の利用環境）、非公開データセット、モデル/判定器の実性能、および組織の閾値は、組織の利用環境（組織ごとの追加条件）に留める。

利用できる条件

利用機能・接続経路現在の 根拠LIFECYCLE DECISIONLIMIT
dashboard Datasets行、動的データ、プロンプト、注釈、評価者を保持し、反復的な評価を支援するrapid iteration用成果物として扱い、dataset 出典・来歴、split、export、access、保持期間・保持方針を別台帳で固定UI上のデータセット名やIDだけでは、不変性（immutability）、隠されたホールドアウト（hidden holdout）の隔離、および長期保存を証明することはできません。
評価API/ダッシュボードdata_source_config、item データ形式の定義、testing_criteria、runs、result countsを提供2026-06-03 deprecated、2026-10-31既存evals read-only、2026-11-30 dashboard/API shutdown予定のACTIVE_DEPRECATED_DEPENDENCYforward 公開・提供 確認・承認の条件として新規依存しない。停止予定は現在の即時利用不能を意味しない
Graders文字列、テキスト類似性、スコアモデル、ラベルモデル、Pythonなどの評価器。決まった規則に従う checkとモデル judgeを分離し、grader definition、モデル、prompt、threshold、range、sampling、error policyをバージョン固定grader scoreは人手正解や全slice品質の代用ではなく、grader基盤自体もdeprecation対象
Agent evals / tracestraceからdataset/評価 実行を構成し、agent 処理の流れ変更を比較可能trajectory評価を公開・提供 根拠の一部として採用traceは外部システムのauthoritative final 状態、業務成果、完全な外部への変更・送信を証明しない
Prompt optimizerdataset、annotations、grader resultsを用いてprompt改善を反復最適化用の文書群と、検証用の隔離されたデータセットを分離し、再利用回数、閲覧、派生プロンプトを漏洩台帳（leak 記録台帳）に記録する。同一データセットでの反復的な最適化は、テストへの過学習を招く可能性がある。改善されたスコアを、未見の分布へ外挿してはならない。
openai/evals OSSauthor-maintained framework/registry。2026-04-14 commit 8eac7a7de5215c907fbddc30efdaf316913eccddを確認self-hosted/外部 harness候補として提供元が管理する Evals lifecycleと別dependency化GitHub repositoryの存続は提供元が管理する API/dashboardの移行先・SLA・互換保証ではない

Core → GPT マッピング行

ROWCORE 条件・契約GPT / OPENAI FINDINGDECISION / 未確認事項
PM-C07-GPT-001評価 成果物 separationデータセット、評価実行、評価器、エージェントのトレース、プロンプト最適化は、役割とライフサイクルが異なる一つの「OpenAI 評価」へ束ねず、dataset/バージョン、candidate 設定、scorer/judge、実行、trace、公開・提供 decisionを別IDで結合する
PM-C07-GPT-002temporal dependency提供元が管理する EvalsおよびGradersは2026-06-03に非推奨（deprecated）となります。既存のevalsは2026-10-31に読み取り専用となり、2026-11-30に停止予定です。新規公開・提供 確認・承認の条件のsingle point of 失敗にしない。migration 担当者、export、dual-run、cutover、以前の状態へ戻す操作期限を要求。後継の完全同値利用機能・接続経路は公開情報では未確認事項
PM-C07-GPT-003dataset データ形式の定義 and 実行 根拠Evals APIは、アイテムのJSONスキーマ、テスト基準、実行結果の件数を持つデータ形式の定義/実行 ID/countをCore 評価 条件・契約のcomponentとして記録。ただし出典・来歴、holdout access、slice completeness、immutability、保持期間・保持方針は別証拠が必要
PM-C07-GPT-004deterministic-first scoringDatasets/Gradersは複数grader typeを提供し、Python graderの例外・invalid floatはinvalid/0として扱われる正確性／スキーマ／ルールチェックを先行させ、評価者の失敗と候補の失敗を分離する。集計スコアのみに基づいてリリースしてはならない。
PM-C07-GPT-005判定レジストリおよびキャリブレーションscore-model graderはモデル、prompt、threshold、range、samplingを設定する。独立研究はposition biasがjudge/taskで変動することを示すjudge ID/モデル/snapshot、prompt/rubric、sampling、candidate order/permutation、abstention、human disagreementを保存。swap testと人手数値評価と実態の対応調整なしにjudge scoreをground truth化しない
PM-C07-GPT-006optimization/holdout splitPrompt optimizerはdataset、annotation、grader resultを反復利用するoptimization 検索対象の文書群とsealed holdout/challenge setを分離。prompt optimizerへの閲覧・feedback・再実行をcontamination イベントとして追跡
PM-C07-GPT-007提供元が管理する/OSS 適用限界openai/evals OSSは提供元が管理する Evalsとは別成果物で、公開repoに公開・提供 tagはなくcommit履歴で固定可能commit SHA、dependencies、registry、runner、result digestを固定。OSS利用可能性を提供元が管理する replacement guaranteeへ昇格しない
PM-C07-GPT-008bounded contamination 反証ConStatはprimary/reference 比較評価と同分布のrephrased/synthetic samplesを比較し、非一般化したscore inflationを検出するnamed-model contaminationの断定には使わず、公開 比較評価、rephrase、fresh challenge、sealed holdoutのgapを公開・提供前に測る反証profileとして採用
PM-C07-GPT-009公開・提供 decision and 結果の照合OpenAIはtask-specific data、実分布、continuous 評価、人手feedbackとの数値評価と実態の対応調整を推奨するoverall平均ではなくcritical slice AND 確認・承認の条件、variance、known regression、安全性/over-refusalを個別判定し、公開・提供/以前の状態へ戻す操作後のeffective 設定と受入結果をread backする

Safe verification profile

非機密synthetic fixtureと既存のprovider-neutral 12/12 diagnosticだけを使う。今回はOpenAI API、dashboard、組織の利用環境、dataset、grader、optimizer、モデル、traceを操作していない。

  • Datasets、Evals、Graders、Agent traces、Prompt optimizer、OSS harnessを別dependencyとしてinventoryし、提供元が管理する deprecation日とmigration 担当者を付ける。
  • candidate、rendered input、ツール/出典/policy、dataset split/バージョン、scorer/judge、environment、実行、公開・提供 decisionを一つの評価 条件・契約へ参照結合する。
  • exact/データ形式の定義/rule checksを先行し、grader exception、処理待ち時間の上限、invalid score、missing sliceをcandidate 失敗と別分類する。
  • モデル judgeでは、候補の順序を入れ替え（swap/permutation）し、judgeのバージョンとサンプリングを固定して反復を行い、人手によるラベルとの不一致（disagreement）をスライス別に測定する。
  • チューニング/最適化に触れたケースを、検証済みの隔離データ（sealed holdout）から失効させ、公開ベンチマーク、言い換え、新規の課題、失敗の文書群（失敗 検索対象の文書群）とのスコアの差を記録する。
  • 全体的な合格（overall pass）であっても、critical slice、既知の回帰（known regression）、日本語、安全性（安全性）、過剰な拒絶（over-refusal）、テイル（tail）、分散（variance）のいずれかが不合格であれば、リリースをブロックする。
  • ホストされたエクスポート/二重実行の後に、実行回数、項目ごとの結果、評価定義、成果物のダイジェスト、保持/可読性を照合し、移行不能な場合は手動でのリリース停止へと切り替えます。

既存のEXP-C07-001の12/12は本研究のCOMPILER_EXPERIMENTであり、GPT/OpenAI、提供元が管理する Evals、grader、モデル judgeのライブ試験へ再分類しない。

組織オーバーレイの引き継ぎ

  • adopted 評価 surfaces、workspace/組織の利用環境、dataset 担当者、access group、保持期間・保持方針、export location
  • データセットの出典・来歴、PII（個人識別情報）/セキュリティレビュー、言語/リスク別の区分、封印されたホールドアウトの保管者、漏洩への対応
  • 採点者／判定者のホワイトリスト、モデルのスナップショット、評価基準の所有者、人による較正サンプル、不一致のしきい値
  • 公開・提供 threshold、critical slice、variance budget、zero-tolerance 失敗、exception approver
  • Evals/Graders migration 担当者、2026-10-31/11-30 cutover、dual-run、以前の状態へ戻す操作、根拠 保持期間・保持方針
  • 本番環境のテレメトリ、インシデント/障害の文書群の取り込み、継続的な評価のサイクル、リリース/ロールバックの責任者

出典・来歴

Exit condition

OpenAI固有利用機能・接続経路、提供元が管理する Evals/Gradersの停止予定、judge bias、optimizer/holdout漏洩、提供元が管理する/OSS境界をCORE-07へ対応づけた。公開文書内の「Datasetから評価へexport」という現行案と、Evals停止予定の時間的不一致は移行残差として保持し、公開されていない完全な後継・export/保持期間・保持方針保証を推測しない。Core 記述・判断は変更しないためGemini遡及監査は不要である。

実務での使い方

  • CORE-07 のゴールデンデータセット、ホールドアウト、スコアラー/判定器レジストリ、スライスレベルの AND 確認・承認の条件、リリース/ロールバックの証拠を、OpenAI の Datasets、Evals、Graders、Agent evals、Prompt optimizer、および openai/evals OSS へ対応づける。公開仕様と固定の OSS のみを対象とし、実際の組織の利用環境（組織の利用環境）、非公開データセット、モデル/判定器の実性能、および組織の閾値は、組織の利用環境（組織ごとの追加条件）に留める。

まだ確認できていないこと

  • PM-GPT-CORE-07-CURRENTNESS

    原資料の確定版から収録しています。外部根拠の最新性を今回の取込日で確認済みと扱いません。本文の未解決事項・残余制約を保持します。

根拠資料

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
PM-GPT-CORE-07
最終確認日
—
提供元・モデル・プラン・利用環境
GPT
対象地域
—
元資料の全文と収録照合記録
資料の識別情報

Source SHA-256 bffa68bb3a761f7e193bfa5647b19f0503bac9de371403111bf9ba8007ba67ea

Product Mapping — GPT / CORE-07

PRODUCT_MAPPING_ID: PM-GPT-CORE-07-v0.1

PROVIDER: GPT / OpenAI

CORE_PACKET: PKT-GEMINI-A-CORE-07-v0.1

AS_OF: 2026-09-09 JST

STATUS: PUBLIC_MAPPING_BOUNDED_COMPLETE / HOSTED_EVALS_DEPRECATION_ACTIVE / LIVE_ORG_PENDING

LAYER: PRODUCT_MAPPING (not Enterprise AI Core; not Organization Overlay)

Scope

CORE-07のgolden dataset、holdout、scorer/judge registry、slice-level AND gate、release/rollback evidenceをOpenAIのDatasets、Evals、Graders、Agent evals、Prompt optimizerおよびopenai/evals OSSへ対応づける。公開仕様と固定OSSだけを対象とし、実tenant、非公開dataset、model/judgeの実性能、組織閾値はOrganization Overlayへ残す。

Surface and lifecycle separation
SURFACECURRENT EVIDENCELIFECYCLE DECISIONLIMIT
dashboard Datasetsrows、dynamic data、prompts、annotations、graderを保持して反復評価を支援rapid iteration用artifactとして扱い、dataset provenance、split、export、access、retentionを別台帳で固定UI上のdataset名・IDだけではimmutability、hidden holdout隔離、長期保存を証明しない
Evals API/dashboarddata_source_config、item schema、testing_criteria、runs、result countsを提供2026-06-03 deprecated、2026-10-31既存evals read-only、2026-11-30 dashboard/API shutdown予定のACTIVE_DEPRECATED_DEPENDENCYforward release gateとして新規依存しない。停止予定は現在の即時利用不能を意味しない
Gradersstring、text-similarity、score-model、label-model、Python等の評価器deterministic checkとmodel judgeを分離し、grader definition、model、prompt、threshold、range、sampling、error policyをversion固定grader scoreは人手正解や全slice品質の代用ではなく、grader基盤自体もdeprecation対象
Agent evals / tracestraceからdataset/eval runを構成し、agent workflow変更を比較可能trajectory評価をrelease evidenceの一部として採用traceは外部systemのauthoritative final state、業務成果、完全なside effectを証明しない
Prompt optimizerdataset、annotations、grader resultsを用いてprompt改善を反復optimization corpusとsealed holdoutを分離し、再利用回数・閲覧・派生promptをleak ledgerへ記録同一datasetでの反復最適化はtest overfittingを招き得る。改善scoreを未見分布へ外挿しない
openai/evals OSSauthor-maintained framework/registry。2026-04-14 commit 8eac7a7de5215c907fbddc30efdaf316913eccddを確認self-hosted/external harness候補としてhosted Evals lifecycleと別dependency化GitHub repositoryの存続はhosted API/dashboardの移行先・SLA・互換保証ではない
Core → GPT mapping rows
ROWCORE CONTRACTGPT / OPENAI FINDINGDECISION / UNKNOWN
PM-C07-GPT-001evaluation artifact separationDatasets、Evals runs、Graders、Agent traces、Prompt optimizerは役割とlifecycleが異なる一つの「OpenAI eval」へ束ねず、dataset/version、candidate config、scorer/judge、run、trace、release decisionを別IDで結合する
PM-C07-GPT-002temporal dependencyhosted EvalsとGradersは2026-06-03 deprecated。既存evalsは2026-10-31 read-only、2026-11-30 shutdown予定新規release gateのsingle point of failureにしない。migration owner、export、dual-run、cutover、rollback期限を要求。後継の完全同値surfaceは公開情報ではUNKNOWN
PM-C07-GPT-003dataset schema and run evidenceEvals APIはitem JSON schema、testing criteria、run result countsを持つschema/run ID/countをCore evaluation contractのcomponentとして記録。ただしprovenance、holdout access、slice completeness、immutability、retentionは別証拠が必要
PM-C07-GPT-004deterministic-first scoringDatasets/Gradersは複数grader typeを提供し、Python graderの例外・invalid floatはinvalid/0として扱われるexact/schema/rule checksを先行させ、grader failureとcandidate failureを分離。aggregate scoreだけでreleaseしない
PM-C07-GPT-005judge registry and calibrationscore-model graderはmodel、prompt、threshold、range、samplingを設定する。独立研究はposition biasがjudge/taskで変動することを示すjudge ID/model/snapshot、prompt/rubric、sampling、candidate order/permutation、abstention、human disagreementを保存。swap testと人手calibrationなしにjudge scoreをground truth化しない
PM-C07-GPT-006optimization/holdout splitPrompt optimizerはdataset、annotation、grader resultを反復利用するoptimization corpusとsealed holdout/challenge setを分離。prompt optimizerへの閲覧・feedback・再実行をcontamination eventとして追跡
PM-C07-GPT-007hosted/OSS boundaryopenai/evals OSSはhosted Evalsとは別artifactで、公開repoにrelease tagはなくcommit履歴で固定可能commit SHA、dependencies、registry、runner、result digestを固定。OSS利用可能性をhosted replacement guaranteeへ昇格しない
PM-C07-GPT-008bounded contamination counterevidenceConStatはprimary/reference benchmarkと同分布のrephrased/synthetic samplesを比較し、非一般化したscore inflationを検出するnamed-model contaminationの断定には使わず、public benchmark、rephrase、fresh challenge、sealed holdoutのgapをrelease前に測る反証profileとして採用
PM-C07-GPT-009release decision and readbackOpenAIはtask-specific data、実分布、continuous evaluation、人手feedbackとのcalibrationを推奨するoverall平均ではなくcritical slice AND gate、variance、known regression、safety/over-refusalを個別判定し、release/rollback後のeffective configurationと受入結果をread backする
Safe verification profile

非機密synthetic fixtureと既存のprovider-neutral 12/12 diagnosticだけを使う。今回はOpenAI API、dashboard、tenant、dataset、grader、optimizer、model、traceを操作していない。

  • Datasets、Evals、Graders、Agent traces、Prompt optimizer、OSS harnessを別dependencyとしてinventoryし、hosted deprecation日とmigration ownerを付ける。
  • candidate、rendered input、tool/source/policy、dataset split/version、scorer/judge、environment、run、release decisionを一つのevaluation contractへ参照結合する。
  • exact/schema/rule checksを先行し、grader exception、timeout、invalid score、missing sliceをcandidate failureと別分類する。
  • model judgeではcandidate順序をswap/permutationし、judge version・samplingを固定して反復し、人手labelとのdisagreementをslice別に測る。
  • tuning/optimizerへ触れたcaseをsealed holdoutから失効させ、public benchmark、rephrase、fresh challenge、failure corpusのscore gapを記録する。
  • overall passでもcritical slice、known regression、Japanese、safety、over-refusal、tail、varianceのいずれかがfailならreleaseをblockする。
  • hosted export/dual-run後にrun count、per-item result、grader definition、artifact digest、retention/readabilityをread backし、移行不能ならmanual release stopへ切り替える。

既存EXP-C07-001の12/12は本研究のCOMPILER_EXPERIMENTであり、GPT/OpenAI、hosted Evals、grader、model judgeのlive試験へ再分類しない。

Organization Overlay handoff
  • adopted evaluation surfaces、workspace/tenant、dataset owner、access group、retention、export location
  • dataset provenance、PII/security review、language/risk slice、sealed holdout custodian、leak response
  • grader/judge allowlist、model snapshot、rubric owner、human calibration sample、disagreement threshold
  • release threshold、critical slice、variance budget、zero-tolerance failure、exception approver
  • Evals/Graders migration owner、2026-10-31/11-30 cutover、dual-run、rollback、evidence retention
  • production telemetry、incident/failure corpus intake、continuous-eval cadence、release/rollback owner
Provenance
Exit condition

OpenAI固有surface、hosted Evals/Gradersの停止予定、judge bias、optimizer/holdout漏洩、hosted/OSS境界をCORE-07へ対応づけた。公開文書内の「DatasetからEvalへexport」という現行案と、Evals停止予定の時間的不一致は移行残差として保持し、公開されていない完全な後継・export/retention保証を推測しない。Core claimは変更しないためGemini遡及監査は不要である。

  • EVD-PM-GPT-CORE-07-URL-8F4F2487ED99研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, Evaluation best practices: <[

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-8F4F2487ED99
    検証箇所
    Provenance · - OpenAI, Evaluation best practices: <[https://developers.openai.com/api/docs/guides/evaluation-best-practices
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-A01937402C35研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, Working with evals: <[

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-A01937402C35
    検証箇所
    Provenance · - OpenAI, Working with evals: <[https://developers.openai.com/api/docs/guides/evals
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-3F46CD4F9265研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, Datasets / Graders / Agent evals: <[

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-3F46CD4F9265
    検証箇所
    Provenance · - OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-E4B992CCC389研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started](https://developers.openai.com/api/docs/guides/evaluation-getti

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-E4B992CCC389
    検証箇所
    Provenance · - OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started](https://developers.openai.com/api/docs/guides/evaluation-getting-started)>; <[https://developers.openai.com/api/docs/guides/graders
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-6DB7A0E61936研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started](https://developers.openai.com/api/docs/guides/evaluation-getti

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-6DB7A0E61936
    検証箇所
    Provenance · - OpenAI, Datasets / Graders / Agent evals: <[https://developers.openai.com/api/docs/guides/evaluation-getting-started](https://developers.openai.com/api/docs/guides/evaluation-getting-started)>; <[https://developers.openai.com/api/docs/guides/graders](https://developers.openai.com/api/docs/guides/graders)>; <[https://developers.openai.com/api/docs/guides/agent-evals
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-850B438DC6B6研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, Prompt optimizer / Fine-tuning best practices: <[

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-850B438DC6B6
    検証箇所
    Provenance · - OpenAI, Prompt optimizer / Fine-tuning best practices: <[https://developers.openai.com/api/docs/guides/prompt-optimizer
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-8679A00F99F7研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, Prompt optimizer / Fine-tuning best practices: <[https://developers.openai.com/api/docs/guides/prompt-optimizer](https://developers.openai.com/api/docs/guides/prompt-optimi

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-8679A00F99F7
    検証箇所
    Provenance · - OpenAI, Prompt optimizer / Fine-tuning best practices: <[https://developers.openai.com/api/docs/guides/prompt-optimizer](https://developers.openai.com/api/docs/guides/prompt-optimizer)>; <[https://developers.openai.com/api/docs/guides/fine-tuning-best-practices
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-BAB0E18B2802研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, Deprecations: <[

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-BAB0E18B2802
    検証箇所
    Provenance · - OpenAI, Deprecations: <[https://developers.openai.com/api/docs/deprecations
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-3140024AB7C6研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, openai/evals: <[

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-3140024AB7C6
    検証箇所
    Provenance · - OpenAI, openai/evals: <[https://github.com/openai/evals
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-E4E7F033E252研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    OpenAI, openai/evals: <[https://github.com/openai/evals](https://github.com/openai/evals)>; commit <[

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-E4E7F033E252
    検証箇所
    Provenance · - OpenAI, openai/evals: <[https://github.com/openai/evals](https://github.com/openai/evals)>; commit <[https://github.com/openai/evals/commit/8eac7a7de5215c907fbddc30efdaf316913eccdd
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-827ACF165DA2研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    Shi et al., Judging the Judges, ACL-IJCNLP 2025: <[

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-827ACF165DA2
    検証箇所
    Provenance · - Shi et al., Judging the Judges, ACL-IJCNLP 2025: <[https://aclanthology.org/2025.ijcnlp-long.18/
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-PM-GPT-CORE-07-URL-16D2741870AD研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE

    Dekoninck et al., ConStat: <[

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-PM-GPT-CORE-07-URL-16D2741870AD
    検証箇所
    Provenance · - Dekoninck et al., ConStat: <[https://arxiv.org/abs/2405.16281
    適用範囲
    Provenance
    出典・来歴
    APPROVED_DOCUMENT_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • PM-GPT-CORE-07-DOCUMENT-READBACK実装資料実装資料根拠の出所: DOCUMENT_INGESTION_READBACK

    原資料との収録照合

    裏付ける内容
    資料単位の本文ハッシュ、段落数、表数を照合しています。
    確認日
    —
    出典・実験ID
    DOC-083cde4caa627644-PM-GPT-CORE-07
    検証箇所
    18WPldGemks2px0ukhKYINeBMrBwAmlAi · 083cde4caa627644036a2225f1f6ff29b8015bd902614fe1f7a00a997b4eb59c · provider_mappings/PM-GPT-CORE-07.md · 28b16e7672f7e23b934410b7a8ce9e715ab5eb3bbe68f50c7730951b425b9345
    適用範囲
    公開指定を受けた資料単位の全文・表・出典。
    出典・来歴
    SOURCE_IDENTITY_VERIFIED
    限界
    収録照合は主張の真偽や外部根拠の最新性を追加保証しません。
出典ID
DOC-083cde4caa627644-PM-GPT-CORE-07, SRC-PM-GPT-CORE-07-URL-8F4F2487ED99, SRC-PM-GPT-CORE-07-URL-A01937402C35, SRC-PM-GPT-CORE-07-URL-3F46CD4F9265, SRC-PM-GPT-CORE-07-URL-E4B992CCC389, SRC-PM-GPT-CORE-07-URL-6DB7A0E61936, SRC-PM-GPT-CORE-07-URL-850B438DC6B6, SRC-PM-GPT-CORE-07-URL-8679A00F99F7, SRC-PM-GPT-CORE-07-URL-BAB0E18B2802, SRC-PM-GPT-CORE-07-URL-3140024AB7C6, SRC-PM-GPT-CORE-07-URL-E4E7F033E252, SRC-PM-GPT-CORE-07-URL-827ACF165DA2, SRC-PM-GPT-CORE-07-URL-16D2741870AD
追跡中のUNKNOWN ID
PM-GPT-CORE-07-CURRENTNESS
再確認のきっかけ
原資料の更新 · 参照資料の変更 · 新しい反証・検証記録

機械検査: 通過 — 機械検査の結果です。情報の正確性や実行の承認を保証するものではありません。

    同じ記事IDの機械可読データです。