CLAUDE:評価データと公開前の評価契約
記事状態: 公開 · 最終確認: 未確認
要点
CORE-07のデータセット、スコアラー/ジャッジ、ホールドアウト、スライスゲート、リリースエビデンスを、Anthropicの評価設計ガイダンス、Consoleのプロンプト改善・評価機能、メッセージバッチ、構造化出力、Agent SDK/Claude Code、および開発者維持のクックブックに対応付ける。公開仕様・固定履歴・限定的なIssueのみを対象とし、実際の組織、非公開データセット、Claude/モデルジャッジの実性能、および組織の閾値については、組織ごとの追加条件(組織オーバーレイ)側に残す。
現在の判断
CORE-07のデータセット、スコアラー/ジャッジ、ホールドアウト、スライスゲート、リリースエビデンスを、Anthropicの評価設計ガイダンス、Consoleのプロンプト改善・評価機能、メッセージバッチ、構造化出力、Agent SDK/Claude Code、および開発者維持のクックブックに対応付ける。公開仕様・固定履歴・限定的なIssueのみを対象とし、実際の組織、非公開データセット、Claude/モデルジャッジの実性能、および組織の閾値については、組織ごとの追加条件(組織オーバーレイ)側に残す。
どこまで当てはまるか
CORE-07のデータセット、スコアラー/ジャッジ、ホールドアウト、スライスゲート、リリースエビデンスを、Anthropicの評価設計ガイダンス、Consoleのプロンプト改善・評価機能、メッセージバッチ、構造化出力、Agent SDK/Claude Code、および開発者維持のクックブックに対応付ける。公開仕様・固定履歴・限定的なIssueのみを対象とし、実際の組織、非公開データセット、Claude/モデルジャッジの実性能、および組織の閾値については、組織ごとの追加条件(組織オーバーレイ)側に残す。
詳しく理解する
製品への適用整理 — Claude / CORE-07
PRODUCT_MAPPING_ID: PM-CLAUDE-CORE-07-v0.1
提供元: CLAUDE / ANTHROPIC
CORE_PACKET: PKT-GEMINI-A-CORE-07-v0.1
AS_OF: 2026-09-10 JST
状態: PUBLIC_MAPPING_BOUNDED_COMPLETE / CONSOLE_TEMPORAL_BOUNDARY / LIVE_ORG_PENDING
レイヤー: 製品マッピング(企業AI運用の共通原則ではなく、組織の利用環境でもありません)
対象範囲と前提
CORE-07のデータセット、スコアラー/ジャッジ、ホールドアウト、スライスゲート、リリースエビデンスを、Anthropicの評価設計ガイダンス、Consoleのプロンプト改善・評価機能、メッセージバッチ、構造化出力、Agent SDK/Claude Code、および開発者維持のクックブックに対応付ける。公開仕様・固定履歴・限定的なIssueのみを対象とし、実際の組織、非公開データセット、Claude/モデルジャッジの実性能、および組織の閾値については、組織ごとの追加条件(組織オーバーレイ)側に残す。
利用できる条件
| 利用機能・接続経路 | 現在の 根拠 | DECISION | LIMIT |
| 評価 design guidance | 成功 criteriaをspecific/measurableにし、task-specific・実分布・edge caseを含む評価、code/human/LLM gradingを使い分ける | プロバイダーのガイダンスを評価契約の設計に利用する | 提供元が管理する registry、成果物 immutability、保持期間・保持方針、公開・提供 authorityの保証ではない |
| Console prompt improver / evaluator | 2024-10-14発表ではprompt/example改善、ideal output、5段階評価、反復feedbackを提供 | historical/current-accessed Console 利用機能・接続経路として記録し、candidate作成面と評価面を分離 | 発表時のprefill手法は、Claude 4.6以降の現在のプロンプティング・ガイダンスと互換性がありません。現行のバージョン、エクスポート、保持の保証については、公開されている証拠からは確定できません。 |
| メッセージ・バッチ | 個別のリクエストを custom_id で結合します。結果は順不同かつ部分的な成功の可能性があり、24時間で有効期限が切れ、29日間利用可能です。 | bulk 評価実行carrierとして利用可能 | 提供元が管理する 評価 registry・判定器・公開・提供 decisionではない。batch完了を評価受入としない |
| 構造化出力 | JSON データ形式の定義に沿う出力を強制し、データ形式の定義 結果の再利用を持つ | grader/result envelopeの構文検証に利用 | データ形式への適合はrubric妥当性、意味品質、judge 数値評価と実態の対応調整を証明しない |
| Agent SDK / Claude Code | ツール、権限、hooks、セッション、result、OTel等のtrajectory carrier | エージェントの評価では、設定、ツールの受け取り、成果物/結果の照合、外部の最終状態を個別に結合する | ResultMessage/traceだけでは業務成果・外部への変更・送信の完全性を証明しない |
| anthropics/claude-cookbooks | automated 評価、RAG等のauthor-maintained recipes | 外部/self-managed harness例として扱う | sample notebookは提供元が管理する product、SLA、current-model互換性の保証ではない |
Core → Claude マッピング行
| ROW | CORE 条件・契約 | CLAUDE / ANTHROPIC FINDING | DECISION / 未確認事項 |
| PM-C07-CLAUDE-001 | 評価 成果物 separation | 現在の guidanceは成功 criteria、test cases、graderを説明するが、candidate/dataset/scorer/judge/実行/公開・提供を一つのimmutable objectとして保証しない | Core 条件・契約 IDsで外部結合し、Console/UI名を正本主体の識別にしない |
| PM-C07-CLAUDE-002 | representative and edge distribution | タスク特化型、現実世界の分布、エッジケース、ホールドアウトテストを推奨 | representative/失敗/challenge/sealed holdoutを分離し、各sliceの出典・来歴とaccessを記録 |
| PM-C07-CLAUDE-003 | deterministic-first scoring | code-based gradingは高速・信頼性、人手は柔軟だが高コスト、LLM gradingはscalableだが信頼性確認が必要とされる | exact/データ形式の定義/rule/ツール 処理結果の受領記録を先行し、LLM judgeはversioned補助判定に限定 |
| PM-C07-CLAUDE-004 | 判定レジストリおよびキャリブレーション | LLM graderには明確なrubricと指定出力が必要。独立研究はposition biasがjudge/taskごとに変動することを示す | judge モデル/設定/prompt/rubric/order/sampling/abstention、人手不一致率を保存し、swap/permutationを行う |
| PM-C07-CLAUDE-005 | candidate optimization / holdout split | Console prompt improverは、プロンプト、例、フィードバックを反復的に変更し得る。 | improver/evaluatorへ提示したcaseをoptimization 検索対象の文書群へ分類し、sealed holdoutから失効。発表時機能の現行永続性は未確認事項 |
| PM-C07-CLAUDE-006 | temporal compatibility | 2024発表のprompt improverはassistant prefillを手法に含むが、現在の guidanceはClaude 4.6以降のlast-assistant prefill非対応を示す | candidate、モデル、API behavior、improver生成時点を固定し、生成promptを現在の モデルで回帰評価。古い機能説明を現行互換保証へ昇格しない |
| PM-C07-CLAUDE-007 | 評価用インフラストラクチャの故障 | cookbook issue #761は、Sonnet 4.6で拒否されたprefill例外をbroad catchがis_correct=Falseへ変換し、全件0%に見せ得ると報告 | API、ハーネス、パーサー、タイムアウトを INFRA_ERROR(インフラエラー)として候補の失敗から分離し、評価器に異常が発生した場合は条件が確認できなければ停止(fail closed)します。問題(issue)は対象となるスクリプトおよびバージョンに限定されます。 |
| PM-C07-CLAUDE-008 | batch/output carrier 適用限界 | Batchは順不同・部分状態、structured outputsは構文契約を提供 | カスタムID、欠落/エラー/キャンセル/期限切れ、再試行、スキーマ/パーサーエラーを個別に記録し、有効なデータ数(N)の不足を平均値に混入させない。 |
| PM-C07-CLAUDE-009 | 限定された汚染およびリリース判定(公開・提供 確認・承認の条件) | ConStatは公開 比較評価と同分布fresh/rephrased casesのgapを測る限定反証を提供 | named Claude モデルの汚染断定には使わず、critical slice AND 確認・承認の条件、fresh challenge、human adjudication、成果物 結果の照合で公開・提供を判定 |
Safe verification profile
非機密synthetic fixtureだけを用い、今回はAnthropic API、Console、組織、モデル、Batch、SDK/CLI、ツール、dataset、judgeを操作していない。
- candidateにモデル ID、effort/thinking、システム prompt、tools、permissions、SDK/CLI版、settings/参照資料の固定版を含める。
- dev/regression/challenge/失敗 検索対象の文書群/sealed holdoutを分離し、prompt improver・example generation・人手feedbackへの露出をleak 記録台帳へ記録する。
- 決まった規則に従う checksを先行し、LLM judgeはorder swap、反復、abstention、人手数値評価と実態の対応調整を伴う補助判定にする。
- prefillを含む旧来のプロンプト/ハーネスを現在のモデルへ移行する際の、互換性の欠如を確認するテスト(negative compatibility test)を導入し、APIの例外を0点として処理しないようにする。
- Batchではcustom_idと各状態をread backし、missing/expired/erroredをINFRA_ERRORとして再実行可否と分離する。
- agent taskはtrajectory、ツール 処理結果の受領記録、成果物 digest、外部 結果の照合、受け入れ確認を別証拠として結合する。
- overall平均がpassでもcritical slice、known regression、Japanese、安全性/over-refusal、tail、variance、valid Nのいずれかがfailなら公開・提供をblockする。
既存EXP-C07-001の12/12はCOMPILER_EXPERIMENTであり、Claude、Console、Batch、judge、モデルのlive試験へ再分類しない。
組織オーバーレイの引き継ぎ
- adopted 利用機能・接続経路、組織/workspace、dataset 担当者/access、保持期間・保持方針/export、holdout custodian
- 候補となるモデル/取り組み/プロンプト/ツール/設定、評価者/判定者のホワイトリスト、手動サンプルと不一致のしきい値
- 改善用/学習用/評価用の検索対象の文書群の分離、リークレスポンス、鮮度/失敗に関する文書群の更新周期
- Batch 利用枠/再試行/deadline、infra-error policy、根拠 保持期間・保持方針
- リリース閾値、クリティカルな区分、分散、ゼロ許容、例外/ロールバック権限
出典・来歴
- Anthropic, Define 成功 criteria and 生成・構築 evaluations: <https://platform.claude.com/docs/en/test-and-evaluate/develop-tests> (参照日 2026-09-09)
- Anthropic, プロンプトエンジニアリングの概要 / プロンプト作成のベストプラクティス: <https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview>; <https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices> (2026-09-09にアクセス)
- Anthropic, Improve your prompts in the developer console: <https://claude.com/blog/prompt-improver> (published 2024-10-14; 参照日 2026-09-09)
- Anthropic, バッチ処理 / 構造化出力: <https://platform.claude.com/docs/en/build-with-claude/batch-processing>; <https://platform.claude.com/docs/en/build-with-claude/structured-outputs> (アクセス日 2026-09-09)
- Anthropic, claude-cookbooks: <https://github.com/anthropics/claude-cookbooks>; issue #761: <https://github.com/anthropics/claude-cookbooks/issues/761> (opened 2026-07-07; 参照日 2026-09-09)
- Shiほか「評価者を評価する」: <https://aclanthology.org/2025.ijcnlp-long.18/>
- Dekoninckほか、ConStat: <https://arxiv.org/abs/2405.16281>
Exit condition
Anthropicの評価guidance、Console improvement/評価、Batch、structured outputs、agent trajectory、cookbookを別利用機能・接続経路としてCORE-07へ対応づけ、temporal compatibilityとevaluator-infrastructure 失敗を境界付きで追加した。公開情報から確認できないConsole 成果物のバージョン/export/保持期間・保持方針、live judge性能、組織閾値は未確認事項のまま残す。Core 記述・判断は変更しないためGemini/GPT遡及監査は不要である。
実務での使い方
CORE-07のデータセット、スコアラー/ジャッジ、ホールドアウト、スライスゲート、リリースエビデンスを、Anthropicの評価設計ガイダンス、Consoleのプロンプト改善・評価機能、メッセージバッチ、構造化出力、Agent SDK/Claude Code、および開発者維持のクックブックに対応付ける。公開仕様・固定履歴・限定的なIssueのみを対象とし、実際の組織、非公開データセット、Claude/モデルジャッジの実性能、および組織の閾値については、組織ごとの追加条件(組織オーバーレイ)側に残す。
まだ確認できていないこと
- PM-CLAUDE-CORE-07-CURRENTNESS
原資料の確定版から収録しています。外部根拠の最新性を今回の取込日で確認済みと扱いません。本文の未解決事項・残余制約を保持します。
根拠資料
- 研究資料研究資料
Anthropic, Define 成功 criteria and 生成・構築 evaluations: <[
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
Anthropic, Prompt engineering overview / prompting best practices: <[
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
Anthropic, プロンプトエンジニアリングの概要 / プロンプティングのベストプラクティス: <[https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview](https://platform.claude.com/
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
Anthropic, Improve your prompts in the developer console: <[
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
Anthropic, Batch processing / Structured outputs: <[
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
Anthropic, Batch processing / Structured outputs: <[https://platform.claude.com/docs/en/build-with-claude/batch-processing](https://platform.claude.com/docs/en/build-with-claude/ba
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
Anthropic, claude-cookbooks: <[
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
Anthropic, claude-cookbooks: <[https://github.com/anthropics/claude-cookbooks](https://github.com/anthropics/claude-cookbooks)>; issue #761: <[
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
Shi et al., Judging the Judges: <[
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
- 研究資料研究資料
Dekoninck et al., ConStat: <[
確認上の限界
元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
出典ID・検証情報・機械可読データ
根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。
- 記事ID
- PM-CLAUDE-CORE-07
- 最終確認日
- —
- 提供元・モデル・プラン・利用環境
- CLAUDE
- 対象地域
- —
元資料の全文と収録照合記録
資料の識別情報
Source SHA-256 87d70f34057257f0c115f9ec6b6456f8c459c75d6068ad3dc28aaa5523f391f3
Product Mapping — Claude / CORE-07
PRODUCT_MAPPING_ID: PM-CLAUDE-CORE-07-v0.1
PROVIDER: CLAUDE / ANTHROPIC
CORE_PACKET: PKT-GEMINI-A-CORE-07-v0.1
AS_OF: 2026-09-10 JST
STATUS: PUBLIC_MAPPING_BOUNDED_COMPLETE / CONSOLE_TEMPORAL_BOUNDARY / LIVE_ORG_PENDING
LAYER: PRODUCT_MAPPING (not Enterprise AI Core; not Organization Overlay)
Scope
CORE-07のdataset、scorer/judge、holdout、slice gate、release evidenceを、Anthropicの評価設計guidance、Console prompt improver/evaluator、Message Batches、structured outputs、Agent SDK/Claude Codeおよびauthor-maintained cookbookへ対応づける。公開仕様・固定履歴・限定issueだけを対象とし、実organization、非公開dataset、Claude/model judgeの実性能、組織閾値はOrganization Overlayへ残す。
Surface and lifecycle separation
| SURFACE | CURRENT EVIDENCE | DECISION | LIMIT |
| evaluation design guidance | success criteriaをspecific/measurableにし、task-specific・実分布・edge caseを含む評価、code/human/LLM gradingを使い分ける | provider guidanceをevaluation contract設計へ利用 | hosted registry、artifact immutability、retention、release authorityの保証ではない |
| Console prompt improver / evaluator | 2024-10-14発表ではprompt/example改善、ideal output、5段階評価、反復feedbackを提供 | historical/current-accessed Console surfaceとして記録し、candidate作成面と評価面を分離 | 発表時のprefill手法はClaude 4.6以降のcurrent prompting guidanceと互換でない。現行のversion/export/retention保証は公開証拠から確定しない |
| Message Batches | independent requestsをcustom_idで結合し、結果は順不同・部分成功、24時間expiry、29日availability | bulk eval実行carrierとして利用可能 | hosted eval registry・判定器・release decisionではない。batch完了を評価受入としない |
| structured outputs | JSON schemaに沿う出力を強制し、schema cacheを持つ | grader/result envelopeの構文検証に利用 | schema conformanceはrubric妥当性、意味品質、judge calibrationを証明しない |
| Agent SDK / Claude Code | tool、permission、hooks、session、result、OTel等のtrajectory carrier | agent evalではconfig、tool receipt、artifact/readback、外部最終状態を別join | ResultMessage/traceだけでは業務成果・side effectの完全性を証明しない |
| anthropics/claude-cookbooks | automated evaluation、RAG等のauthor-maintained recipes | external/self-managed harness例として扱う | sample notebookはhosted product、SLA、current-model互換性の保証ではない |
Core → Claude mapping rows
| ROW | CORE CONTRACT | CLAUDE / ANTHROPIC FINDING | DECISION / UNKNOWN |
| PM-C07-CLAUDE-001 | evaluation artifact separation | current guidanceはsuccess criteria、test cases、graderを説明するが、candidate/dataset/scorer/judge/run/releaseを一つのimmutable objectとして保証しない | Core contract IDsで外部結合し、Console/UI名を正本identityにしない |
| PM-C07-CLAUDE-002 | representative and edge distribution | task-specific、real-world distribution、edge cases、held-out testsを推奨 | representative/failure/challenge/sealed holdoutを分離し、各sliceのprovenanceとaccessを記録 |
| PM-C07-CLAUDE-003 | deterministic-first scoring | code-based gradingは高速・信頼性、人手は柔軟だが高コスト、LLM gradingはscalableだが信頼性確認が必要とされる | exact/schema/rule/tool receiptを先行し、LLM judgeはversioned補助判定に限定 |
| PM-C07-CLAUDE-004 | judge registry and calibration | LLM graderには明確なrubricと指定出力が必要。独立研究はposition biasがjudge/taskごとに変動することを示す | judge model/config/prompt/rubric/order/sampling/abstention、人手不一致率を保存し、swap/permutationを行う |
| PM-C07-CLAUDE-005 | candidate optimization / holdout split | Console prompt improverはprompt・examples・feedbackを反復変更し得る | improver/evaluatorへ提示したcaseをoptimization corpusへ分類し、sealed holdoutから失効。発表時機能の現行永続性はUNKNOWN |
| PM-C07-CLAUDE-006 | temporal compatibility | 2024発表のprompt improverはassistant prefillを手法に含むが、current guidanceはClaude 4.6以降のlast-assistant prefill非対応を示す | candidate、model、API behavior、improver生成時点を固定し、生成promptをcurrent modelで回帰評価。古い機能説明を現行互換保証へ昇格しない |
| PM-C07-CLAUDE-007 | evaluator infrastructure failure | cookbook issue #761は、Sonnet 4.6で拒否されたprefill例外をbroad catchがis_correct=Falseへ変換し、全件0%に見せ得ると報告 | API/harness/parser/timeoutをINFRA_ERRORとしてcandidate failureから分離し、評価器異常時はfail closed。issueは対象script/version限定 |
| PM-C07-CLAUDE-008 | batch/output carrier boundary | Batchは順不同・部分状態、structured outputsは構文契約を提供 | custom_id、missing/errored/canceled/expired、retry、schema/parser errorを別記録し、valid N不足を平均へ混ぜない |
| PM-C07-CLAUDE-009 | bounded contamination and release gate | ConStatはpublic benchmarkと同分布fresh/rephrased casesのgapを測る限定反証を提供 | named Claude modelの汚染断定には使わず、critical slice AND gate、fresh challenge、human adjudication、artifact readbackでreleaseを判定 |
Safe verification profile
非機密synthetic fixtureだけを用い、今回はAnthropic API、Console、organization、model、Batch、SDK/CLI、tool、dataset、judgeを操作していない。
- candidateにmodel ID、effort/thinking、system prompt、tools、permissions、SDK/CLI版、settings/source snapshotを含める。
- dev/regression/challenge/failure corpus/sealed holdoutを分離し、prompt improver・example generation・人手feedbackへの露出をleak ledgerへ記録する。
- deterministic checksを先行し、LLM judgeはorder swap、反復、abstention、人手calibrationを伴う補助判定にする。
- prefillを含む旧prompt/harnessをcurrent modelへ移すnegative compatibility testを置き、API例外を0点へ変換しない。
- Batchではcustom_idと各statusをread backし、missing/expired/erroredをINFRA_ERRORとして再実行可否と分離する。
- agent taskはtrajectory、tool receipt、artifact digest、external readback、acceptanceを別証拠として結合する。
- overall平均がpassでもcritical slice、known regression、Japanese、safety/over-refusal、tail、variance、valid Nのいずれかがfailならreleaseをblockする。
既存EXP-C07-001の12/12はCOMPILER_EXPERIMENTであり、Claude、Console、Batch、judge、modelのlive試験へ再分類しない。
Organization Overlay handoff
- adopted surface、organization/workspace、dataset owner/access、retention/export、holdout custodian
- candidate model/effort/prompt/tool/config、grader/judge allowlist、人手sampleとdisagreement threshold
- improver/training/eval corpusの分離、leak response、freshness/failure corpus更新周期
- Batch quota/retry/deadline、infra-error policy、evidence retention
- release threshold、critical slice、variance、zero-tolerance、exception/rollback authority
Provenance
- Anthropic, Define success criteria and build evaluations: <https://platform.claude.com/docs/en/test-and-evaluate/develop-tests> (accessed 2026-09-09)
- Anthropic, Prompt engineering overview / prompting best practices: <https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview>; <https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices> (accessed 2026-09-09)
- Anthropic, Improve your prompts in the developer console: <https://claude.com/blog/prompt-improver> (published 2024-10-14; accessed 2026-09-09)
- Anthropic, Batch processing / Structured outputs: <https://platform.claude.com/docs/en/build-with-claude/batch-processing>; <https://platform.claude.com/docs/en/build-with-claude/structured-outputs> (accessed 2026-09-09)
- Anthropic, claude-cookbooks: <https://github.com/anthropics/claude-cookbooks>; issue #761: <https://github.com/anthropics/claude-cookbooks/issues/761> (opened 2026-07-07; accessed 2026-09-09)
- Shi et al., Judging the Judges: <https://aclanthology.org/2025.ijcnlp-long.18/>
- Dekoninck et al., ConStat: <https://arxiv.org/abs/2405.16281>
Exit condition
Anthropicの評価guidance、Console improvement/evaluation、Batch、structured outputs、agent trajectory、cookbookを別surfaceとしてCORE-07へ対応づけ、temporal compatibilityとevaluator-infrastructure failureを境界付きで追加した。公開情報から確認できないConsole artifactのversion/export/retention、live judge性能、organization閾値はUNKNOWNのまま残す。Core claimは変更しないためGemini/GPT遡及監査は不要である。
EVD-PM-CLAUDE-CORE-07-URL-6727386D515F研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCEAnthropic, Define success criteria and build evaluations: <[
- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-6727386D515F
- 検証箇所
- Provenance · - Anthropic, Define success criteria and build evaluations: <[https://platform.claude.com/docs/en/test-and-evaluate/develop-tests
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-PM-CLAUDE-CORE-07-URL-C49DB9436032研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCEAnthropic, Prompt engineering overview / prompting best practices: <[
- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-C49DB9436032
- 検証箇所
- Provenance · - Anthropic, Prompt engineering overview / prompting best practices: <[https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-PM-CLAUDE-CORE-07-URL-DA45DE5646CB研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-DA45DE5646CB
- 検証箇所
- Provenance · - Anthropic, Prompt engineering overview / prompting best practices: <[https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview](https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview)>; <[https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-PM-CLAUDE-CORE-07-URL-D11C2860A404研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCEAnthropic, Improve your prompts in the developer console: <[
- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-D11C2860A404
- 検証箇所
- Provenance · - Anthropic, Improve your prompts in the developer console: <[https://claude.com/blog/prompt-improver
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-PM-CLAUDE-CORE-07-URL-DBCB362197DB研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCEAnthropic, Batch processing / Structured outputs: <[
- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-DBCB362197DB
- 検証箇所
- Provenance · - Anthropic, Batch processing / Structured outputs: <[https://platform.claude.com/docs/en/build-with-claude/batch-processing
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-PM-CLAUDE-CORE-07-URL-1BA226019836研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-1BA226019836
- 検証箇所
- Provenance · - Anthropic, Batch processing / Structured outputs: <[https://platform.claude.com/docs/en/build-with-claude/batch-processing](https://platform.claude.com/docs/en/build-with-claude/batch-processing)>; <[https://platform.claude.com/docs/en/build-with-claude/structured-outputs
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-PM-CLAUDE-CORE-07-URL-1F49D0119CED研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCEAnthropic, claude-cookbooks: <[
- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-1F49D0119CED
- 検証箇所
- Provenance · - Anthropic, claude-cookbooks: <[https://github.com/anthropics/claude-cookbooks
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-PM-CLAUDE-CORE-07-URL-8E2E37051F9B研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-8E2E37051F9B
- 検証箇所
- Provenance · - Anthropic, claude-cookbooks: <[https://github.com/anthropics/claude-cookbooks](https://github.com/anthropics/claude-cookbooks)>; issue #761: <[https://github.com/anthropics/claude-cookbooks/issues/761
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-PM-CLAUDE-CORE-07-URL-827ACF165DA2研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCEShi et al., Judging the Judges: <[
- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-827ACF165DA2
- 検証箇所
- Provenance · - Shi et al., Judging the Judges: <[https://aclanthology.org/2025.ijcnlp-long.18/
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
EVD-PM-CLAUDE-CORE-07-URL-16D2741870AD研究資料研究資料根拠の出所: APPROVED_DOCUMENT_REFERENCE- 裏付ける内容
- —
- 確認日
- —
- 出典・実験ID
- SRC-PM-CLAUDE-CORE-07-URL-16D2741870AD
- 検証箇所
- Provenance · - Dekoninck et al., ConStat: <[https://arxiv.org/abs/2405.16281
- 適用範囲
- Provenance
- 出典・来歴
- APPROVED_DOCUMENT_REFERENCE_PROJECTED
- 限界
- 元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
PM-CLAUDE-CORE-07-DOCUMENT-READBACK実装資料実装資料根拠の出所: DOCUMENT_INGESTION_READBACK原資料との収録照合
- 裏付ける内容
- 資料単位の本文ハッシュ、段落数、表数を照合しています。
- 確認日
- —
- 出典・実験ID
- DOC-083cde4caa627644-PM-CLAUDE-CORE-07
- 検証箇所
- 18WPldGemks2px0ukhKYINeBMrBwAmlAi · 083cde4caa627644036a2225f1f6ff29b8015bd902614fe1f7a00a997b4eb59c · provider_mappings/PM-CLAUDE-CORE-07.md · 6f3ea62ffe35d7f186dcfffdac5f2dbc13eb5419afca09dafeeb24405127f841
- 適用範囲
- 公開指定を受けた資料単位の全文・表・出典。
- 出典・来歴
- SOURCE_IDENTITY_VERIFIED
- 限界
- 収録照合は主張の真偽や外部根拠の最新性を追加保証しません。
- 出典ID
- DOC-083cde4caa627644-PM-CLAUDE-CORE-07, SRC-PM-CLAUDE-CORE-07-URL-6727386D515F, SRC-PM-CLAUDE-CORE-07-URL-C49DB9436032, SRC-PM-CLAUDE-CORE-07-URL-DA45DE5646CB, SRC-PM-CLAUDE-CORE-07-URL-D11C2860A404, SRC-PM-CLAUDE-CORE-07-URL-DBCB362197DB, SRC-PM-CLAUDE-CORE-07-URL-1BA226019836, SRC-PM-CLAUDE-CORE-07-URL-1F49D0119CED, SRC-PM-CLAUDE-CORE-07-URL-8E2E37051F9B, SRC-PM-CLAUDE-CORE-07-URL-827ACF165DA2, SRC-PM-CLAUDE-CORE-07-URL-16D2741870AD
- 追跡中のUNKNOWN ID
- PM-CLAUDE-CORE-07-CURRENTNESS
- 再確認のきっかけ
- 原資料の更新 · 参照資料の変更 · 新しい反証・検証記録
機械検査: 通過 — 機械検査の結果です。情報の正確性や実行の承認を保証するものではありません。
同じ記事IDの機械可読データです。