# AI評価・Evals実践編

CURRENT_STATUS: UNKNOWN
OBSERVATION: SPEC_ONLY
FRESHNESS: UNKNOWN
PAGE_TYPE: guide
CANONICAL_URL: /tools/ea-016-ai-evals
CLAIM_IDS: none
EVIDENCE_IDS: EVD-EA-016-URL-B9A542AD09B5, EVD-EA-016-URL-6C790A16DE0A, EVD-EA-016-URL-89540EC431B8, EVD-EA-016-URL-86506DE6773B, EVD-EA-016-URL-1B94BEF68087, EVD-EA-016-URL-2B3F10F1A571, EVD-EA-016-URL-42468EB1C49E, EVD-EA-016-URL-9AC163575FA8, EA-016-R11-RESEARCH, EA-016-R11-WEB-READBACK
UNKNOWN_IDS: EA-016-UNKNOWN-01, EA-016-UNKNOWN-CURRENTNESS
OPS_IDS: none

## Summary
EvalsはAIの「点数表」ではなく、業務上の成功条件を実行可能なテストへ変換し、変更による改善と回帰を検知する運用機構として扱う。生成AIやagentでは最終発話だけでなく、成果物、環境state、tool side effect、権限違反を評価する。Golden setは固定された万能正解集ではなく、provenance、version、coverage、criticalityを持つliving artifactとして管理する。高いscoreは当該suite内の結果であり、未知の実運用分布や安全性全体の保証へ外挿しない。

## Current judgment
EvalsはAIの「点数表」ではなく、業務上の成功条件を実行可能なテストへ変換し、変更による改善と回帰を検知する運用機構として扱う。生成AIやagentでは最終発話だけでなく、成果物、環境state、tool side effect、権限違反を評価する。Golden setは固定された万能正解集ではなく、provenance、version、coverage、criticalityを持つliving artifactとして管理する。高いscoreは当該suite内の結果であり、未知の実運用分布や安全性全体の保証へ外挿しない。

## Scope
EA-011のSUT_MANIFEST / FIXTURE_MANIFEST / RESULT_RECORDを再利用し、EA-016ではCASE/SUITE/GRADER lifecycle metadataを上乗せする。公開benchmark比較そのものを重複して主題化しない。
- evaluation lifecycle / release gate / regression governance
- golden / regression / capability / critical / holdout suite
- deterministic grader / bounded programmatic metric / LLM judge / human eval
- agent task completion / tool execution / final state
- eval dataset governance / contamination / judge bias / harness defects
- production-derived case governance

## Confirmed

## UNKNOWN
- EA-016-UNKNOWN-01: - Evals導入は品質保証そのものではない。
- 高いregression pass率はcase bank内での維持を示すだけで、全業務分布の安全性を証明しない。
- LLM-as-judgeにはbiasがあり、human calibrationなしの絶対判定器としない。
- deterministic graderも仕様が誤っていれば誤判定する。
- public benchmarkはcontamination / shortcut / eval-awarenessの影響を受け得る。
- provider eval serviceのpricing、region、retention、ZDR適合、enterprise entitlementの完全横断表は `OPEN_UNKNOWN`。
- 業種別human agreement threshold、trial数、release thresholdは一律に決めない。
- NIST AI 200-2のfinal statusはpublication時に再確認する。
- PRODUCT_VOLATILE provider surfacesは公開直前に再確認する。
- EA-016-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。

## Evidence
- EVD-EA-016-URL-B9A542AD09B5 (RESEARCH): NIST TEVV-Athlon Framework, NIST AI 200-2 Initial Public Draft, announced 2026-08-07 / page updated 2026-08-14, comment period through 2026-10-06 at source-packet time. Use as orga — https://doi.org/10.6028/NIST.AI.200-2.ipd
- EVD-EA-016-URL-6C790A16DE0A (RESEARCH): Anthropic, “Demystifying evals for AI agents”, 2026-01-09. Use for task/trial/grader/transcript/outcome/harness separation, capability vs regression, isolated trials and grader cla — https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
- EVD-EA-016-URL-89540EC431B8 (RESEARCH): OpenAI Evals API “Create eval”, current at source-packet access 2026-09-11. Label VERIFIED_SPEC + PRODUCT_VOLATILE. API, pricing, availability and tenant entitlement require public — https://developers.openai.com/api/reference/java/resources/evals/methods/create
- EVD-EA-016-URL-86506DE6773B (RESEARCH): OpenAI, “信頼できる第三者評価のための共通プレイブック”, 2026-05-29. Use for harness/budget/tool/scoring/contamination/shortcut/broken-task validity hazards. Locator: — https://openai.com/ja-JP/index/trustworthy-third-party-evaluations-foundations/
- EVD-EA-016-URL-1B94BEF68087 (RESEARCH): Google Cloud, “Evaluate a judge model”, source-packet state Preview / Pre-GA. Label VERIFIED_SPEC + PRODUCT_VOLATILE. Use for judge calibration against human-rating ground truth an — https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluate-judge-model
- EVD-EA-016-URL-2B3F10F1A571 (RESEARCH): Shi et al., “Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge”, arXiv:2406.07791, 2024-06-12. Use as counterevidence for pairwise judge position bias; do n — https://arxiv.org/abs/2406.07791
- EVD-EA-016-URL-42468EB1C49E (RESEARCH): Anthropic, “Eval awareness in Claude Opus 4.6’s BrowseComp performance”, 2026-03-06. Use as contamination / answer-leakage / shortcut / eval-awareness failure-envelope evidence; do — https://www.anthropic.com/engineering/eval-awareness-browsecomp
- EVD-EA-016-URL-9AC163575FA8 (RESEARCH): NIST Generative Artificial Intelligence Evaluation Program (GenAI), updated 2026-05-07 at source-packet access. Use as measurement-science context. Locator: — https://www.nist.gov/programs-projects/generative-artificial-intelligence-evaluation-program-genai
- EA-016-R11-RESEARCH (RESEARCH): EA-016 監査済みresearch / canonical revision binding
- EA-016-R11-WEB-READBACK (IMPL): EA-016 Web body identity / canonical readback

## Failure / limits
Evals導入は品質保証そのものではない。
## Failure / limits
高いregression pass率はcase bank内での維持を示すだけで、全業務分布の安全性を証明しない。
## Failure / limits
LLM-as-judgeにはbiasがあり、human calibrationなしの絶対判定器としない。
## Failure / limits
deterministic graderも仕様が誤っていれば誤判定する。
## Failure / limits
public benchmarkはcontamination / shortcut / eval-awarenessの影響を受け得る。
## Failure / limits
provider eval serviceのpricing、region、retention、ZDR適合、enterprise entitlementの完全横断表は `OPEN_UNKNOWN`。
## Failure / limits
業種別human agreement threshold、trial数、release thresholdは一律に決めない。
## Failure / limits
NIST AI 200-2のfinal statusはpublication時に再確認する。
## Failure / limits
PRODUCT_VOLATILE provider surfacesは公開直前に再確認する。
## Practice
本番credential/secretをfixtureへ埋め込まない。permission/tool evalは最小権限のisolated environmentで行い、実外部送信や不可逆writeを避ける。holdout answer key / grader criteriaへのSUT accessを遮断する。
production failureをcase化するときはminimize / anonymize / synthetic化を優先する。raw transcriptが不要なら必要なoutcome / structured evidenceのみ保持する。
suite / case / grader / harness / SUT versionと変更主体を追跡する。failed release overrideはreason / approver / expiryを残す。
eval costはinference、judge、tool/API、environment、human review、rerun、maintenanceを含む。fast deterministic smoke → regression → expensive agent/human/holdoutの段階化は可能だが、critical permission/safety gateをcost削減目的で外さない。
flaky environment failureとSUT failureを別codeにする。timeout/retryによる二重side effectを避けるisolated fixtureを用いる。
## Practice
以下はすべて `UNEXECUTED`。実行済みと表示しない。
## Practice
TEST_PROFILE-016-A — GOLDEN/REGRESSION RELEASE GATE
## Practice
TEST_PROFILE-016-B — AGENT TASK COMPLETION / TOOL EXECUTION
## Practice
TEST_PROFILE-016-C — LLM JUDGE CALIBRATION
## Practice
TEST_PROFILE-016-D — EVAL HEALTH / NEGATIVE CONTROL
## Practice
TEST_PROFILE-016-E — HOLDOUT / CONTAMINATION
## Public claim
EvalsはAIの「点数表」ではなく、業務上の成功条件を実行可能なテストへ変換し、変更による改善と回帰を検知する運用機構として扱う。生成AIやagentでは最終発話だけでなく、成果物、環境state、tool side effect、権限違反を評価する。Golden setは固定された万能正解集ではなく、provenance、version、coverage、criticalityを持つliving artifactとして管理する。高いscoreは当該suite内の結果であり、未知の実運用分布や安全性全体の保証へ外挿しない。

## Scope
EA-011のSUT_MANIFEST / FIXTURE_MANIFEST / RESULT_RECORDを再利用し、EA-016ではCASE/SUITE/GRADER lifecycle metadataを上乗せする。公開benchmark比較そのものを重複して主題化しない。
- evaluation lifecycle / release gate / regression governance
- golden / regression / capability / critical / holdout suite
- deterministic grader / bounded programmatic metric / LLM judge / human eval
- agent task completion / tool execution / final state
- eval dataset governance / contamination / judge bias / harness defects
- production-derived case governance

## Evidence and provenance
- NIST TEVV-Athlon Framework, NIST AI 200-2 Initial Public Draft, announced 2026-08-07 / page updated 2026-08-14, comment period through 2026-10-06 at source-packet time. Use as organizational TEVV context; do not present as a final standard. Locator: https://doi.org/10.6028/NIST.AI.200-2.ipd
- Anthropic, “Demystifying evals for AI agents”, 2026-01-09. Use for task/trial/grader/transcript/outcome/harness separation, capability vs regression, isolated trials and grader classes. Provider engineering practice, not universal standard. Locator: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
- OpenAI Evals API “Create eval”, current at source-packet access 2026-09-11. Label VERIFIED_SPEC + PRODUCT_VOLATILE. API, pricing, availability and tenant entitlement require publication-time recheck. Locator: https://developers.openai.com/api/reference/java/resources/evals/methods/create
- OpenAI, “信頼できる第三者評価のための共通プレイブック”, 2026-05-29. Use for harness/budget/tool/scoring/contamination/shortcut/broken-task validity hazards. Locator: https://openai.com/ja-JP/index/trustworthy-third-party-evaluations-foundations/
- Google Cloud, “Evaluate a judge model”, source-packet state Preview / Pre-GA. Label VERIFIED_SPEC + PRODUCT_VOLATILE. Use for judge calibration against human-rating ground truth and balanced accuracy/F1/confusion-matrix examples. Do not infer GA/SLA/region availability. Locator: https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluate-judge-model
- Shi et al., “Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge”, arXiv:2406.07791, 2024-06-12. Use as counterevidence for pairwise judge position bias; do not generalize one quantitative result to all judges/tasks. Locator: https://arxiv.org/abs/2406.07791
- Anthropic, “Eval awareness in Claude Opus 4.6’s BrowseComp performance”, 2026-03-06. Use as contamination / answer-leakage / shortcut / eval-awareness failure-envelope evidence; do not generalize to every benchmark/model. Locator: https://www.anthropic.com/engineering/eval-awareness-browsecomp
- NIST Generative Artificial Intelligence Evaluation Program (GenAI), updated 2026-05-07 at source-packet access. Use as measurement-science context. Locator: https://www.nist.gov/programs-projects/generative-artificial-intelligence-evaluation-program-genai

## Evaluation model
Evalの最小単位をprompt/outputだけに置かず、`task → trial → evidence → grade` として扱う。
- TASK_SPEC: input、initial state、allowed tools/permissions、success condition、forbidden effects
- TRIAL: model/version、prompt/config、runtime/harness、開始条件
- TRACE: tool call、retrieval、state transition、error/retryの保存可能部分
- OUTCOME: DB、document、table、send queue等の最終state
- GRADERS: deterministic assertion、state check、schema/diff、human rubric、LLM rubric
- RESULT: dimension別score、critical failures、cost/latency
agentの自己申告をtask completionの証拠としない。

## Suite separation
- CAPABILITY_SUITE: 新能力・改善余地を測る。
- REGRESSION_SUITE: 過去のaccepted behaviorを保護する。
- CRITICAL_SAFETY_PERMISSION_SUITE: aggregate平均で相殺せず、重大違反をhard gate化できる。
- HOLDOUT_ADAPTIVE_SUITE: 頻繁に開発へ露出させず、overfit / shortcut / contaminationを検出する。
- PRODUCTION_SENTINEL: 統制された実運用failure patternを再現可能なcaseへ変換し、必要に応じregressionへ昇格する。

## EVAL_CASE_RECORD
以下は調査済みimplementation structureであり、既存標準の必須schemaとして扱わない。
- CASE_ID / SUITE_ID / SUITE_VERSION
- scenario / source_origin / business_owner / criticality
- input_fixture_ref / initial_state_hash
- allowed_tools / allowed_permissions / forbidden_effects
- expected_outcome / acceptable_variation
- grader_ids / grader_versions
- provenance / sensitivity / holdout_flag
- added_reason / review_date / retirement_state

## EVAL_RUN_RECORD
- RUN_ID
- candidate SUT manifest / baseline SUT manifest
- case / suite version
- n_trials / environment version
- per-trial outputs / outcome refs
- dimension scores / critical failures
- grader outputs / grader version
- latency / token / cost / error
- aggregate / confidence or variance representation
- release_decision / reviewer / exception rationale

## Suite lifecycle
incident or user failure → reproduce → minimize/sanitize → assign expected outcome and invariants → validate grader with positive/negative controls → add to capability/regression/critical suite → version → CI/pre-release run → production sentinel → periodic retire/rebalance。

## Grader hierarchy
検証可能な業務ではdeterministicな判定を優先する。
1. deterministic: schema、normalized field、unit test、artifact diff、permission log、DB state、tool side effect
2. bounded programmatic metric: precision/recall、数値許容差、citation relation等
3. LLM grader: tone、説明品質、複数妥当解など
4. human/domain expert: rubric定義、gold calibration、曖昧case、重大判断

LLM judgeをhumanの代替正解器としない。pairwise評価ではA/B order swap、匿名化、human-labeled sample等による校正を行う。human evalにもrubric ambiguity、inter-rater disagreement、疲労、順序効果があり得るため、人間判定自体も無謬としない。

## Agent outcome and invariants
通常のtask completionはfinal state/outputを中心に評価し、有効な別解を固定tool-call sequenceで不当に落とさない。一方、credential scope超過、禁止tool、未承認write、外部送信、duplicate side effect等はpath-independent invariantとして別途fail可能にする。

## Release result vector
- task_success / partial_completion
- critical_failure_count
- permission_violation
- unintended_write / duplicate_side_effect
- factual / grounding / citation error
- schema / structure failure
- human rubric dimensions
- retry / timeout / error rate
- latency / token / monetary cost
- trial variance / repeated-trial pass rate
単一aggregate scoreのみでreleaseを判断しない。閾値とtrial数は業務criticality依存であり、一律値を推測しない。

## Eval health
Eval suite自体もテスト対象とする。
- reference solutionがgraderを通るか
- intentionally-bad solutionを落とせるか
- A/B order swapでjudge verdictが不自然に反転しないか
- task textとgrader assumptionsが一致するか
- fixture initial stateがtrial間でcleanか
- hidden state/cache/previous artifactが漏れていないか
- public answer leakage / benchmark contaminationがないか
- eval version変更前後のscore continuityを説明できるか
score低下だけでmodel regression、高得点だけで能力向上と断定しない。

## Security / privacy / audit / cost / operability
本番credential/secretをfixtureへ埋め込まない。permission/tool evalは最小権限のisolated environmentで行い、実外部送信や不可逆writeを避ける。holdout answer key / grader criteriaへのSUT accessを遮断する。
production failureをcase化するときはminimize / anonymize / synthetic化を優先する。raw transcriptが不要なら必要なoutcome / structured evidenceのみ保持する。
suite / case / grader / harness / SUT versionと変更主体を追跡する。failed release overrideはreason / approver / expiryを残す。
eval costはinference、judge、tool/API、environment、human review、rerun、maintenanceを含む。fast deterministic smoke → regression → expensive agent/human/holdoutの段階化は可能だが、critical permission/safety gateをcost削減目的で外さない。
flaky environment failureとSUT failureを別codeにする。timeout/retryによる二重side effectを避けるisolated fixtureを用いる。

## Test profiles
以下はすべて `UNEXECUTED`。実行済みと表示しない。
- TEST_PROFILE-016-A — GOLDEN/REGRESSION RELEASE GATE
- TEST_PROFILE-016-B — AGENT TASK COMPLETION / TOOL EXECUTION
- TEST_PROFILE-016-C — LLM JUDGE CALIBRATION
- TEST_PROFILE-016-D — EVAL HEALTH / NEGATIVE CONTROL
- TEST_PROFILE-016-E — HOLDOUT / CONTAMINATION

## Failure envelope / OPEN_UNKNOWN
- Evals導入は品質保証そのものではない。
- 高いregression pass率はcase bank内での維持を示すだけで、全業務分布の安全性を証明しない。
- LLM-as-judgeにはbiasがあり、human calibrationなしの絶対判定器としない。
- deterministic graderも仕様が誤っていれば誤判定する。
- public benchmarkはcontamination / shortcut / eval-awarenessの影響を受け得る。
- provider eval serviceのpricing、region、retention、ZDR適合、enterprise entitlementの完全横断表は `OPEN_UNKNOWN`。
- 業種別human agreement threshold、trial数、release thresholdは一律に決めない。
- NIST AI 200-2のfinal statusはpublication時に再確認する。
- PRODUCT_VOLATILE provider surfacesは公開直前に再確認する。

NEXT: /agent/start.json
STOP: This is a knowledge projection, not an execution order.