AI評価・Evals実践編

EvalsはAIの「点数表」ではなく、業務上の成功条件を実行可能なテストへ変換し、変更による改善と回帰を検知する運用機構として扱う。生成AIやagentでは最終発話だけでなく、成果物、環境state、tool side effect、権限違反を評価する。Golden setは固定された万能正解集ではなく、provenance、version、coverage、criticalityを持つliving artifactとして管理する。高いscoreは当該suite内の結果であり、未知の実運用分布や安全性全体の保証へ外挿しない。

EA-011のSUT_MANIFEST / FIXTURE_MANIFEST / RESULT_RECORDを再利用し、EA-016ではCASE/SUITE/GRADER lifecycle metadataを上乗せする。公開benchmark比較そのものを重複して主題化しない。 - evaluation lifecycle / release gate / regression governance - golden / regression / capability / critical / holdout suite - deterministic grader / bounded programmatic metric / LLM judge / human eval - agent task completion / tool execution / final state - eval dataset governance / contamination / judge bias / harness defects - production-derived case governance

• NIST TEVV-Athlon Framework, NIST AI 200-2 Initial Public Draft, announced 2026-08-07 / page updated 2026-08-14, comment period through 2026-10-06 at source-packet time. Use as organizational TEVV context; do not present as a final standard. Locator: https://doi.org/10.6028/NIST.AI.200-2.ipd
• Anthropic, “Demystifying evals for AI agents”, 2026-01-09. Use for task/trial/grader/transcript/outcome/harness separation, capability vs regression, isolated trials and grader classes. Provider engineering practice, not universal standard. Locator: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
• OpenAI Evals API “Create eval”, current at source-packet access 2026-09-11. Label VERIFIED_SPEC + PRODUCT_VOLATILE. API, pricing, availability and tenant entitlement require publication-time recheck. Locator: https://developers.openai.com/api/reference/java/resources/evals/methods/create
• OpenAI, “信頼できる第三者評価のための共通プレイブック”, 2026-05-29. Use for harness/budget/tool/scoring/contamination/shortcut/broken-task validity hazards. Locator: https://openai.com/ja-JP/index/trustworthy-third-party-evaluations-foundations/
• Google Cloud, “Evaluate a judge model”, source-packet state Preview / Pre-GA. Label VERIFIED_SPEC + PRODUCT_VOLATILE. Use for judge calibration against human-rating ground truth and balanced accuracy/F1/confusion-matrix examples. Do not infer GA/SLA/region availability. Locator: https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluate-judge-model
• Shi et al., “Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge”, arXiv:2406.07791, 2024-06-12. Use as counterevidence for pairwise judge position bias; do not generalize one quantitative result to all judges/tasks. Locator: https://arxiv.org/abs/2406.07791
• Anthropic, “Eval awareness in Claude Opus 4.6’s BrowseComp performance”, 2026-03-06. Use as contamination / answer-leakage / shortcut / eval-awareness failure-envelope evidence; do not generalize to every benchmark/model. Locator: https://www.anthropic.com/engineering/eval-awareness-browsecomp
• NIST Generative Artificial Intelligence Evaluation Program (GenAI), updated 2026-05-07 at source-packet access. Use as measurement-science context. Locator: https://www.nist.gov/programs-projects/generative-artificial-intelligence-evaluation-program-genai

Evalの最小単位をprompt/outputだけに置かず、task → trial → evidence → grade として扱う。 - TASK_SPEC: input、initial state、allowed tools/permissions、success condition、forbidden effects - TRIAL: model/version、prompt/config、runtime/harness、開始条件 - TRACE: tool call、retrieval、state transition、error/retryの保存可能部分 - OUTCOME: DB、document、table、send queue等の最終state - GRADERS: deterministic assertion、state check、schema/diff、human rubric、LLM rubric - RESULT: dimension別score、critical failures、cost/latency agentの自己申告をtask completionの証拠としない。

• CAPABILITY_SUITE: 新能力・改善余地を測る。
• REGRESSION_SUITE: 過去のaccepted behaviorを保護する。
• CRITICAL_SAFETY_PERMISSION_SUITE: aggregate平均で相殺せず、重大違反をhard gate化できる。
• HOLDOUT_ADAPTIVE_SUITE: 頻繁に開発へ露出させず、overfit / shortcut / contaminationを検出する。
• PRODUCTION_SENTINEL: 統制された実運用failure patternを再現可能なcaseへ変換し、必要に応じregressionへ昇格する。

以下は調査済みimplementation structureであり、既存標準の必須schemaとして扱わない。 - CASE_ID / SUITE_ID / SUITE_VERSION - scenario / source_origin / business_owner / criticality - input_fixture_ref / initial_state_hash - allowed_tools / allowed_permissions / forbidden_effects - expected_outcome / acceptable_variation - grader_ids / grader_versions - provenance / sensitivity / holdout_flag - added_reason / review_date / retirement_state

• RUN_ID
• candidate SUT manifest / baseline SUT manifest
• case / suite version
• n_trials / environment version
• per-trial outputs / outcome refs
• dimension scores / critical failures
• grader outputs / grader version
• latency / token / cost / error
• aggregate / confidence or variance representation
• release_decision / reviewer / exception rationale

incident or user failure → reproduce → minimize/sanitize → assign expected outcome and invariants → validate grader with positive/negative controls → add to capability/regression/critical suite → version → CI/pre-release run → production sentinel → periodic retire/rebalance。

検証可能な業務ではdeterministicな判定を優先する。 1. deterministic: schema、normalized field、unit test、artifact diff、permission log、DB state、tool side effect 2. bounded programmatic metric: precision/recall、数値許容差、citation relation等 3. LLM grader: tone、説明品質、複数妥当解など 4. human/domain expert: rubric定義、gold calibration、曖昧case、重大判断

LLM judgeをhumanの代替正解器としない。pairwise評価ではA/B order swap、匿名化、human-labeled sample等による校正を行う。human evalにもrubric ambiguity、inter-rater disagreement、疲労、順序効果があり得るため、人間判定自体も無謬としない。

通常のtask completionはfinal state/outputを中心に評価し、有効な別解を固定tool-call sequenceで不当に落とさない。一方、credential scope超過、禁止tool、未承認write、外部送信、duplicate side effect等はpath-independent invariantとして別途fail可能にする。

• task_success / partial_completion
• critical_failure_count
• permission_violation
• unintended_write / duplicate_side_effect
• factual / grounding / citation error
• schema / structure failure
• human rubric dimensions
• retry / timeout / error rate
• latency / token / monetary cost
• trial variance / repeated-trial pass rate 単一aggregate scoreのみでreleaseを判断しない。閾値とtrial数は業務criticality依存であり、一律値を推測しない。

Eval suite自体もテスト対象とする。 - reference solutionがgraderを通るか - intentionally-bad solutionを落とせるか - A/B order swapでjudge verdictが不自然に反転しないか - task textとgrader assumptionsが一致するか - fixture initial stateがtrial間でcleanか - hidden state/cache/previous artifactが漏れていないか - public answer leakage / benchmark contaminationがないか - eval version変更前後のscore continuityを説明できるか score低下だけでmodel regression、高得点だけで能力向上と断定しない。

本番credential/secretをfixtureへ埋め込まない。permission/tool evalは最小権限のisolated environmentで行い、実外部送信や不可逆writeを避ける。holdout answer key / grader criteriaへのSUT accessを遮断する。 production failureをcase化するときはminimize / anonymize / synthetic化を優先する。raw transcriptが不要なら必要なoutcome / structured evidenceのみ保持する。 suite / case / grader / harness / SUT versionと変更主体を追跡する。failed release overrideはreason / approver / expiryを残す。 eval costはinference、judge、tool/API、environment、human review、rerun、maintenanceを含む。fast deterministic smoke → regression → expensive agent/human/holdoutの段階化は可能だが、critical permission/safety gateをcost削減目的で外さない。 flaky environment failureとSUT failureを別codeにする。timeout/retryによる二重side effectを避けるisolated fixtureを用いる。

以下はすべて UNEXECUTED。実行済みと表示しない。 - TEST_PROFILE-016-A — GOLDEN/REGRESSION RELEASE GATE - TEST_PROFILE-016-B — AGENT TASK COMPLETION / TOOL EXECUTION - TEST_PROFILE-016-C — LLM JUDGE CALIBRATION - TEST_PROFILE-016-D — EVAL HEALTH / NEGATIVE CONTROL - TEST_PROFILE-016-E — HOLDOUT / CONTAMINATION

• Evals導入は品質保証そのものではない。
• 高いregression pass率はcase bank内での維持を示すだけで、全業務分布の安全性を証明しない。
• LLM-as-judgeにはbiasがあり、human calibrationなしの絶対判定器としない。
• deterministic graderも仕様が誤っていれば誤判定する。
• public benchmarkはcontamination / shortcut / eval-awarenessの影響を受け得る。
• provider eval serviceのpricing、region、retention、ZDR適合、enterprise entitlementの完全横断表は OPEN_UNKNOWN。
• 業種別human agreement threshold、trial数、release thresholdは一律に決めない。
• NIST AI 200-2のfinal statusはpublication時に再確認する。
• PRODUCT_VOLATILE provider surfacesは公開直前に再確認する。