{
  "format": "agent-article-v0",
  "article_id": "EA-011",
  "canonical_url": "/tools/ea-011-enterprise-ai",
  "page_type": "reference",
  "claim_ids": [],
  "evidence_ids": [
    "EVD-EA-011-URL-673B167FFC7A",
    "EVD-EA-011-URL-92CFBF579E4C",
    "EVD-EA-011-URL-588DEB599BF6",
    "EVD-EA-011-URL-37BA15170E9E",
    "EA-011-CURRENT-APPROVAL",
    "EA-011-CURRENT-BODY-READBACK"
  ],
  "unknown_ids": [
    "EA-011-UNKNOWN-01"
  ],
  "operational_object_ids": [],
  "provider": [],
  "models": [],
  "plans": [],
  "surfaces": [],
  "regions": [],
  "current_status": "CURRENT",
  "observation_status": "SPEC_ONLY",
  "freshness": "CURRENT",
  "last_verified": "2026-10-06",
  "supersedes": [],
  "superseded_by": [],
  "provenance": [
    "EA011-CANDIDATE-20261022-0017JST-C3",
    "SRC-EA-011-URL-673B167FFC7A",
    "SRC-EA-011-URL-92CFBF579E4C",
    "SRC-EA-011-URL-588DEB599BF6",
    "SRC-EA-011-URL-37BA15170E9E",
    "BODY-SHA256:792d1d6e39fd1468a927a6096f6f49e9d85d985367bd6698b983ecb6b5486447"
  ],
  "article_sources": [
    {
      "id": "EVD-EA-011-URL-673B167FFC7A",
      "evidence_class": "RESEARCH",
      "title": "JetBrains Junie, “From Leaderboards to Model Profiles: A Deep Dive Evaluation of LLMs for Agentic Coding”, 2026-08. Locator:",
      "href": "https://blog.jetbrains.com/junie/2026/08/from-leaderboards-to-profiles/",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-011-URL-673B167FFC7A"
      ],
      "supporting_locators": [
        "Evidence and provenance",
        "- JetBrains Junie, “From Leaderboards to Model Profiles: A Deep Dive Evaluation of LLMs for Agentic Coding”, 2026-08. Locator: https://blog.jetbrains.com/junie/2026/08/from-leaderboards-to-profiles/"
      ],
      "scope": "Evidence and provenance",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-011-URL-92CFBF579E4C",
      "evidence_class": "RESEARCH",
      "title": "JetBrains Research, “The Benchmark Meaning Gap”, 2026-07. Locator:",
      "href": "https://blog.jetbrains.com/research/2026/07/benchmark-meaning-gap/",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-011-URL-92CFBF579E4C"
      ],
      "supporting_locators": [
        "Evidence and provenance",
        "- JetBrains Research, “The Benchmark Meaning Gap”, 2026-07. Locator: https://blog.jetbrains.com/research/2026/07/benchmark-meaning-gap/"
      ],
      "scope": "Evidence and provenance",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-011-URL-588DEB599BF6",
      "evidence_class": "RESEARCH",
      "title": "Jiawei He et al., “ProcBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents”, arXiv:2605.20251, 2026-05-18. Locator:",
      "href": "https://arxiv.org/abs/2605.20251",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-011-URL-588DEB599BF6"
      ],
      "supporting_locators": [
        "Evidence and provenance",
        "- Jiawei He et al., “ProcBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents”, arXiv:2605.20251, 2026-05-18. Locator: https://arxiv.org/abs/2605.20251"
      ],
      "scope": "Evidence and provenance",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-011-URL-37BA15170E9E",
      "evidence_class": "RESEARCH",
      "title": "＠IT / ITmedia, 2026-09-29, JetBrains報告の日本語解説。Locator:",
      "href": "https://atmarkit.itmedia.co.jp/ait/spv/2609/29/news042.html",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-011-URL-37BA15170E9E"
      ],
      "supporting_locators": [
        "Evidence and provenance",
        "- ＠IT / ITmedia, 2026-09-29, JetBrains報告の日本語解説。Locator: https://atmarkit.itmedia.co.jp/ait/spv/2609/29/news042.html"
      ],
      "scope": "Evidence and provenance",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EA-011-CURRENT-APPROVAL",
      "evidence_class": "RESEARCH",
      "title": "現行本文の監査・revision対応",
      "supports": [
        "現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。"
      ],
      "limit": "監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。",
      "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET",
      "source_or_experiment_ids": [
        "EA011-CANDIDATE-20261022-0017JST-C3"
      ],
      "supporting_locators": [
        "1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER#ea_id=EA-011&revision_id=EA-011-REFRESH-20261006-R1&candidate_id=EA011-CANDIDATE-20261022-0017JST-C3",
        "EA-011-REFRESH-20261006-R1"
      ],
      "provenance_status": "CURRENT_CANONICAL_APPROVAL_READBACK"
    },
    {
      "id": "EA-011-CURRENT-BODY-READBACK",
      "evidence_class": "IMPL",
      "title": "現行本文の収録照合",
      "supports": [
        "公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。"
      ],
      "limit": "本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。",
      "checked_at": "2026-10-22",
      "origin_class": "IMPLEMENTATION_READBACK",
      "source_or_experiment_ids": [
        "BODY-SHA256:792d1d6e39fd1468a927a6096f6f49e9d85d985367bd6698b983ecb6b5486447"
      ],
      "supporting_locators": [
        "content/staging/EA-011.md",
        "792d1d6e39fd1468a927a6096f6f49e9d85d985367bd6698b983ecb6b5486447",
        "EA-011-REFRESH-20261006-R1"
      ],
      "provenance_status": "CURRENT_APPROVED_BODY_HASH_MATCH"
    }
  ],
  "research_sections": [
    {
      "heading": "Public claim",
      "text": "Enterprise AIの評価は、公開leaderboardの単一scoreやmodel単体の比較だけで受入可否を決めず、実際に使うmodel・prompt・retrieval・tools・permissions・runtime・agent scaffoldを含む **System Under Test (SUT)** を、再現可能なfixtureとversion固定したgraderで測る。agentでは最終結果だけでなく、tool call、retrieval/file access、state transition、edit、test、retryなど観測可能なtrajectoryを保存し、OUTCOME / EFFICIENCY / ARTIFACT QUALITY / PROCESS QUALITYを分離して評価する。trajectoryはchain-of-thoughtではなく、監査可能な外部挙動と成果物の証拠である。\n\n公開benchmarkやleaderboardは有用なprobeだが、組織固有の業務、権限、データ境界、tool、cost ceiling、validation policyまで保証しない。受入判定は組織内fixtureとauthoritative readbackを持つ試験へ接続する。"
    },
    {
      "heading": "Scope",
      "text": "EA-011は、長文保持、権限付き検索、引用精度、表計算、文書更新、コード修正、tool useなどを共通の評価契約で比較するためのTEVV基盤を扱う。\n\n- SUT manifestとversion provenance\n- task / fixture / trial / trace / outcome / graderの分離\n- final outcomeとobservable trajectoryの多軸評価\n- deterministic telemetryとsemantic judgeの分離\n- failure stageの診断\n- private fixture / holdout / contamination対策\n- cost / latency / retry / tool usageの運用計測\n- organization-specific acceptance threshold\n\nEA-016はeval lifecycleやrelease gateを専門化し、EA-902/EA-961はtrajectory-level acceptanceおよびoutcome/trajectory/side-effectの専門論点を扱う。EA-011では共通fixture/SUT基盤を主題とする。"
    },
    {
      "heading": "Evidence and provenance",
      "text": "- JetBrains Junie, “From Leaderboards to Model Profiles: A Deep Dive Evaluation of LLMs for Agentic Coding”, 2026-08. Locator: https://blog.jetbrains.com/junie/2026/08/from-leaderboards-to-profiles/ — resolve rateだけでなくoutcome/processを分離し、execution efficiency、patch quality、process quality、failure stageを診断するmodel profileを提示。Junie scaffold依存であり、model一般の恒久的性格へ外挿しない。\n- JetBrains Research, “The Benchmark Meaning Gap”, 2026-07. Locator: https://blog.jetbrains.com/research/2026/07/benchmark-meaning-gap/ — benchmark scoreを広い能力へ外挿するconstruct-validity問題、task type間のranking不安定性、単一scoreではなくperformance profileと多様なtask probeを使う必要性を支持。\n- Jiawei He et al., “ProcBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents”, arXiv:2605.20251, 2026-05-18. Locator: https://arxiv.org/abs/2605.20251 — final outcomeだけではmulti-step agentのprocess defectを捉えにくいこと、trajectory representationとprocess-level scorecardの診断価値を独立研究として支持。annotation dependence、partial observability、外部妥当性は限界として残す。\n- ＠IT / ITmedia, 2026-09-29, JetBrains報告の日本語解説。Locator: https://atmarkit.itmedia.co.jp/ait/spv/2609/29/news042.html — discovery/context source。新規claimの唯一根拠にはしない。\n- Current continuation canonical research artifact: Google Doc `1XpjZC_R1eHlIckvUaEaJ_mcj6YW6j0ihZ0b91z5vewU`, EA-011-REFRESH-20261006-R1 section. Base historical canonical: COMM-011-EA0011 / proposal lineage retained in EA_MASTER provenance."
    },
    {
      "heading": "Evaluation contract",
      "text": "### SUT_MANIFEST\n比較対象をmodel名だけにしない。\n- model/provider/version or pinned identifier\n- system/developer/user prompt revision\n- retrieval corpus/index/version\n- tool set / tool versions / tool permissions\n- runtime / agent scaffold / orchestration version\n- context and memory policy\n- retry / timeout / budget policy\n- region / availability / product mode where relevant\n\n同じmodelでもscaffoldやtool、permission、retrievalが変われば別SUTとして扱う。\n\n### FIXTURE_MANIFEST\n- FIXTURE_ID / VERSION\n- task class / business criticality\n- initial authoritative state\n- input artifact/data references and hashes\n- allowed operations / forbidden effects\n- expected outcome / acceptable variation\n- validation oracle / readback source\n- sensitivity / access boundary\n- holdout / contamination controls\n\nprivate fixtureは万能golden setではない。version、coverage、criticality、provenanceを持つliving artifactとして更新する。\n\n### TRIAL_RECORD\n- TRIAL_ID\n- SUT_MANIFEST ref\n- FIXTURE_MANIFEST ref\n- start/end time\n- observable TRACE refs\n- final OUTCOME refs\n- grader versions\n- cost / latency / token / tool/API usage\n- environment or harness failure code\n\n### TRACE\n保存対象はprivate reasoningではなく観測可能な挙動である。\n- tool call / tool result locator\n- retrieval/file access locator\n- command / test execution\n- artifact edit / diff\n- retry / error / timeout\n- state transition / approval / readback\n- externally visible side effect\n\ntrace retentionはprivacy/security境界を持ち、secret、PII、不要なraw transcriptを無制限保存しない。"
    },
    {
      "heading": "Result profile",
      "text": "単一総合点へ潰さず、最低限次を別軸で保持する。\n\n### OUTCOME\n- task success / partial completion\n- required final state achieved\n- authoritative readback passed\n- critical invariant violation\n\n### EFFICIENCY\n- latency\n- token / model calls\n- tool/API calls\n- retries / failed loops\n- test/build/judge executions\n- monetary cost\n\n### ARTIFACT QUALITY\ncodingではpatch correctness、scope、不要変更、maintainability。文書では要求充足、差分妥当性、citation。表計算ではcell/formula/format差分。DB/APIではside-effect範囲と最終stateを用いる。\n\n### PROCESS QUALITY\n- required validation executed\n- authoritative stateをreadbackしたか\n- unnecessary exploration / repeated failure loop\n- tool/permission boundary違反\n- stale assumptionの継続\n- evidence不足のまま自己完了したか"
    },
    {
      "heading": "Failure-stage diagnostics",
      "text": "失敗を一括してFAILにせず、改善先を切り分ける。\n- LOCALIZATION: 対象箇所・必要情報を特定できない\n- DIAGNOSIS: 原因や要求を誤る\n- IMPLEMENTATION: 修正・生成が不正\n- VALIDATION: test/readbackを実施しない、または誤判定\n- EFFECT: 外部副作用が期待状態と一致しない\n- GOVERNANCE: 権限・承認・policy・scope boundary違反\n- HARNESS_OR_FIXTURE: SUTではなくtest環境、fixture、oracle、judgeの欠陥\n\nfailure taxonomyはtask classに応じて拡張するが、異なるfailureを一つの平均scoreに埋めない。"
    },
    {
      "heading": "Deterministic metrics and semantic judge",
      "text": "検証可能なものは決定論的に取る。\n- schema / exact field / normalized value\n- unit/integration test\n- file/cell/document diff\n- DB/API authoritative state\n- permission/tool log\n- changed-target count\n- retry/tool count / latency / cost\n\n意味評価が必要な箇所だけLLM judgeまたはhuman rubricを使う。judgeのmodel、prompt、rubric、version、reference artifact、order、calibration setをprovenance化する。LLM judgeをground truthとみなさない。reference solutionやgolden patchへの過適合、position/order bias、rubric ambiguityを監査する。"
    },
    {
      "heading": "Benchmark interpretation",
      "text": "公開benchmarkのscoreは、そのbenchmark、harness、task distribution、scaffold、version、evaluation method上の観測値である。次を自動的には証明しない。\n- 組織固有taskで同じ順位になる\n- 別scaffold/toolで同じprocess profileになる\n- permission / security boundaryを守る\n- cost/latencyが組織SLOを満たす\n- non-coding taskへ同じ傾向が転移する\n- 最新provider product modeで同じ挙動になる\n\nしたがってleaderboardは候補探索・回帰probe・外部比較には使えるが、組織受入試験を置き換えない。"
    },
    {
      "heading": "Implementation implications",
      "text": "1. 変更ごとにSUT manifestを固定し、model aliasだけで比較履歴を持たない。\n2. business-critical journeyから再現可能fixtureを作り、initial stateとauthoritative oracleを固定する。\n3. final answerだけでなくartifact、tool side effect、readback、observable trajectoryをtrial IDへ結合する。\n4. deterministic evidenceを先に判定し、semantic judgeは限定領域へ分離する。\n5. judge変更をSUT変更と同様にversioned changeとして扱い、score discontinuityを説明可能にする。\n6. aggregate scoreとは別にcritical permission/safety failureをhard gateとして保持する。\n7. success率が同じSUT同士でもefficiency、artifact quality、process qualityを比較する。\n8. failure stage分布からprompt/scaffold/tool/fixture/oracleの改善先を切り分ける。\n9. private/holdout fixtureを開発ループへ常時露出させず、contaminationやshortcutを監視する。\n10. trial costにはinferenceだけでなくtool/API、test/build、judge、storage、human adjudication、maintenanceを含める。"
    },
    {
      "heading": "Counterevidence / limitations",
      "text": "- JetBrainsの具体的比較値とtrajectory profileはJunie scaffoldとcoding taskに依存し、別agentや非coding業務へそのまま一般化できない。\n- ProcBenchはprocess-level評価の独立支持になるが、annotation dependence、partial observability、broader external validation不足を残す。\n- observable trajectoryでも、観測されない内部state、external system state、hidden side effectを完全には表せない。\n- deterministic graderも仕様やoracleが誤れば誤判定する。\n- semantic judgeはbias、reference-solution bias、prompt/version driftを持つ。\n- private fixtureも既知caseへのoverfit、distribution drift、coverage gapを起こす。\n- repeated trialsでvarianceを測っても、将来のproduction distribution全体を保証しない。"
    },
    {
      "heading": "Security / privacy / audit / cost / operability",
      "text": "- traceにsecret、credential、PII、customer contentを無制限保持しない。必要なstructured evidence、hash、redacted locatorを優先する。\n- holdout answer、grader criteria、reference patchをSUTから隔離する。\n- tool permission testはisolated environment、least privilege、reversible fixtureを使う。\n- SUT manifest、fixture version、model/tool/runtime、trace、outcome oracle、grader provenance、reference artifact、cost-as-ofをtrial IDへ結合する。\n- inference tokenだけでなくtool/API、test/build、judge、storage、human adjudication、review burdenを別計上する。\n- profile悪化時にmodel能力、scaffold、tool、fixture/oracle、judgeのどこが変わったか切り分けられるversion provenanceを必須とする。"
    },
    {
      "heading": "OPEN_UNKNOWN",
      "text": "- JetBrains結果がJunie以外のagent scaffoldへどこまで一般化するか\n- codingで得たprocess profileが文書更新、表計算、RAG、業務tool agentへどこまで転移するか\n- process scorecardとincident rate / maintenance costの相関\n- privacy-preserving trace redactionによるdiagnostic information loss\n- organization-specific task mix、criticality、acceptance threshold、trial count\n- semantic judgeの最適な校正方式とreference-solution biasの扱い\n- tenant固有のprovider/model/tool/runtime挙動\n\nUNKNOWNを公開資料から推測で閉じない。組織固有値はfixture設計と実測で確定する。"
    },
    {
      "heading": "SAFE_WORDING",
      "text": "エージェント評価では、成功率だけでは実務上の差が消れる。同じ成功でも、必要な検証を行ったか、変更範囲が過剰でないか、無駄な探索や失敗ループがないか、所要時間と費用がどう違うかを別々に記録する。失敗も一括せず、問題箇所の発見、原因特定、実装、検証、実状態のreadbackのどこで止まったかを分ける。ただしtrajectory評価は特定のagent scaffold、task、tool、graderに依存し、modelそのものの普遍的な「性格」を証明するものではない。"
    }
  ],
  "human_url": "/tools/ea-011-enterprise-ai",
  "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-011-enterprise-ai",
  "json_url": "/agent/article.json?path=%2Ftools%2Fea-011-enterprise-ai"
}