業務ごとの比較試験集

Email、Sheets、Docs、検索/RAG、codeの業務タスクを共通fixtureで比較できる棚が必要であり、製品デモや単一ベンチマークを業務品質保証へ外挿しないための評価単位を作る。

benchmark / evaluation / implementation / interoperability

再利用可能なbusiness-task benchmarkを、dataset・solver/agent・scorer・sandbox・logの分離で設計できるか。Inspectの提供機能は業務成功を保証するか。

• source class: author-maintained implementation documentation; exact title: Inspect; author/org: UK AI Security Institute and Meridian Labs; canonical URL: https://inspect.aisi.org.uk/ publication/update/access: current documentation crawled/accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: page does not expose a pinned package release; current docs state retained as PRODUCT_VOLATILE; supporting locator: lines 150-164（framework、broad evaluation domains、composable datasets/agents/tools/scorers、200+ pre-built evals、sandbox） and 195-200（dataset/solver/scorer）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit.
• source class: official risk-management framework page; exact title: AI Risk Management Framework; author/org: NIST; canonical URL: https://airc.nist.gov/airmf-resources/ publication/update/access: AI RMF 1.0 page, accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: AI RMF 1.0; supporting locator: lines 58-63（Measure、context-specific Profiles）; evidence label: VERIFIED_SPEC + PRODUCT_VOLATILE; relation: context / limit.

Inspectの一次Docsは、業務タスクをdataset（input/target等）、solver（単純生成からtoolを使うagent）、scorer（比較・model grading・custom）に分けてTaskとして再利用でき、agent evaluationではsandboxを選べることを確立する。これはbenchmarkを作る実装骨格の証拠である。一方、200+ evalsの存在は、メール・Sheets・Docs・検索/RAG・codeの各業務fixtureが同じ品質基準で揃っていること、また結果が企業業務成功率を表すことを確立しない。Inspectは評価器であって、業務要件・権限・正解データ・provider差を自動で決めるものではない。

model-graded scorerはjudge bias/評価漏れを含み得る。業務の正解が複数ある場合、文字一致だけでは不十分。sandbox内の成功は本番権限・外部API・tenant dataへの安全性を証明しない。Docsの「200+」は更新で変わるため固定値にしない。

公開DocsとOSS frameworkは無認証で閲覧可。実行には環境、モデルprovider/API key、依存package、sandbox runtimeが必要。企業データ・外部connector・認証済みWorkspaceへの実行は本Packetの範囲外。

業務fixture schema（入力、前提、許可tool、期待状態、禁止副作用、証拠ログ、scorer、human review）を設計する段階。Inspect上での実行は未実施。

一業務一fixtureで、①タスク達成、②禁止副作用、③引用/根拠、④tool sequence、⑤人間承認、⑥再試行時の復旧を別scoreにする。pass/failだけでなくunknownとabstainを保存し、model leaderboardへ変換しない。実測なし。

SECURITY/PRIVACY: synthetic fixtureとsandboxを先行。AUDIT: dataset/solver/scorer/package/model/config/run logを固定。COST: 試行回数、tool call、judge callを計上。OPERABILITY: version lock、seed/config保存、failure artifact保全、再実行可能なCLIを必要条件とする。

「Inspectはdataset・solver・scorer・agent/tool・sandboxを組み合わせる評価実装の選択肢である。企業の業務品質を示すbenchmark libraryは、業務fixture、権限境界、禁止副作用、採点基準、human reviewを組織側で定義して初めて成立し、Inspectの既成eval数だけでは業務保証にならない。」

次回はEA-111の業務カテゴリごとに、最小synthetic fixtureを一件ずつ作り、同一model/configと複数model/providerで同じscorerを走らせるTEST_PROFILEを追加する。実データ接続は後続の承認済みWorkへ分離する。

企業業務fixtureの横断標準、RAG/検索のground-truth設計、judge agreement、各providerのtool trace完全性、Inspect現行releaseと互換性。

pre-built evalの件数や単一runのscoreを、企業業務全体・全provider・本番安全性へ外挿しない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED

---

Inspect-style evaluation framework capabilities/pre-built eval counts are PRODUCT_VOLATILE and do not define enterprise business truth.