# Business Task Benchmark Library CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-111-business-task-benchmark-library CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-111-URL-FC3078F3C2BA, EVD-EA-111-URL-AC757EE4E5DE, EA-111-R11-RESEARCH, EA-111-R11-WEB-READBACK UNKNOWN_IDS: EA-111-UNKNOWN-01, EA-111-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「Inspectはdataset・solver・scorer・agent/tool・sandboxを組み合わせる評価実装の選択肢である。企業の業務品質を示すbenchmark libraryは、業務fixture、権限境界、禁止副作用、採点基準、human reviewを組織側で定義して初めて成立し、Inspectの既成eval数だけでは業務保証にならない。」 ## Current judgment Inspectの一次Docsは、業務タスクをdataset（input/target等）、solver（単純生成からtoolを使うagent）、scorer（比較・model grading・custom）に分けてTaskとして再利用でき、agent evaluationではsandboxを選べることを確立する。これはbenchmarkを作る実装骨格の証拠である。一方、200+ evalsの存在は、メール・Sheets・Docs・検索/RAG・codeの各業務fixtureが同じ品質基準で揃っていること、また結果が企業業務成功率を表すことを確立しない。Inspectは評価器であって、業務要件・権限・正解データ・provider差を自動で決めるものではない。 ## Scope benchmark / evaluation / implementation / interoperability ## Confirmed - Inspectの一次Docsは、業務タスクをdataset（input/target等）、solver（単純生成からtoolを使うagent）、scorer（比較・model grading・custom）に分けてTaskとして再利用でき、agent evaluationではsandboxを選べることを確立する。これはbenchmarkを作る実装骨格の証拠である。一方、200+ evalsの存在は、メール・Sheets・Docs・検索/RAG・codeの各業務fixtureが同じ品質基準で揃っていること、また結果が企業業務成功率を表すことを確立しない。Inspectは評価器であって、業務要件・権限・正解データ・provider差を自動で決めるものではない。 ## UNKNOWN - EA-111-UNKNOWN-01: 企業業務fixtureの横断標準、RAG/検索のground-truth設計、judge agreement、各providerのtool trace完全性、Inspect現行releaseと互換性。 - EA-111-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-111-URL-FC3078F3C2BA (RESEARCH): source class: author-maintained implementation documentation; exact title: Inspect; author/org: UK AI Security Institute and Meridian Labs; canonical URL: — https://inspect.aisi.org.uk/ - EVD-EA-111-URL-AC757EE4E5DE (RESEARCH): source class: official risk-management framework page; exact title: AI Risk Management Framework; author/org: NIST; canonical URL: — https://airc.nist.gov/airmf-resources/ - EA-111-R11-RESEARCH (RESEARCH): EA-111 監査済みresearch / canonical revision binding - EA-111-R11-WEB-READBACK (IMPL): EA-111 Web body identity / canonical readback ## Failure / limits model-graded scorerはjudge bias/評価漏れを含み得る。業務の正解が複数ある場合、文字一致だけでは不十分。sandbox内の成功は本番権限・外部API・tenant dataへの安全性を証明しない。Docsの「200+」は更新で変わるため固定値にしない。 ## Failure / limits pre-built evalの件数や単一runのscoreを、企業業務全体・全provider・本番安全性へ外挿しない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## Practice 公開DocsとOSS frameworkは無認証で閲覧可。実行には環境、モデルprovider/API key、依存package、sandbox runtimeが必要。企業データ・外部connector・認証済みWorkspaceへの実行は本Packetの範囲外。 ## Practice 業務fixture schema（入力、前提、許可tool、期待状態、禁止副作用、証拠ログ、scorer、human review）を設計する段階。Inspect上での実行は未実施。 ## Practice 一業務一fixtureで、①タスク達成、②禁止副作用、③引用/根拠、④tool sequence、⑤人間承認、⑥再試行時の復旧を別scoreにする。pass/failだけでなくunknownとabstainを保存し、model leaderboardへ変換しない。実測なし。 ## Practice SECURITY/PRIVACY: synthetic fixtureとsandboxを先行。AUDIT: dataset/solver/scorer/package/model/config/run logを固定。COST: 試行回数、tool call、judge callを計上。OPERABILITY: version lock、seed/config保存、failure artifact保全、再実行可能なCLIを必要条件とする。 ## Practice 次回はEA-111の業務カテゴリごとに、最小synthetic fixtureを一件ずつ作り、同一model/configと複数model/providerで同じscorerを走らせるTEST_PROFILEを追加する。実データ接続は後続の承認済みWorkへ分離する。 ## Practice Inspect-style evaluation framework capabilities/pre-built eval counts are PRODUCT_VOLATILE and do not define enterprise business truth. ## WHY_THIS_MATTERS_TO_UPDATE Email、Sheets、Docs、検索/RAG、codeの業務タスクを共通fixtureで比較できる棚が必要であり、製品デモや単一ベンチマークを業務品質保証へ外挿しないための評価単位を作る。 ## SCOPE_ROUTING benchmark / evaluation / implementation / interoperability ## CLAIM_OR_RESEARCH_QUESTION 再利用可能なbusiness-task benchmarkを、dataset・solver/agent・scorer・sandbox・logの分離で設計できるか。Inspectの提供機能は業務成功を保証するか。 ## EVIDENCE TABLE - source class: author-maintained implementation documentation; exact title: Inspect; author/org: UK AI Security Institute and Meridian Labs; canonical URL: https://inspect.aisi.org.uk/; publication/update/access: current documentation crawled/accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: page does not expose a pinned package release; current docs state retained as PRODUCT_VOLATILE; supporting locator: lines 150-164（framework、broad evaluation domains、composable datasets/agents/tools/scorers、200+ pre-built evals、sandbox） and 195-200（dataset/solver/scorer）; evidence label: OSS_PRACTICE + PRODUCT_VOLATILE; relation: support / limit. - source class: official risk-management framework page; exact title: AI Risk Management Framework; author/org: NIST; canonical URL: https://airc.nist.gov/airmf-resources/; publication/update/access: AI RMF 1.0 page, accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: AI RMF 1.0; supporting locator: lines 58-63（Measure、context-specific Profiles）; evidence label: VERIFIED_SPEC + PRODUCT_VOLATILE; relation: context / limit. ## FINDINGS Inspectの一次Docsは、業務タスクをdataset（input/target等）、solver（単純生成からtoolを使うagent）、scorer（比較・model grading・custom）に分けてTaskとして再利用でき、agent evaluationではsandboxを選べることを確立する。これはbenchmarkを作る実装骨格の証拠である。一方、200+ evalsの存在は、メール・Sheets・Docs・検索/RAG・codeの各業務fixtureが同じ品質基準で揃っていること、また結果が企業業務成功率を表すことを確立しない。Inspectは評価器であって、業務要件・権限・正解データ・provider差を自動で決めるものではない。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE model-graded scorerはjudge bias/評価漏れを含み得る。業務の正解が複数ある場合、文字一致だけでは不十分。sandbox内の成功は本番権限・外部API・tenant dataへの安全性を証明しない。Docsの「200+」は更新で変わるため固定値にしない。 ## AVAILABILITY_GATES 公開DocsとOSS frameworkは無認証で閲覧可。実行には環境、モデルprovider/API key、依存package、sandbox runtimeが必要。企業データ・外部connector・認証済みWorkspaceへの実行は本Packetの範囲外。 ## IMPLEMENTATION_STATE 業務fixture schema（入力、前提、許可tool、期待状態、禁止副作用、証拠ログ、scorer、human review）を設計する段階。Inspect上での実行は未実施。 ## BENCHMARK_OR_EVAL 一業務一fixtureで、①タスク達成、②禁止副作用、③引用/根拠、④tool sequence、⑤人間承認、⑥再試行時の復旧を別scoreにする。pass/failだけでなくunknownとabstainを保存し、model leaderboardへ変換しない。実測なし。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY SECURITY/PRIVACY: synthetic fixtureとsandboxを先行。AUDIT: dataset/solver/scorer/package/model/config/run logを固定。COST: 試行回数、tool call、judge callを計上。OPERABILITY: version lock、seed/config保存、failure artifact保全、再実行可能なCLIを必要条件とする。 ## SAFE_WORDING_FOR_FUTURE_BOOK 「Inspectはdataset・solver・scorer・agent/tool・sandboxを組み合わせる評価実装の選択肢である。企業の業務品質を示すbenchmark libraryは、業務fixture、権限境界、禁止副作用、採点基準、human reviewを組織側で定義して初めて成立し、Inspectの既成eval数だけでは業務保証にならない。」 ## UPDATE_WORK_HANDOFF 次回はEA-111の業務カテゴリごとに、最小synthetic fixtureを一件ずつ作り、同一model/configと複数model/providerで同じscorerを走らせるTEST_PROFILEを追加する。実データ接続は後続の承認済みWorkへ分離する。 ## OPEN_UNKNOWN 企業業務fixtureの横断標準、RAG/検索のground-truth設計、judge agreement、各providerのtool trace完全性、Inspect現行releaseと互換性。 ## STOP_CONDITION pre-built evalの件数や単一runのscoreを、企業業務全体・全provider・本番安全性へ外挿しない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## AUDITED_CURRENTNESS_BOUNDARY Inspect-style evaluation framework capabilities/pre-built eval counts are PRODUCT_VOLATILE and do not define enterprise business truth. NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.