# Inspect AI

CURRENT_STATUS: CURRENT
OBSERVATION: SPEC_ONLY
FRESHNESS: CURRENT
PAGE_TYPE: reference
CANONICAL_URL: /tools/ea-178-inspect-ai
CLAIM_IDS: none
EVIDENCE_IDS: EVD-EA-178-URL-A419E196BB51, EVD-EA-178-URL-41CFE02FB987, EVD-EA-178-URL-FA8EF0EE3794, EVD-EA-178-URL-3440C412912B, EA-178-CURRENT-APPROVAL, EA-178-CURRENT-BODY-READBACK
UNKNOWN_IDS: EA-178-UNKNOWN-01
OPS_IDS: none

## Summary
Inspect AIはmodelやagentをtask、solver、scorer等の構成で評価するframeworkである。実行結果を読む際は正誤、実行error、採点不能を区別し、得点とcoverageを併記する。frameworkと評価task集のrevisionも区別して保存する。

## Current judgment
- 公式scoring policyはmodelへの判定、scoring error、unscoredを区別する。judgeのparse失敗と対象modelの不正形式回答は同じ失敗ではない。[I1]
- headline metricだけでは評価できた範囲が分からない。run設定と採点不能・errorの件数を保持する。[I1; operational inference]
- ログは追跡可能性を支える一方で、入出力等を含み得る情報資産である。[I2]
- Inspect AI runtimeとInspect Evals task collectionは別に固定する。旧調査のInspect Evals v0.22.0をframework最新版と取り違えない。[historical source]

## Scope
評価器の結果解釈、証跡、実行隔離を扱う。個別providerの適合性、最新版番号、モデル間の優劣、tenantの規制適合は範囲外である。

## Confirmed
- 公式scoring policyはmodelへの判定、scoring error、unscoredを区別する。judgeのparse失敗と対象modelの不正形式回答は同じ失敗ではない。[I1]
- headline metricだけでは評価できた範囲が分からない。run設定と採点不能・errorの件数を保持する。[I1; operational inference]
- ログは追跡可能性を支える一方で、入出力等を含み得る情報資産である。[I2]
- Inspect AI runtimeとInspect Evals task collectionは別に固定する。旧調査のInspect Evals v0.22.0をframework最新版と取り違えない。[historical source]

## UNKNOWN
- EA-178-UNKNOWN-01: 実際に導入するinspect_ai/Python版とtask revision、issue 2628の現行版への適用、provider固有のsupport、組織のlog保存と保持期間、独立比較性能、旧薄稿のhistorical locatorは未確認である。runtimeテスト未実行を隠さず、実行時のlockとraw log取得を次の確認条件にする。

## Evidence
- EVD-EA-178-URL-A419E196BB51 (RESEARCH): | I1 | UK AI Security Institute, Scoring Policy — https://inspect.aisi.org.uk/scoring-policy.html
- EVD-EA-178-URL-41CFE02FB987 (RESEARCH): | I2 | UK AI Security Institute, Log Files — https://inspect.aisi.org.uk/eval-logs.html
- EVD-EA-178-URL-FA8EF0EE3794 (RESEARCH): | I3 | UKGovernmentBEIS/inspect_ai, SECURITY.md — https://github.com/UKGovernmentBEIS/inspect_ai/blob/main/SECURITY.md
- EVD-EA-178-URL-3440C412912B (RESEARCH): | I4 | inspect_ai issue 2628 — https://github.com/UKGovernmentBEIS/inspect_ai/issues/2628
- EA-178-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応
- EA-178-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合

## Failure / limits
同じtask名でもsolver、scorer、judge、dataset、retry条件が違えば同じ実験とは限らない。採点不能を除外した得点はcoverageと一緒に読む必要がある。中断再開時のstats問題はissue報告の範囲に限定し、現行versionへの適用はUNKNOWNとする。機能が用意されていることは、あるrunでapprovalや隔離が有効だった証拠にはならない。
## Practice
実行前にframework、依存lock、dataset hash、対象modelとAPI revision、judge/scorer、prompt、retry、concurrency、thresholdを記録する。変更後は同じ名称の評価でも比較可能性を再判定する。認証情報、provider利用条件、networkと実行budgetは環境別の成立条件である。
## Practice
評価対象の入力と出力、judgeへの送信、実行ログを別々のデータ経路として管理する。機密データの利用可否、保管先、アクセス権、保存期間は組織側で確認する。追加judgeやretryは費用と待ち時間を増やす。外部コード、tool、生成プログラムには最小権限と隔離を適用する。
## Practice
本候補で実行したのはMarkdownからArticleへの実際の投影、schema、章とURLの保持、UNKNOWN保持、候補identityとhashの静的検証である。製品runtime、外部model、性能比較は未実行。実行評価では正答・誤答・judge異常・provider異常を含む固定fixtureを使い、raw結果と集計分母を保存する。本候補の内容は実行性能や本番適合性を保証しない。
## Practice
原調査は2026-09-30の記録を保持し、2026-10-17 JSTに公開する中心命題に必要な一次資料を限定再確認した。旧資料のlatest release表記を現在値へ流用しない。最新版番号、tenant契約、独立比較のUNKNOWNは閉じない。これは既存migration revisionのsource joinと候補完成であり、独立監査PASS、READY、公開承認を意味しない。
## PUBLIC_CLAIM
Inspect AIはmodelやagentをtask、solver、scorer等の構成で評価するframeworkである。実行結果を読む際は正誤、実行error、採点不能を区別し、得点とcoverageを併記する。frameworkと評価task集のrevisionも区別して保存する。

## SCOPE
評価器の結果解釈、証跡、実行隔離を扱う。個別providerの適合性、最新版番号、モデル間の優劣、tenantの規制適合は範囲外である。

## FINDINGS
- 公式scoring policyはmodelへの判定、scoring error、unscoredを区別する。judgeのparse失敗と対象modelの不正形式回答は同じ失敗ではない。[I1]
- headline metricだけでは評価できた範囲が分からない。run設定と採点不能・errorの件数を保持する。[I1; operational inference]
- ログは追跡可能性を支える一方で、入出力等を含み得る情報資産である。[I2]
- Inspect AI runtimeとInspect Evals task collectionは別に固定する。旧調査のInspect Evals v0.22.0をframework最新版と取り違えない。[historical source]

## EVIDENCE_TABLE
| ID | 一次資料・locator | 日付と証拠範囲 |
|---|---|---|
| I1 | UK AI Security Institute, Scoring Policy https://inspect.aisi.org.uk/scoring-policy.html | 2026-10-17 JST再確認。結果分類と集計の説明。導入versionでの再現は未実行。 |
| I2 | UK AI Security Institute, Log Files https://inspect.aisi.org.uk/eval-logs.html | 同日再確認。ログ管理機能。組織の実際の保存設定は未確認。 |
| I3 | UKGovernmentBEIS/inspect_ai, SECURITY.md https://github.com/UKGovernmentBEIS/inspect_ai/blob/main/SECURITY.md | 同日取得。外部コード等のtrust boundary。特定環境の安全性認証ではない。 |
| I4 | inspect_ai issue 2628 https://github.com/UKGovernmentBEIS/inspect_ai/issues/2628 | 2025-10-16の再開後stats報告を再取得。cacheされたopen表示を現行全versionの状態に一般化しない。 |

## COUNTEREVIDENCE_AND_FAILURE_ENVELOPE
同じtask名でもsolver、scorer、judge、dataset、retry条件が違えば同じ実験とは限らない。採点不能を除外した得点はcoverageと一緒に読む必要がある。中断再開時のstats問題はissue報告の範囲に限定し、現行versionへの適用はUNKNOWNとする。機能が用意されていることは、あるrunでapprovalや隔離が有効だった証拠にはならない。

## OPEN_UNKNOWN
実際に導入するinspect_ai/Python版とtask revision、issue 2628の現行版への適用、provider固有のsupport、組織のlog保存と保持期間、独立比較性能、旧薄稿のhistorical locatorは未確認である。runtimeテスト未実行を隠さず、実行時のlockとraw log取得を次の確認条件にする。

## AVAILABILITY_AND_REPRODUCIBILITY
実行前にframework、依存lock、dataset hash、対象modelとAPI revision、judge/scorer、prompt、retry、concurrency、thresholdを記録する。変更後は同じ名称の評価でも比較可能性を再判定する。認証情報、provider利用条件、networkと実行budgetは環境別の成立条件である。

## SECURITY_PRIVACY_COST_OPERABILITY
評価対象の入力と出力、judgeへの送信、実行ログを別々のデータ経路として管理する。機密データの利用可否、保管先、アクセス権、保存期間は組織側で確認する。追加judgeやretryは費用と待ち時間を増やす。外部コード、tool、生成プログラムには最小権限と隔離を適用する。

## TEST_PROFILE
本候補で実行したのはMarkdownからArticleへの実際の投影、schema、章とURLの保持、UNKNOWN保持、候補identityとhashの静的検証である。製品runtime、外部model、性能比較は未実行。実行評価では正答・誤答・judge異常・provider異常を含む固定fixtureを使い、raw結果と集計分母を保存する。本候補の内容は実行性能や本番適合性を保証しない。

## CURRENTNESS_AND_AUDIT_BOUNDARY
原調査は2026-09-30の記録を保持し、2026-10-17 JSTに公開する中心命題に必要な一次資料を限定再確認した。旧資料のlatest release表記を現在値へ流用しない。最新版番号、tenant契約、独立比較のUNKNOWNは閉じない。これは既存migration revisionのsource joinと候補完成であり、独立監査PASS、READY、公開承認を意味しない。

NEXT: /agent/start.json
STOP: This is a knowledge projection, not an execution order.