本文へスキップ

AI運用の判断と根拠を引く

Enterprise AI運用辞典

トップへ戻る

Inspect AI

用語・参照用語・参照公式仕様のみ公式仕様のみ現行現行として扱う

記事状態: 公開 · 最終確認: 2026-09-30

要点

Inspect AIはモデルやagentをtask、solver、scorer等の構成で評価するframeworkである。実行結果を読む際は正誤、実行error、採点不能を区別し、得点とcoverageを併記する。frameworkと評価task集の改訂版も区別して保存する。

現在の判断

  • 公式scoring policyはモデルへの判定、scoring error、unscoredを区別する。judgeの構文の読み取り失敗と対象モデルの不正形式回答は同じ失敗ではない。[I1]
  • headline 評価指標だけでは評価できた範囲が分からない。実行設定と採点不能・errorの件数を保持する。[I1; operational 推論]
  • ログは追跡可能性を支える一方で、入出力等を含み得る情報資産である。[I2]
  • Inspect AI 実行環境とInspect Evals task collectionは別に固定する。旧調査のInspect Evals v0.22.0をframework最新版と取り違えない。[historical 出典]

どこまで当てはまるか

評価器の結果解釈、証跡、実行隔離を扱う。個別提供元の適合性、最新版番号、モデル間の優劣、組織の利用環境の規制適合は範囲外である。

詳しく理解する

対象範囲と前提

評価器の結果解釈、証跡、実行隔離を扱う。個別提供元の適合性、最新版番号、モデル間の優劣、組織の利用環境の規制適合は範囲外である。

根拠資料の対応表

ID一次資料・資料内の該当箇所日付と証拠範囲
I1UK AI Security Institute, Scoring Policy https://inspect.aisi.org.uk/scoring-policy.html2026-10-17 JST再確認。結果分類と集計の説明。導入バージョンでの再現は未実行。
I2UK AI Security Institute, Log Files https://inspect.aisi.org.uk/eval-logs.html同日再確認。ログ管理機能。組織の実際の保存設定は未確認。
I3UKGovernmentBEIS/inspect_ai, SECURITY.md https://github.com/UKGovernmentBEIS/inspect_ai/blob/main/SECURITY.md同日取得。外部コード等のtrust 適用限界。特定環境の安全性認証ではない。
I4inspect_ai issue 2628 https://github.com/UKGovernmentBEIS/inspect_ai/issues/26282025-10-16の再開後stats報告を再取得。結果の再利用されたopen表示を現行全バージョンの状態に一般化しない。

利用できる条件

実行前にframework、依存lock、dataset hash、対象モデルとAPI 改訂版、judge/scorer、prompt、再試行、同時実行数、thresholdを記録する。変更後は同じ名称の評価でも比較可能性を再判定する。認証情報、提供元利用条件、networkと実行budgetは環境別の成立条件である。

セキュリティとプライバシー

評価対象の入力と出力、judgeへの送信、実行ログを別々のデータ経路として管理する。機密データの利用可否、保管先、アクセス権、保存期間は組織側で確認する。追加judgeや再試行は費用と待ち時間を増やす。外部コード、ツール、生成プログラムには最小権限と隔離を適用する。

確認・評価方法

本候補で実行したのはMarkdownからArticleへの実際の投影、データ形式の定義、章とURLの保持、未確認事項保持、候補主体の識別とhashの静的検証である。製品実行環境、外部モデル、性能比較は未実行。実行評価では正答・誤答・judge異常・提供元異常を含む固定fixtureを使い、raw結果と集計分母を保存する。本候補の内容は実行性能や本番適合性を保証しない。

CURRENTNESS AND AUDIT BOUNDARY

原調査は2026-09-30の記録を保持し、2026-10-17 JSTに公開する中心命題に必要な一次資料を限定再確認した。旧資料のlatest 公開・提供表記を現在値へ流用しない。最新版番号、組織の利用環境契約、独立比較の未確認事項は閉じない。これは既存migration 改訂版の出典 joinと候補完成であり、独立監査PASS、READY、公開承認を意味しない。

確認できていること

  • 公式scoring policyはモデルへの判定、scoring error、unscoredを区別する。judgeの構文の読み取り失敗と対象モデルの不正形式回答は同じ失敗ではない。[I1]

  • headline 評価指標だけでは評価できた範囲が分からない。実行設定と採点不能・errorの件数を保持する。[I1; operational 推論]

  • ログは追跡可能性を支える一方で、入出力等を含み得る情報資産である。[I2]

  • Inspect AI 実行環境とInspect Evals task collectionは別に固定する。旧調査のInspect Evals v0.22.0をframework最新版と取り違えない。[historical 出典]

よくある失敗・反証

  • 同じtask名でもsolver、scorer、judge、dataset、再試行条件が違えば同じ実験とは限らない。採点不能を除外した得点はcoverageと一緒に読む必要がある。中断再開時のstats問題はissue報告の範囲に限定し、現行バージョンへの適用は未確認事項とする。機能が用意されていることは、ある実行で承認や隔離が有効だった証拠にはならない。

実務での使い方

  • 実行前にframework、依存lock、dataset hash、対象モデルとAPI 改訂版、judge/scorer、prompt、再試行、同時実行数、thresholdを記録する。変更後は同じ名称の評価でも比較可能性を再判定する。認証情報、提供元利用条件、networkと実行budgetは環境別の成立条件である。

  • 評価対象の入力と出力、judgeへの送信、実行ログを別々のデータ経路として管理する。機密データの利用可否、保管先、アクセス権、保存期間は組織側で確認する。追加judgeや再試行は費用と待ち時間を増やす。外部コード、ツール、生成プログラムには最小権限と隔離を適用する。

  • 本候補で実行したのはMarkdownからArticleへの実際の投影、データ形式の定義、章とURLの保持、未確認事項保持、候補主体の識別とhashの静的検証である。製品実行環境、外部モデル、性能比較は未実行。実行評価では正答・誤答・judge異常・提供元異常を含む固定fixtureを使い、raw結果と集計分母を保存する。本候補の内容は実行性能や本番適合性を保証しない。

  • 原調査は2026-09-30の記録を保持し、2026-10-17 JSTに公開する中心命題に必要な一次資料を限定再確認した。旧資料のlatest 公開・提供表記を現在値へ流用しない。最新版番号、組織の利用環境契約、独立比較の未確認事項は閉じない。これは既存migration 改訂版の出典 joinと候補完成であり、独立監査PASS、READY、公開承認を意味しない。

まだ確認できていないこと

  • EA-178-UNKNOWN-01

    実際に導入するinspect_ai/Python版とtask 改訂版、issue 2628の現行版への適用、提供元固有の裏付け、組織のlog保存と保持期間、独立比較性能、旧薄稿のhistorical 資料内の該当箇所は未確認である。実行環境テスト未実行を隠さず、実行時のlockとraw log取得を次の確認条件にする。

根拠資料

更新履歴

  1. EA-178-V21-LEGACY-MIGRATION-20261003-R1: 正式な 監査/publication 対応付け

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
EA-178
最終確認日
2026-09-30
提供元・モデル・プラン・利用環境
—
対象地域
—
元資料の全文と収録照合記録
PUBLIC_CLAIM

Inspect AIはmodelやagentをtask、solver、scorer等の構成で評価するframeworkである。実行結果を読む際は正誤、実行error、採点不能を区別し、得点とcoverageを併記する。frameworkと評価task集のrevisionも区別して保存する。

SCOPE

評価器の結果解釈、証跡、実行隔離を扱う。個別providerの適合性、最新版番号、モデル間の優劣、tenantの規制適合は範囲外である。

FINDINGS
  • 公式scoring policyはmodelへの判定、scoring error、unscoredを区別する。judgeのparse失敗と対象modelの不正形式回答は同じ失敗ではない。[I1]
  • headline metricだけでは評価できた範囲が分からない。run設定と採点不能・errorの件数を保持する。[I1; operational inference]
  • ログは追跡可能性を支える一方で、入出力等を含み得る情報資産である。[I2]
  • Inspect AI runtimeとInspect Evals task collectionは別に固定する。旧調査のInspect Evals v0.22.0をframework最新版と取り違えない。[historical source]
EVIDENCE_TABLE
ID一次資料・locator日付と証拠範囲
I1UK AI Security Institute, Scoring Policy https://inspect.aisi.org.uk/scoring-policy.html2026-10-17 JST再確認。結果分類と集計の説明。導入versionでの再現は未実行。
I2UK AI Security Institute, Log Files https://inspect.aisi.org.uk/eval-logs.html同日再確認。ログ管理機能。組織の実際の保存設定は未確認。
I3UKGovernmentBEIS/inspect_ai, SECURITY.md https://github.com/UKGovernmentBEIS/inspect_ai/blob/main/SECURITY.md同日取得。外部コード等のtrust boundary。特定環境の安全性認証ではない。
I4inspect_ai issue 2628 https://github.com/UKGovernmentBEIS/inspect_ai/issues/26282025-10-16の再開後stats報告を再取得。cacheされたopen表示を現行全versionの状態に一般化しない。
COUNTEREVIDENCE_AND_FAILURE_ENVELOPE

同じtask名でもsolver、scorer、judge、dataset、retry条件が違えば同じ実験とは限らない。採点不能を除外した得点はcoverageと一緒に読む必要がある。中断再開時のstats問題はissue報告の範囲に限定し、現行versionへの適用はUNKNOWNとする。機能が用意されていることは、あるrunでapprovalや隔離が有効だった証拠にはならない。

OPEN_UNKNOWN

実際に導入するinspect_ai/Python版とtask revision、issue 2628の現行版への適用、provider固有のsupport、組織のlog保存と保持期間、独立比較性能、旧薄稿のhistorical locatorは未確認である。runtimeテスト未実行を隠さず、実行時のlockとraw log取得を次の確認条件にする。

AVAILABILITY_AND_REPRODUCIBILITY

実行前にframework、依存lock、dataset hash、対象modelとAPI revision、judge/scorer、prompt、retry、concurrency、thresholdを記録する。変更後は同じ名称の評価でも比較可能性を再判定する。認証情報、provider利用条件、networkと実行budgetは環境別の成立条件である。

SECURITY_PRIVACY_COST_OPERABILITY

評価対象の入力と出力、judgeへの送信、実行ログを別々のデータ経路として管理する。機密データの利用可否、保管先、アクセス権、保存期間は組織側で確認する。追加judgeやretryは費用と待ち時間を増やす。外部コード、tool、生成プログラムには最小権限と隔離を適用する。

TEST_PROFILE

本候補で実行したのはMarkdownからArticleへの実際の投影、schema、章とURLの保持、UNKNOWN保持、候補identityとhashの静的検証である。製品runtime、外部model、性能比較は未実行。実行評価では正答・誤答・judge異常・provider異常を含む固定fixtureを使い、raw結果と集計分母を保存する。本候補の内容は実行性能や本番適合性を保証しない。

CURRENTNESS_AND_AUDIT_BOUNDARY

原調査は2026-09-30の記録を保持し、2026-10-17 JSTに公開する中心命題に必要な一次資料を限定再確認した。旧資料のlatest release表記を現在値へ流用しない。最新版番号、tenant契約、独立比較のUNKNOWNは閉じない。これは既存migration revisionのsource joinと候補完成であり、独立監査PASS、READY、公開承認を意味しない。

  • EVD-EA-178-URL-A419E196BB51研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    | I1 | UK AI Security Institute, Scoring Policy

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-178-URL-A419E196BB51
    検証箇所
    EVIDENCE_TABLE · | I1 | UK AI Security Institute, Scoring Policy https://inspect.aisi.org.uk/scoring-policy.html
    適用範囲
    EVIDENCE_TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-178-URL-41CFE02FB987研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    | I2 | UK AI Security Institute, Log Files

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-178-URL-41CFE02FB987
    検証箇所
    EVIDENCE_TABLE · | I2 | UK AI Security Institute, Log Files https://inspect.aisi.org.uk/eval-logs.html
    適用範囲
    EVIDENCE_TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-178-URL-FA8EF0EE3794研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    | I3 | UKGovernmentBEIS/inspect_ai, SECURITY.md

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-178-URL-FA8EF0EE3794
    検証箇所
    EVIDENCE_TABLE · | I3 | UKGovernmentBEIS/inspect_ai, SECURITY.md https://github.com/UKGovernmentBEIS/inspect_ai/blob/main/SECURITY.md
    適用範囲
    EVIDENCE_TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-178-URL-3440C412912B研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    | I4 | inspect_ai issue 2628

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-178-URL-3440C412912B
    検証箇所
    EVIDENCE_TABLE · | I4 | inspect_ai issue 2628 https://github.com/UKGovernmentBEIS/inspect_ai/issues/2628
    適用範囲
    EVIDENCE_TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EA-178-CURRENT-APPROVAL研究資料研究資料根拠の出所: AUDITED_CANONICAL_RESEARCH_PACKET

    現行本文の監査・revision対応

    裏付ける内容
    現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。
    確認日
    —
    出典・実験ID
    RESCUE-EA178-20261017-C1
    検証箇所
    1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER!A11:U11 · EA_REVISION_LEDGER!A11:U11 · EA-178-V21-LEGACY-MIGRATION-20261003-R1
    適用範囲
    —
    出典・来歴
    CURRENT_CANONICAL_APPROVAL_READBACK
    限界
    監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。
  • EA-178-CURRENT-BODY-READBACK実装資料実装資料根拠の出所: IMPLEMENTATION_READBACK

    現行本文の収録照合

    裏付ける内容
    公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。
    確認日
    2026-10-18
    出典・実験ID
    BODY-SHA256:cdb22e7e91b8d486a066eedf3bc2e2f9c672b1d0339e80abbb3dd8851a890d80
    検証箇所
    content/staging/EA-178.md · cdb22e7e91b8d486a066eedf3bc2e2f9c672b1d0339e80abbb3dd8851a890d80 · EA-178-V21-LEGACY-MIGRATION-20261003-R1
    適用範囲
    —
    出典・来歴
    CURRENT_APPROVED_BODY_HASH_MATCH
    限界
    本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。
出典ID
RESCUE-EA178-20261017-C1, SRC-EA-178-URL-A419E196BB51, SRC-EA-178-URL-41CFE02FB987, SRC-EA-178-URL-FA8EF0EE3794, SRC-EA-178-URL-3440C412912B, BODY-SHA256:cdb22e7e91b8d486a066eedf3bc2e2f9c672b1d0339e80abbb3dd8851a890d80
追跡中のUNKNOWN ID
EA-178-UNKNOWN-01
再確認のきっかけ
正式な 改訂版/publication 状態 change · 本文 成果物 hash change · 出典 現行性 change · new contradiction or 実装 結果の照合

機械検査: 通過 — 機械検査の結果です。情報の正確性や実行の承認を保証するものではありません。

    同じ記事IDの機械可読データです。