{ "format": "agent-article-v0", "article_id": "EA-178", "canonical_url": "/tools/ea-178-inspect-ai", "page_type": "reference", "claim_ids": [], "evidence_ids": [ "EVD-EA-178-URL-A419E196BB51", "EVD-EA-178-URL-41CFE02FB987", "EVD-EA-178-URL-FA8EF0EE3794", "EVD-EA-178-URL-3440C412912B", "EA-178-CURRENT-APPROVAL", "EA-178-CURRENT-BODY-READBACK" ], "unknown_ids": [ "EA-178-UNKNOWN-01" ], "operational_object_ids": [], "provider": [], "models": [], "plans": [], "surfaces": [], "regions": [], "current_status": "CURRENT", "observation_status": "SPEC_ONLY", "freshness": "CURRENT", "last_verified": "2026-09-30", "supersedes": [], "superseded_by": [], "provenance": [ "RESCUE-EA178-20261017-C1", "SRC-EA-178-URL-A419E196BB51", "SRC-EA-178-URL-41CFE02FB987", "SRC-EA-178-URL-FA8EF0EE3794", "SRC-EA-178-URL-3440C412912B", "BODY-SHA256:cdb22e7e91b8d486a066eedf3bc2e2f9c672b1d0339e80abbb3dd8851a890d80" ], "article_sources": [ { "id": "EVD-EA-178-URL-A419E196BB51", "evidence_class": "RESEARCH", "title": "| I1 | UK AI Security Institute, Scoring Policy", "href": "https://inspect.aisi.org.uk/scoring-policy.html", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-178-URL-A419E196BB51" ], "supporting_locators": [ "EVIDENCE_TABLE", "| I1 | UK AI Security Institute, Scoring Policy https://inspect.aisi.org.uk/scoring-policy.html" ], "scope": "EVIDENCE_TABLE", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EVD-EA-178-URL-41CFE02FB987", "evidence_class": "RESEARCH", "title": "| I2 | UK AI Security Institute, Log Files", "href": "https://inspect.aisi.org.uk/eval-logs.html", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-178-URL-41CFE02FB987" ], "supporting_locators": [ "EVIDENCE_TABLE", "| I2 | UK AI Security Institute, Log Files https://inspect.aisi.org.uk/eval-logs.html" ], "scope": "EVIDENCE_TABLE", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EVD-EA-178-URL-FA8EF0EE3794", "evidence_class": "RESEARCH", "title": "| I3 | UKGovernmentBEIS/inspect_ai, SECURITY.md", "href": "https://github.com/UKGovernmentBEIS/inspect_ai/blob/main/SECURITY.md", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-178-URL-FA8EF0EE3794" ], "supporting_locators": [ "EVIDENCE_TABLE", "| I3 | UKGovernmentBEIS/inspect_ai, SECURITY.md https://github.com/UKGovernmentBEIS/inspect_ai/blob/main/SECURITY.md" ], "scope": "EVIDENCE_TABLE", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EVD-EA-178-URL-3440C412912B", "evidence_class": "RESEARCH", "title": "| I4 | inspect_ai issue 2628", "href": "https://github.com/UKGovernmentBEIS/inspect_ai/issues/2628", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-178-URL-3440C412912B" ], "supporting_locators": [ "EVIDENCE_TABLE", "| I4 | inspect_ai issue 2628 https://github.com/UKGovernmentBEIS/inspect_ai/issues/2628" ], "scope": "EVIDENCE_TABLE", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EA-178-CURRENT-APPROVAL", "evidence_class": "RESEARCH", "title": "現行本文の監査・revision対応", "supports": [ "現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。" ], "limit": "監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。", "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET", "source_or_experiment_ids": [ "RESCUE-EA178-20261017-C1" ], "supporting_locators": [ "1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER!A11:U11", "EA_REVISION_LEDGER!A11:U11", "EA-178-V21-LEGACY-MIGRATION-20261003-R1" ], "provenance_status": "CURRENT_CANONICAL_APPROVAL_READBACK" }, { "id": "EA-178-CURRENT-BODY-READBACK", "evidence_class": "IMPL", "title": "現行本文の収録照合", "supports": [ "公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。" ], "limit": "本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。", "checked_at": "2026-10-18", "origin_class": "IMPLEMENTATION_READBACK", "source_or_experiment_ids": [ "BODY-SHA256:cdb22e7e91b8d486a066eedf3bc2e2f9c672b1d0339e80abbb3dd8851a890d80" ], "supporting_locators": [ "content/staging/EA-178.md", "cdb22e7e91b8d486a066eedf3bc2e2f9c672b1d0339e80abbb3dd8851a890d80", "EA-178-V21-LEGACY-MIGRATION-20261003-R1" ], "provenance_status": "CURRENT_APPROVED_BODY_HASH_MATCH" } ], "research_sections": [ { "heading": "PUBLIC_CLAIM", "text": "Inspect AIはmodelやagentをtask、solver、scorer等の構成で評価するframeworkである。実行結果を読む際は正誤、実行error、採点不能を区別し、得点とcoverageを併記する。frameworkと評価task集のrevisionも区別して保存する。" }, { "heading": "SCOPE", "text": "評価器の結果解釈、証跡、実行隔離を扱う。個別providerの適合性、最新版番号、モデル間の優劣、tenantの規制適合は範囲外である。" }, { "heading": "FINDINGS", "text": "- 公式scoring policyはmodelへの判定、scoring error、unscoredを区別する。judgeのparse失敗と対象modelの不正形式回答は同じ失敗ではない。[I1]\n- headline metricだけでは評価できた範囲が分からない。run設定と採点不能・errorの件数を保持する。[I1; operational inference]\n- ログは追跡可能性を支える一方で、入出力等を含み得る情報資産である。[I2]\n- Inspect AI runtimeとInspect Evals task collectionは別に固定する。旧調査のInspect Evals v0.22.0をframework最新版と取り違えない。[historical source]" }, { "heading": "EVIDENCE_TABLE", "text": "| ID | 一次資料・locator | 日付と証拠範囲 |\n|---|---|---|\n| I1 | UK AI Security Institute, Scoring Policy https://inspect.aisi.org.uk/scoring-policy.html | 2026-10-17 JST再確認。結果分類と集計の説明。導入versionでの再現は未実行。 |\n| I2 | UK AI Security Institute, Log Files https://inspect.aisi.org.uk/eval-logs.html | 同日再確認。ログ管理機能。組織の実際の保存設定は未確認。 |\n| I3 | UKGovernmentBEIS/inspect_ai, SECURITY.md https://github.com/UKGovernmentBEIS/inspect_ai/blob/main/SECURITY.md | 同日取得。外部コード等のtrust boundary。特定環境の安全性認証ではない。 |\n| I4 | inspect_ai issue 2628 https://github.com/UKGovernmentBEIS/inspect_ai/issues/2628 | 2025-10-16の再開後stats報告を再取得。cacheされたopen表示を現行全versionの状態に一般化しない。 |" }, { "heading": "COUNTEREVIDENCE_AND_FAILURE_ENVELOPE", "text": "同じtask名でもsolver、scorer、judge、dataset、retry条件が違えば同じ実験とは限らない。採点不能を除外した得点はcoverageと一緒に読む必要がある。中断再開時のstats問題はissue報告の範囲に限定し、現行versionへの適用はUNKNOWNとする。機能が用意されていることは、あるrunでapprovalや隔離が有効だった証拠にはならない。" }, { "heading": "OPEN_UNKNOWN", "text": "実際に導入するinspect_ai/Python版とtask revision、issue 2628の現行版への適用、provider固有のsupport、組織のlog保存と保持期間、独立比較性能、旧薄稿のhistorical locatorは未確認である。runtimeテスト未実行を隠さず、実行時のlockとraw log取得を次の確認条件にする。" }, { "heading": "AVAILABILITY_AND_REPRODUCIBILITY", "text": "実行前にframework、依存lock、dataset hash、対象modelとAPI revision、judge/scorer、prompt、retry、concurrency、thresholdを記録する。変更後は同じ名称の評価でも比較可能性を再判定する。認証情報、provider利用条件、networkと実行budgetは環境別の成立条件である。" }, { "heading": "SECURITY_PRIVACY_COST_OPERABILITY", "text": "評価対象の入力と出力、judgeへの送信、実行ログを別々のデータ経路として管理する。機密データの利用可否、保管先、アクセス権、保存期間は組織側で確認する。追加judgeやretryは費用と待ち時間を増やす。外部コード、tool、生成プログラムには最小権限と隔離を適用する。" }, { "heading": "TEST_PROFILE", "text": "本候補で実行したのはMarkdownからArticleへの実際の投影、schema、章とURLの保持、UNKNOWN保持、候補identityとhashの静的検証である。製品runtime、外部model、性能比較は未実行。実行評価では正答・誤答・judge異常・provider異常を含む固定fixtureを使い、raw結果と集計分母を保存する。本候補の内容は実行性能や本番適合性を保証しない。" }, { "heading": "CURRENTNESS_AND_AUDIT_BOUNDARY", "text": "原調査は2026-09-30の記録を保持し、2026-10-17 JSTに公開する中心命題に必要な一次資料を限定再確認した。旧資料のlatest release表記を現在値へ流用しない。最新版番号、tenant契約、独立比較のUNKNOWNは閉じない。これは既存migration revisionのsource joinと候補完成であり、独立監査PASS、READY、公開承認を意味しない。" } ], "human_url": "/tools/ea-178-inspect-ai", "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-178-inspect-ai", "json_url": "/agent/article.json?path=%2Ftools%2Fea-178-inspect-ai" }