AI能力の継続観測所

AI能力の観測値は、モデル名だけに帰属する固定値ではない。モデル識別子、評価課題、実行環境、tool/scaffold、採点器、利用条件、実行日を組にして記録し、同一method versionの系列内で比較する。benchmarkやharnessを改訂した場合は旧系列と新系列をbridge runで接続し、method changeをmodel improvementと混同しない。

Observation schema、state machine、sentinel strategyは辞典側のPROPOSALであり、外部標準の固定要件ではない。

timestamp / provider / product-model family / exact model ID or snapshot if exposed / alias / endpoint-API revision / region-plan-org gate / system-developer instructions / tools and versions / agent-scaffold version / runtime-container-dependencies / fixture suite and version-hash / sampling-inference parameters / scorer-judge and version / repetitions-seed where applicable / success criterion / latency / token-use cost / rate-limit-retry policy / raw artifact pointers / evidence origin。

exact snapshotが公開されない場合はUNKNOWNとし、alias名だけから同一backendを推定しない。

A. PROVIDER_RELEASE_CLAIM — provider model card / release note / benchmark claim。SOURCE_REPORT / PRODUCT_VOLATILE。 B. EXTERNAL_EVAL — primary paper、benchmark作者、独立evaluation。RESEARCH等。 C. LOCAL_OBSERVATION — 安全な自測。OBSERVED。外部証拠へ再分類しない。 D. USER_REPORT — 利用者報告。OBSERVED_USER_REPORT。再現性が取れるまで仕様扱いしない。

同じscore名でもoriginを混ぜて一本のseriesにしない。

• CAPABILITY_OBSERVATION_CARD — 1観測のtuple、raw result、locator。
• EVAL_SERIES — 同一method versionでの時系列。
• CHANGE_EVENT — model/API/tool/plan/benchmark/harness/scorer変更点。
• AVAILABILITY_GATE — plan/region/org/admin setting/preview等。
• SOURCE_SNAPSHOT — external claimのas-of、URL、版、locator。
• RETEST_TRIGGER — 再実行条件と優先度。

FROZEN SERIESは過去比較用としてfixture/harness/scorerを固定する。CURRENT SERIESは汚染・飽和・不良fixtureを修正した最新suiteとする。suite更新時は可能なら旧新を一定期間同時に走らせるBRIDGE RUNを置き、method changeとmodel changeを分離する。

LiveBenchの継続更新、SWE-bench Verifiedの改訂・退役は、benchmarkを一度採用すれば永久に同じ観測器として使えるわけではないことを示す具体例として扱う。

exact model ID/snapshot/alias変更、provider release note、endpoint/API revision変更、tool/scaffold/runtime変更、context/tool availability変更、benchmark/harness/scorer revision、plan/region/admin gate変更、価格/rate limitの大幅変更、系列内で説明不能なdrift、事故/near-missを候補とする。

capability scoreだけでなく reliability / latency / cost / rate-limit / tool failure / safety-control behavior / auditability を別軸として記録する。単一scoreをdeployment保証へ外挿しない。

scorer/judgeも観測対象とする。LLM-as-judgeを使う場合はjudge model、prompt、temperature、rubric、aggregationをversion固定し、judge更新後のscoreを旧seriesへ無補正で継ぎ足さない。

AUTHORITY COMM-032-EA0030。

NIST AI RMF Playbook MEASURE 2.4 / MANAGE 4.1を継続monitoring、pre/post-deployment差分、change managementの根拠として扱う。NIST AI 600-1はGenAI risk context。METR Time Horizonsはtask distribution、human baseline、agent setup、success probability等へのmethod依存を示す。LiveBenchは継続更新型benchmarkの例。OpenAI SWE-bench Verified資料はfixture/harness不良とbenchmark retirementの例。HELM Capabilitiesはaggregateとscenario別結果を分離する文脈。OpenAI Models documentationはmodel IDとaliasを分けて記録するcurrent product exampleでありPRODUCT_VOLATILE。

provider claimはprovider報告、自測は当該条件での観測としてoriginを明示する。

• public benchmarkはtraining exposure、test contamination、fixture flaw、saturationで能力指標として劣化し得る。
• benchmark更新は測定品質を上げても旧版とのstrict comparabilityを壊すため、最新版scoreと旧版scoreを単純連結しない。
• provider側の非公開routing、safety policy、backend、inference stack変更は完全再現できない場合があり、非公開部分はUNKNOWNとする。
• alias名が同じでも内部参照先不変を仮定しない。snapshot非公開なら「同一公開識別子での再試験」とする。
• leaderboardは特定task distributionの結果であり、enterprise業務性能・安全性・SLAを保証しない。
• 自測はtenant/plan/region/setup固有になり得る。public docsをtenant実挙動の証明にせず、自測を外部evidenceへ格上げしない。

plan / region / organization policy / admin enablement / preview-beta-GA / API-vs-chat surface / tool entitlement / rate tierをObservation Cardの独立欄で保持する。「機能が存在する」と「当該組織で利用可能」を別claimにする。PRODUCT_VOLATILE項目は各RUN時に現行確認する。

REGISTER_TEST -> FREEZE_METHOD -> BASELINE -> PERIODIC_OR_EVENT_RETEST -> DELTA_CLASSIFY -> (NO_MATERIAL_DELTA | CAPABILITY_DELTA | AVAILABILITY_DELTA | METHOD_DELTA | OPERABILITY_DELTA | UNKNOWN_DELTA) -> SOURCE_SNAPSHOT -> UPDATE_CANDIDATE。

method変更を検出した場合は旧seriesを閉じず、BRIDGE RUNを作る。このstate machineはPROPOSAL。

(a) stable internal regression fixture、(b) periodically refreshed contamination-resistant external benchmark、(c) real-task / long-horizon evaluation、(d) safety/control regression、(e) operability metricsを分ける。公開benchmark scoreをprovider warrantyへ外挿しない。internal fixtureには実顧客秘密情報を入れず、合成または許諾済み非機密fixtureを使う。

UNEXECUTED。 - 非機密fixture 10〜20件のsentinel set。 - exact model ID/surface/tool構成を固定し同一RUNを複数回実行してvariance確認。 - aliasとsnapshotの双方が提供される場合は同日bridge comparison。 - harnessのみversion変更したA/B runでmethod delta確認。 - 結果はOBSERVEDとして保存し、外部sourceと混同しない。

具体的な回数、fixture、閾値、実測値は未実施のため保証しない。cheap sentinel -> delta検出時full suiteの二段階運用はPROPOSAL。

認証済みtenantの秘密データ、実顧客データ、危険tool actionを自動再試験へ投入しない。security fixtureも非機密・非破壊に限定する。 AUDIT: raw request/responseを保存できない場合でもhash、fixture version、run config、source locator、failure reasonを残す。provider policyに反するraw data保存はしない。

token/API費、human review費、benchmark maintenance費を別計上する。

timeout、retry、429、tool outage、environment failureを能力失敗と同一bucketへ入れず、MODEL_BEHAVIOR / HARNESS_FAILURE / PROVIDER_AVAILABILITY / POLICY_BLOCKへ分類する。

• closed providerのalias内部routing・backend更新を外部から完全に特定できるか。
• tenant/region/plan別に同一公開model IDが同一挙動を保証するか。
• cross-providerで単一の総合能力scoreを作れるか。task/scenario別seriesを優先する。
• LLM-as-judge長期seriesのjudge drift補正の標準手法。
• closed modelに対するpublic benchmark training exposureの完全検証。

UNKNOWNを推測で閉じない。

EA-016 eval、EA-029 template/evidence linkage、EA-400 model behavior drift等へ接続可能だが、本packetで関連EAを再編集・再解釈しない。