評価・品質・テスト

評価方法・検証・回帰テスト

56件の公開項目

• 用語 · IDX-C07-009active deprecated eval dependency現在利用できるhosted Evals/Gradersと2026-10-31 read-only・11-30 shutdown予定を分離
• 用語 · IDX-C07-020agent trajectory / artifact readback split開発用の道具一式/Code trajectoryをAIが使う操作機能 受付・受領の記録、作成・保存した成果物 digest、外部実物を開き直して確かめること、acceptanceと別証拠で結合
• 用語 · IDX-C07-027aggregate/pass@1 / critical slice gate split公開aggregateとtail、repeat variance、known regression、unsafe/over-refusalを分離
• 用語 · IDX-C06-005承認bind構成approval digestをcandidate bundleへ結び、承認後のcomponent変更でreleaseを拒否する
• 用語 · IDX-C03-008必要時分解executor不能、risk、side effect、作成・保存した成果物、failure isolationが追加stageを正当化する時だけ分解する
• 用語 · IDX-C07-018Batch carrier / evaluation acceptance splitcustom_id付き非同期result carrierとrelease評価受入を分離
• 用語 · IDX-C07-024Batch completion / valid evaluation result splitasync terminal 進み具合とvalid N、candidate verdict、human acceptanceを分離
• 用語 · IDX-C07-021benchmark release claim / organization acceptance splitpublic capability scoreとadopted-task release decisionを分離
• 用語 · IDX-C06-010限定的挙動互換完全再現を主張せず、fixed sentinel/task slice、environment差、variance、acceptance policy内で候補を互換と判定する範囲
• 用語 · IDX-C03-012caller取消しと外部commitの分離orchestration taskがcancel/timeoutでも、nodeが既に外部writeを操作の確定している状態。再実行前に実物を開き直して確かめることする
• 用語 · IDX-C06-003正規化構成hashcanonical serializationされたdeclared bundle bytesの同一性検査値
• 用語 · IDX-C07-014Claude evaluation guidance / hosted artifact split評価設計guidanceと、版/保存しておく期間を持つ実run 作成・保存した成果物を分離
• 用語 · IDX-C06-001複合release bundleprompt、AIの製品や種類、runtime、AIが使う操作機能/schema、参照する資料、policy、environment、evaluation/release linkを一つのversioned entityへ束ねる
• 用語 · IDX-C06-002構成lineageconfig ID/版/digest/parent/change reason/ownerを結び、どの版から何が変わったか再構成できる記録
• 用語 · IDX-C06-012構成可観測性declared、exported、現在の-実物を開き直して確かめること、behavior-observedのどこまで取得できるかをsurface別に記録する
• 用語 · IDX-C06-007構成再現release bundleだけから全declared component、元になったものや変更のつながり、environment、evaluation linkを再構成する検査
• 用語 · IDX-C07-015Console improver / sealed holdout splitprompt・example・feedback反復へ露出したcaseをsealed holdoutから失効
• 用語 · IDX-C07-023current harness source / historical run artifact split現在の Grok Build 版/SOURCE_REVと過去benchmarkのexact environmentを分離
• 用語 · IDX-C07-008dataset / eval run / grader splitevaluation data、実行記録、採点器を別versioned 作成・保存した成果物として結合する
• 用語 · IDX-C07-010deterministic check / model judge splitexact/schema/rule failureとAIの製品や種類-based preference scoreを別判定し、judgeを版・calibration対象にする
• 用語 · IDX-C06-004環境差分AIの製品や種類/runtime/AIが使う操作機能/参照する資料/surface/利用組織ごとの領域/region/dependencyの差をrelease前に列挙したrecord
• 用語 · IDX-C07-007何を使って、どう合否を決めたか残す試すAI、問題、採点方法、判定する人やAI、実行条件、合格条件、結果を、版やつながりも含めてまとめておく取り決めです。
• 用語 · IDX-C07-017evaluator infrastructure errorソフト同士がやり取りする窓口/harness/parser/timeoutをcandidate不正解から分離する評価状態
• 用語 · IDX-C06-008証拠連結releasecandidate digest、eval あらかじめ決めた取り決め/run、acceptance、approval、canary、activationをjoinしたrelease record
• 用語 · IDX-C07-002過去の失敗を、次の確認に使う以前起きた障害、失敗しかけた例、悪いと分かっている回答を、再発を防ぐための確認例として残したものです。
• 用語 · IDX-C07-001使い始める前に試す、確認用の問題集対象の仕事に合わせ、問題・期待する結果・根拠・版をそろえた、利用開始前の確認用データです。あらゆる利用場面を再現できるわけではありません。
• 用語 · IDX-C07-003隠しholdoutcandidate作成・tuningから隔離し、漏洩時に結果を失効させる未使用case集合
• 用語 · IDX-C07-012hosted eval / OSS harness splitAIの提供元のhosted dashboard/ソフト同士がやり取りする窓口と操作の確定固定できるself-hosted OSSを別dependencyとして扱う
• 用語 · IDX-C03-002中間成果物後続stageが再取得できるID/版/digest/元になったものや変更のつながり付きoutput
• 用語 · IDX-C07-005judge台帳judge ID/版、prompt、rubric、order、sampling、abstention、human adjudicationを結ぶrecord
• 用語 · IDX-C03-007局所合格・全体不合格個別stage criteriaは満たすが、担当の引き継ぎ、merge、元になったものや変更のつながり、end-to-end acceptanceが成立しない状態
• 用語 · IDX-C03-011task間metadataと成果物本体の分離stage間にはID/版/digest/受付・受領の記録を渡し、大きい成果物本体は再取得可能な外部storeへ置く
• 用語 · IDX-C07-022mixed reported-by / common run splitdeveloper card・leaderboard・外部実施者の値を単一harness比較へ昇格しない
• 用語 · IDX-C06-006可動model alias同じalias/display nameが時点により異なる裏側の保存・処理システム revisionやcapabilityを指し得る状態
• 用語 · IDX-C06-013下位構成可変性外側の版 IDが不変でも、AIの製品や種類 parameters、alias、参照する資料 link等の下位値が変更できる状態
• 用語 · IDX-C07-011optimizer corpus / sealed holdout splitprompt改善へ使用したcaseとcandidate作成から隔離する未見caseを分離
• 用語 · IDX-C07-006過剰拒否matrixunsafe complianceと、答えるべき安全caseの不当拒否を別軸で測る評価
• 用語 · IDX-C03-005並列書込競合複数stageが同じ作成・保存した成果物/external record/版へ競合writeするfailure
• 用語 · IDX-C03-010事前登録補償forward side effectの応答消失に備え、実行前にidempotent compensationを登録する
• 用語 · IDX-C07-016prefill temporal compatibility2024 improverのassistant prefillとClaude 4.6+ 現在の非対応を版付きmigration testへ送る
• 用語 · IDX-C06-011prompt版と複合構成版の分離prompt text/templateのimmutable 版と、AIの製品や種類 config/AIが使う操作機能/参照する資料/policy/environmentを含むrelease bundle identityを別に管理する
• 用語 · IDX-C07-026public benchmark exposure / sealed holdout splitbenchmark公知性やcontamination-resistant主張とAIの製品や種類-specific非汚染を分離
• 用語 · IDX-C03-013照合後補償COMMIT_UNKNOWN時に外部現在の状態を読み、事前登録済みの冪等補償またはrepairへ分岐する
• 用語 · IDX-C03-009reducer付き並列更新parallel branchが同一現在の状態 keyへ書く時、結合規則をschema/merge nodeとして先に定義する
• 用語 · IDX-C06-014反復slice互換証拠moving alias下で同一固定task sliceを反復し、environment差とacceptance envelopeを併記する限定互換証拠
• 用語 · IDX-C03-003再実行単位failure後に再実行してよい最小stageと、そのidempotency/実物を開き直して確かめること条件
• 用語 · IDX-C06-009rollback証拠連鎖failed release、target bundle/environment、dependency/schema compatibility、受付・受領の記録/実物を開き直して確かめることを結ぶ回復記録
• 用語 · IDX-C01-008AI側の処理の進み具合AIや実行システム側で、処理中・失敗・終了などを示す状態です。出来上がったものを仕事として受け入れてよいかとは別です。
• 用語 · IDX-C07-019schema conformance / judge validity splitstructured-output構文適合と意味品質・rubric妥当性・calibrationを分離
• 用語 · IDX-C07-025schema conformance / semantic grading splitstructured outputの構文適合とoracle/rubric/judge/業務受入を分離
• 用語 · IDX-C07-004slice別合否overall平均では上書きできないtask/risk slice別threshold、critical failure、variance条件
• 用語 · TERM-EXT-0006投機的デコーディング自己回帰LLM推論を高速化するデコード方式。高速・低コストなdraft/assistant側が複数の候補tokenを先行生成し、target/main AIの製品や種類が候補をまとめて検証して受理または棄却する。適切な受理・補正手順を用いる古典的方式ではtarget AIの製品や種類の出力分布を保ったまま高価なtarget forward pass回数を減らせる。
• 用語 · IDX-C03-001工程契約owner、versioned input、allowed action、output 作成・保存した成果物、entry/exit、verifier、再実行、stopを持つ実行単位
• 用語 · IDX-C07-013trace trajectory / authoritative outcome splitagent trace上のtrajectoryと外部systemのauthoritative final 現在の状態・業務成果を分離
• 用語 · IDX-C03-006commit状態NOT_STARTED/PREPARED/COMMIT_UNKNOWN/COMMITTED/VERIFIED等を分け、caller cancelをno-writeとみなさない状態
• 用語 · IDX-C03-004検証工程producerのsuccess申告と分離し、作成・保存した成果物/実物を開き直して確かめることをcriteriaへ照合するstage