データ・文書・入出力
文書・表・画像・音声の入出力
44件の公開項目
- 用語 · IDX-C07-009active deprecated eval dependency現在利用できるhosted Evals/Gradersと2026-10-31 read-only・11-30 shutdown予定を分離
- 用語 · IDX-C07-020agent trajectory / artifact readback split開発用の道具一式/Code trajectoryをAIが使う操作機能 受付・受領の記録、作成・保存した成果物 digest、外部実物を開き直して確かめること、acceptanceと別証拠で結合
- 用語 · IDX-C07-027aggregate/pass@1 / critical slice gate split公開aggregateとtail、repeat variance、known regression、unsafe/over-refusalを分離
- 用語 · IDX-PROV-004保存版待ちcanonical URLとsupporting locatorを直接確認済みだが、公開時点の再検証用snapshot/digestが未取得の状態。原典不明とは区別する
- 用語 · IDX-C02-021認可結合方式Search→Check、Changes-derived local index→Search→Check、ListObjects→Searchをcardinality・latency・sort条件で選ぶ設計
- 用語 · TERM-EXT-0003バッチAPI多数のソフト同士がやり取りする窓口リクエストをJSONL入力ファイルとしてまとめて非同期処理するソフト同士がやり取りする窓口実行方式。OpenAI Batch ソフト同士がやり取りする窓口ではcompletion_windowは現在24hのみで、同期ソフト同士がやり取りする窓口より低コスト・高いrate-limit headroomを提供する。
- 用語 · IDX-C07-018Batch carrier / evaluation acceptance splitcustom_id付き非同期result carrierとrelease評価受入を分離
- 用語 · IDX-C07-024Batch completion / valid evaluation result splitasync terminal 進み具合とvalid N、candidate verdict、human acceptanceを分離
- 用語 · IDX-C07-021benchmark release claim / organization acceptance splitpublic capability scoreとadopted-task release decisionを分離
- 用語 · IDX-C06-010限定的挙動互換完全再現を主張せず、fixed sentinel/task slice、environment差、variance、acceptance policy内で候補を互換と判定する範囲
- 用語 · IDX-C07-014Claude evaluation guidance / hosted artifact split評価設計guidanceと、版/保存しておく期間を持つ実run 作成・保存した成果物を分離
- 用語 · IDX-C01-010完了条件観測可能な成果条件とdataset/scorer/rubric/pass policy等の版を定める契約
- 用語 · IDX-C07-015Console improver / sealed holdout splitprompt・example・feedback反復へ露出したcaseをsealed holdoutから失効
- 用語 · IDX-C07-023current harness source / historical run artifact split現在の Grok Build 版/SOURCE_REVと過去benchmarkのexact environmentを分離
- 用語 · IDX-C07-008dataset / eval run / grader splitevaluation data、実行記録、採点器を別versioned 作成・保存した成果物として結合する
- 用語 · IDX-C07-010deterministic check / model judge splitexact/schema/rule failureとAIの製品や種類-based preference scoreを別判定し、judgeを版・calibration対象にする
- 用語 · IDX-PROV-003二重provenance同じ命題に本研究の実測と外部資料がある場合、観測結果・外部仕様/比較・本研究の分析を別relation rowとして保持する構造
- 用語 · IDX-PROV-001実測由来保全user environment、user experiment、compiler experimentを測定範囲の本研究一次証拠として保持し、外部照合があっても外部由来へ付け替えない規則
- 用語 · IDX-C07-007何を使って、どう合否を決めたか残す試すAI、問題、採点方法、判定する人やAI、実行条件、合格条件、結果を、版やつながりも含めてまとめておく取り決めです。
- 用語 · IDX-C07-017evaluator infrastructure errorソフト同士がやり取りする窓口/harness/parser/timeoutをcandidate不正解から分離する評価状態
- 用語 · IDX-C01-014証拠化source実行で利用されたことをtrace/citation/log等から確認できる参照する資料集合。trace非公開時はdeclared 参照する資料と同一視しない
- 用語 · IDX-C07-002過去の失敗を、次の確認に使う以前起きた障害、失敗しかけた例、悪いと分かっている回答を、再発を防ぐための確認例として残したものです。
- 用語 · IDX-C07-001使い始める前に試す、確認用の問題集対象の仕事に合わせ、問題・期待する結果・根拠・版をそろえた、利用開始前の確認用データです。あらゆる利用場面を再現できるわけではありません。
- 用語 · IDX-C01-006別の担当へ仕事を引き継ぐ仕事の担当が変わるとき、進み具合、残りの作業、根拠、してよいことを渡し、受け取った側の確認まで行うことです。
- 用語 · IDX-C07-003隠しholdoutcandidate作成・tuningから隔離し、漏洩時に結果を失効させる未使用case集合
- 用語 · IDX-C07-012hosted eval / OSS harness splitAIの提供元のhosted dashboard/ソフト同士がやり取りする窓口と操作の確定固定できるself-hosted OSSを別dependencyとして扱う
- 用語 · IDX-C01-016同じ操作を二重にしないための決め方もう一度試すとき、どの操作を再実行するか、重複をどう見分けるか、先に何を確認するかを決めておくことです。
- 用語 · TERM-EXT-0002JSONモードモデル出力を有効なJSONオブジェクトとして生成させる旧来の出力モード。特定JSON Schemaへの準拠は保証しない。
- 用語 · IDX-C07-005judge台帳judge ID/版、prompt、rubric、order、sampling、abstention、human adjudicationを結ぶrecord
- 用語 · IDX-C07-022mixed reported-by / common run splitdeveloper card・leaderboard・外部実施者の値を単一harness比較へ昇格しない
- 用語 · IDX-C07-011optimizer corpus / sealed holdout splitprompt改善へ使用したcaseとcandidate作成から隔離する未見caseを分離
- 用語 · IDX-PROV-002外部原典終端外部回答の中で述べていることのcitation chainをS番号・chat・packetで終えず、原著者・原組織のcanonical 参照する資料、版、supporting locatorまで接続する規則
- 用語 · IDX-C07-006過剰拒否matrixunsafe complianceと、答えるべき安全caseの不当拒否を別軸で測る評価
- 用語 · IDX-C01-003永続化sessionを越えて現在の状態/作成・保存した成果物/判断の根拠を再取得できる性質
- 用語 · IDX-C02-041本文取得前認可参照経路opaque resource IDを現在の authzへ照会し、allow後だけ本文を取得してretrieval indexへ入れる参照integration。小候補local PASSをAIの提供元全path保証としない
- 用語 · IDX-C07-016prefill temporal compatibility2024 improverのassistant prefillとClaude 4.6+ 現在の非対応を版付きmigration testへ送る
- 用語 · IDX-C07-026public benchmark exposure / sealed holdout splitbenchmark公知性やcontamination-resistant主張とAIの製品や種類-specific非汚染を分離
- 用語 · IDX-C02-002資料の中から必要な部分を探す候補となる資料から、今の仕事に必要な部分を選ぶことです。選んだ資料を使って答えを作る段階とは分けて考えます。
- 用語 · IDX-C07-019schema conformance / judge validity splitstructured-output構文適合と意味品質・rubric妥当性・calibrationを分離
- 用語 · IDX-C07-025schema conformance / semantic grading splitstructured outputの構文適合とoracle/rubric/judge/業務受入を分離
- 用語 · IDX-C07-004slice別合否overall平均では上書きできないtask/risk slice別threshold、critical failure、variance条件
- 用語 · TERM-EXT-0001構造化出力モデル出力を開発者指定JSON Schemaへ拘束し、対応schema subsetの範囲でschema adherenceを保証する出力方式。
- 用語 · TERM-EXT-0021テレメトリーシステムやその振る舞いから外部へ発せられる観測用データ。ソフトウェア運用では代表的にtraces、metrics、logsなどを含み、収集・分析してsystem 現在の状態やbehaviorを理解する材料となる。
- 用語 · IDX-C07-013trace trajectory / authoritative outcome splitagent trace上のtrajectoryと外部systemのauthoritative final 現在の状態・業務成果を分離