評価・品質・テスト

評価方法・検証・回帰テスト

96件の公開項目

• EA · EA-013AI失敗事例・事故解剖大全AI事故はモデルが誤った瞬間だけを指すものではない。業務上の事故は、モデル・データ・ツール・製品制御・人間確認・通常のソフトウェア基盤の複数層を通って成立する。公開事例は各製品の現在の失敗率を示すものではなく、どの防護線が必要かを学ぶための事例として扱う。
• EA · EA-016AI評価・Evals実践編EvalsはAIの「点数表」ではなく、業務上の成功条件を実行可能なテストへ変換し、変更による改善と回帰を検知する運用機構として扱う。生成AIやagentでは最終発話だけでなく、成果物、環境state、tool side effect、権限違反を評価する。Golden setは固定された万能正解集ではなく、provenance、version、coverage、criticalityを持つliving artifactとして管理する。高い
• EA · EA-031AIアップデート互換性研究AI更新の互換性は、単一のversion番号やAPI疎通ではなく、wire/API、schema/tool、instruction、model behavior、state/storage、interoperability/protocol、operational、economic、governance/auditの九つの変更面を分離して評価する。API requestが成功することはWIRE_API_COMPATの一部しか確立しない。
• EA · EA-034Knowledge／RAG工学専門編Enterprise RAGは検索機能ではなく、権限付き知識の派生物を継続的に生成・検索・検証・削除するライフサイクルとして扱う。検索品質、権限、鮮度、根拠提示、安全性は別々に測定する。RAGが回答へ根拠を与えても、取得漏れ、古いindex、権限同期遅延、poisoned knowledge、unsupported synthesisは残り得るため、retriever・generator・citation・lifecycleを分離して評
• EA · EA-036AI長期作業・状態管理専門編「長期作業型AIを成立させる鍵は、巨大なcontext windowを一つ保持することではない。実務では、成果物の正本、実行checkpoint、会話session、圧縮・要約された作業context、外部システムの副作用、run/version/provenanceを別の状態として管理し、再開時にそれらの整合を確認する必要がある。checkpointやsessionは復旧を助けるが、外部副作用の二重実行、schema/model/to
• EA · EA-037AIチーム／AI組織論「複数AIを組み合わせれば自動的に性能が上がるわけではない。独立して並列化できる高価値taskではmulti-agentが有効な場合がある一方、共有contextや依存関係が多いtaskではcoordination costとfailure surfaceが増える。AIチームは役割・権限・state所有・handoff・成果物・停止条件を明示したcontractとして設計し、single-agentまたはworkflow baselin
• EA · EA-050Desktop Agent／AI-RPA編「Desktop Agent／AI-RPAは、従来RPAをAIで置き換えた単一カテゴリではない。API、structured UI automation、vision/reasoning computer useは異なる失敗様式を持つ実行経路であり、同じidentity・policy・machine isolation・audit境界の下で使い分ける。GUI操作が可能であることは、業務ルール上正しいこと、権限上許可されること、再現可能で
• EA · EA-052AgentOps／AI-SRE“AgentOps/AI-SRE is best treated as conventional SRE extended with AI-specific outcome and trajectory measurements. Availability and latency remain necessary but are insufficient: production agents also need task/end-sta
• EA · EA-059Canary／A-B／Feature Flag for AI「AIの段階投入では、modelやprompt等の構成をversionで固定する層と、その構成へtrafficを割り当てるflag/canary層を分ける。Feature flagはroutingの仕組み、canaryはblast radiusを制限して段階的に昇格・中止する運用、A/Bは比較実験であり、同じものではない。既存のprogressive-delivery基盤はAIにも利用できるが、昇格判定には通常の可用性・遅延・costだ
• EA · EA-060AI Dependency Compatibility Matrix「Enterprise AIの互換性は、単一のアプリversionやSDKのsemverだけでは管理できない。model IDとlifecycle、provider API revision、SDK／Agent framework、MCP protocol revisionとcapability、tool schema、prompt、retrieval、policy、evalなどが独立に変化するため、運用上は実際に検証した組合せをCom
• EA · EA-069Knowledge Graph × LLM「Knowledge Graph/GraphRAGは、文書間のentity・relationshipを構造化し、vector similarityだけでは扱いにくいmulti-hopやcorpus-levelの探索を補完できる。ただしgraphがLLMから生成される場合、そのnode/edge/summaryは原典から派生した推論・索引artifactであり、正しさは自動保証されない。導入時はprovenance、ACL、freshne
• EA · EA-075Geospatial AI「Geospatial AIは、LLMに位置知識を持たせることではない。座標参照系、地物、道路網、時刻、移動制約、衛星・航空観測などの空間データを、専用の地理空間処理・最適化系とAI reasoningへ接続する運用領域である。AIの自然言語推論と、地図・経路・空間演算が返す検証可能な結果を分離し、source、CRS、time、resolution、constraints、provenanceを保持する。地理空間foundation
• EA · EA-076Time Series AITIME_SERIES_OPS_EVAL_V1. Keep forecasting, anomaly detection and predictive-maintenance decisioning distinct, with timestamp/data-quality/calibration/regime context and baseline comparison.
• EA · EA-080Synthetic Data編「Synthetic dataは実データへの直接アクセスを減らし、開発・試験・共有の選択肢を増やせる。ただし“synthetic”という生成由来だけでは匿名性やprivacyを保証しない。Enterprise運用では、生成器・source cohort・privacy mechanismをversion固定し、utility、downstream validity、privacy attack、fairnessを独立評価してreleas
• EA · EA-081Fine-tuning／Adapter／Distillation大全「モデル適応には、教師付きfine-tuning、LoRA等のparameter-efficient tuning、量子化併用PEFT、distillationなど異なる経路がある。これらは学習・配備artifactとfailure surfaceが異なるため、“カスタマイズ済み”を一括して扱わない。採用時はbase model、method、training data、artifact、evaluation、availabilityを
• EA · EA-089Local AI Cluster「複数のPC/Mac/GPUを束ねるLocal AI Clusterは、単体では収まらないモデルの分散推論または複数requestの共有処理を可能にし得る。ただし総RAM/VRAMの加算だけでは性能を予測できず、runtime対応、network topology、scheduler、failure domainを実測する必要がある。consumer向けdistributed runtimeにはexperimental/security
• EA · EA-094AI Latency／SLO工学「AI性能はtokens/secだけでは測れない。利用者が必要な結果を得るまでのjourneyをSLO化し、queue・retrieval・model・tool・retry・approvalを分解してtail latencyを管理する。」
• EA · EA-096Process Mining → AI化「Process Miningは、情報システムに残るevent dataから実際に実行されたprocessの経路・逸脱・性能を分析し、AI化候補を経験則だけで選ばないための観測基盤になり得る。ただしevent logは業務全体の完全な写像ではなく、発見された頻出経路やbottleneckだけからAI導入の妥当性・因果効果を結論してはならない。multi-object業務ではcase-centric flatteningの歪みも評価する。
• EA · EA-097Task Mining / Desktop Activity Mining → AI化“Task Mining can complement process-level event-log analysis by observing how selected desktop tasks are actually executed and by surfacing variants, friction and possible automation candidates. Its recordings may contai
• EA · EA-099Accessibility / Inclusive AI — AI出力・AI操作面を障害特性／支援技術／代替表現／訂正可能性まで含めて設計・検証する「AIはcaption、alt text、音声・テキスト変換などを通じてaccessibilityを拡張できるが、自動生成された代替表現の存在だけではaccessibleとは言えない。基礎UIのaccessibility、assistive-technology interoperability、AI生成内容の意味的品質、利用者による訂正・選択・fallbackを分離して検証し、障害当事者を含む実利用評価で確認する。」
• EA · EA-100日本語・日本業務特有のAI問題 — 敬語、縦書き、和暦、帳票、住所、人名、表記揺れ、日本語OCRを「日本語対応」の一語で潰さず、業務データ型・文書レイアウト・文字体系・社会言語的適切性ごとに検証する「日本語を生成できることと、日本の業務データを正確に処理できることは別である。住所の表記揺れ、人名の異体字、縦書きや帳票レイアウト、和暦、敬語などは独立した失敗条件を持つ。重要項目は生成モデルのもっともらしさだけで確定せず、公的・業務上の参照データ、決定的な変換規則、文書種別ごとの評価、人による訂正を組み合わせる。」
• EA · EA-103生成物Provenance／C2PA等「C2PA 2.4は署名付きmanifest、assertion、signer identity、validationを定義し、改ざん検知可能な来歴を表現する。来歴の存在は、内容の真実・安全性・AI利用の完全な証明ではない。」
• EA · EA-104AI Supply-chain Security「SLSAはprovenanceとattestationの表現・検証を支えるが、artifactの安全性や品質を単独では保証しない。OpenSSF Scorecardは対象OSS repositoryの時点別check結果であり、全展開の保証ではない。」
• EA · EA-105AI生成コードSecurity「生成コードは、通常のコードと同じく解析・依存関係・secret・license・テスト・人手レビューを通す。CodeQL/Scorecardは検査部品であり、生成コードの安全性・適法性を保証しない。」
• EA · EA-106Automated AI Red Team「PyRITとgarakは生成AI/LLMのリスクprobeを自動化するOSS部品である。probeが通過したことは安全性の証明ではなく、対象・version・fixture・設定に依存する。」
• EA · EA-111Business Task Benchmark Library「Inspectはdataset・solver・scorer・agent/tool・sandboxを組み合わせる評価実装の選択肢である。企業の業務品質を示すbenchmark libraryは、業務fixture、権限境界、禁止副作用、採点基準、human reviewを組織側で定義して初めて成立し、Inspectの既成eval数だけでは業務保証にならない。」
• EA · EA-112Reproducibility／Determinism研究「再現性は環境境界を伴う契約である。PyTorch 2.14 Docsもrelease・commit・platform・CPU/GPU間の完全再現を保証せず、seedとdeterministic optionで特定環境の非決定性を減らす設計を示す。これをhosted LLMの文字列一致保証へ外挿してはならない。」
• EA · EA-115Document Fidelity研究「Google Docs APIは文書を構造要素、text run、画像、書式、header/footer/footnoteとして扱う。したがってdocument fidelityは内容・構造・書式・描画を分解して検証すべきだが、このAPI仕様だけでDOCX/PDF/Slides間の視覚的同一性や変換完全性を保証できない。」
• EA · EA-121異種LLMマルチエージェント「AutoGen原著は複数agent、LLM/human/toolの組合せ、相互作用のプログラムを示す。異種LLM構成はその実装候補だが、異種化だけで品質・安全・費用対効果が保証されるわけではなく、task別比較が必要である。」
• EA · EA-122Mixture-of-Agents「MoA原著はlayeredな複数LLMと出力統合を提案し、特定benchmarkでの改善を報告する。ただし、同じ構成が全業務・全providerで優越する証拠ではなく、品質・相関誤り・遅延・token費用・judge biasを含む比較が必要である。」
• EA · EA-123Model Debate／Deliberation「Multiagent Debate原著は複数LLM instanceの複数round提案・反証が特定taskの推論/factualityを改善し得ると報告した。debateの合意は外部証拠・独立検証・人間監督の代替ではなく、業務適用には反証・abstain・費用上限が必要である。」
• EA · EA-124Judge／Critic分離「LLM-as-a-judge研究は、特定benchmarkで人間選好との高い一致を報告する一方、position・verbosity・self-enhancement biasと推論限界も明示する。generator/critic分離は評価設計の一案であり、客観的正解・安全性・法的適合の自動保証ではない。」
• EA · EA-125Generator–Verifier「Process supervision研究は、MATHの特定条件で中間stepへの検証が有効であると報告する。Generator–Verifierはruntime safetyの設計候補だが、verifier passは任意業務の正しさ・副作用なし・法的適合を保証せず、specと独立評価が必要である。」
• EA · EA-126Planner–Executor異種化「Plan-and-Solve研究はplan→subtask executionの構造と特定推論taskでの比較結果を示す。Planner–Executor異種化は費用・権限分離の設計候補であり、planの完全性、executorの安全性、外部actionの可逆性を自動保証しない。ReActのようなinterleavingも代替設計である。」
• EA · EA-127Researcher–Writer異種化「WebGPTとSelf-RAGは、検索/取得・参照収集・生成/反省を連携させる研究例である。Researcher–Writer分離は来歴と責任境界を明確にする実装提案だが、別modelにするだけで一次資料性、引用の正しさ、真偽、最新性、法的適合は保証されない。」
• EA · EA-128Adversarial multi-LLM「Adversarial multi-LLMは、攻撃側LLMを用いて対象LLMの有害応答や漏えい等を探索する研究ベースの評価方式である。研究例はあるが、異種化だけで網羅性・安全性・企業tenantでの再現を保証しない。」
• EA · EA-129Model diversity engineering「Model diversity engineeringは、複数LLMの異なる出力を比較・集約し、相関した誤りを減らせるかを測る設計論である。Mixture-of-Agents等の研究結果は特定benchmark条件のもので、モデルを増やせば業務品質・安全性・費用対効果が上がるという保証ではない。」
• EA · EA-130Multi-LLM routing「Multi-LLM routingは、入力や品質要求に応じて候補LLMを選択し、費用・品質・遅延を調整する研究／実装パターンである。FrugalGPTやRouteLLMは条件付きの研究結果を示すが、数値を任意の業務や現行製品へ外挿せず、可用性・プライバシー・fallbackを別途検証する。」
• EA · EA-137PydanticAI「Pydantic AIの公式資料は、型付きPython agent loop、tools、structured output、複数model接続、streaming・durable execution・instrumentationを実装要素として示す。型検証やdurabilityの記載は、LLMの真偽・認可・外部action安全性・全providerの同一性を保証しない。」
• EA · EA-139DSPyDSPy
• EA · EA-155Temporal「TemporalはLLMではなく、Workflow Executionの状態・Event History・Replay・Activity・Signal・timeout/retryを用いて長時間処理を耐障害化するdurable execution基盤である。公式Docsはsize/throughput・determinism等の限界を含み、author-maintained issueにはretry時の既成功Activity再実行に関す
• EA · EA-156Airflow／Dagster／Prefect「Airflow 3.3.1はschedule・task・dependency・retry・timeoutを持つDag実行、Dagsterはasset/lineage/observability中心のdata orchestration、Prefect 3はPython flowのstate・retry・timeout・deploymentを公式Docsで説明している。これらはAgentの確率的判断を支える非LLMの実行・データ制御面と
• EA · EA-687AI生成Testの品質保証／Mutation TestingMutation Testingは選んだ変異をtestが捉えるかを測ります。高いscoreだけでは要求適合や現実の不具合検出を保証しません。AI生成testのassertionは、実装自身の出力から独立した要求・期待結果と照合します。
• EA · EA-238PII検出・匿名化・Redaction部品PII検出器とredaction/anonymization処理は、入力から識別子を見つけて変換するための部品であり、それだけで「匿名化済み」「規制適合」「再識別不能」を保証するものではない。検出対象、言語、文脈、データ形式、しきい値、変換方式、復元鍵・対応表、ログやキャッシュなどの残存コピーを分けて設計・検証する。
• EA · EA-240Structured Output／Schema ValidationStructured OutputやJSON Schemaは、LLM出力を機械処理しやすい構造へ制約し、parse/schema failureを減らすための境界です。schema適合を、内容の真偽、業務妥当性、認可、最新状態、副作用の安全性と同一視しません。
• EA · EA-010Edge AI／完全オフライン運用編 — on-device / edge / local / offline / air-gapped を分離し、端末推論から完全オフライン運用までの成立条件を定義する「オンデバイス推論は完全オフライン運用の必要条件になり得るが、十分条件ではない。完全オフラインは、モデル、runtime、accelerator/driver、アプリケーション、認証・ライセンス、更新、telemetry、外部サービスまで含む対象system boundaryにruntime network dependencyがないことを実測して初めて主張できる。air-gappedはさらに強く、単なるoffline modeやegr
• EA · EA-011Enterprise AIベンチマーク実験室Enterprise AIの評価は、公開leaderboardの単一scoreやmodel単体の比較だけで受入可否を決めず、実際に使うmodel・prompt・retrieval・tools・permissions・runtime・agent scaffoldを含む **System Under Test (SUT)** を、再現可能なfixtureとversion固定したgraderで測る。agentでは最終結果だけでなく、tool
• EA · EA-1009AI SRE障害調査のevidence-grounded diagnosis／誤診・棄権評価「AI SREは障害原因を自動的に特定できる」と一般化しない。安全な表現は、「特定の観測・tool・fault distributionの下ではAI agentが障害診断と修復を実行できる例があるが、本番利用では証拠追跡、誤診評価、棄権、権限制御、変更後検証を独立して設計・評価する必要がある」である。
• EA · EA-1200AIの公平性・有害バイアス・disparate impactをどう評価するか「公平性指標を満たしたためAIは公平である」と断定しません。安全な表現は、「定義した母集団・期間・意思決定・属性・metricの範囲で観測された格差と不確実性を評価した。結果は当該条件下の証拠であり、他の集団、期間、法域、用途での公平性や法的適合を自動的に保証しない」です。
• EA · EA-1201Explainability／Interpretability／Explanation Fidelity「AIが判断理由を説明できる」と一括して表現せず、「特定の説明手法により、定義された対象・参照条件の下でモデル挙動の一部を説明または近似できる。説明の忠実性、安定性、理解可能性、適用範囲は別途検証が必要」と記述します。
• EA · EA-1203Predictive ML／Classical MLOps Production Lifecycle「定期的に再学習すればモデル劣化を防げる」「feature storeを使えばleakageはなくなる」「driftを検知すれば精度低下が分かる」と一般化しません。
• EA · EA-1204AI Intervention Feedback Loops／Performative Prediction／Selective Labels「再学習すればfeedback loopは解消する」ではなく、「AIの予測や業務判断が次の観測データを変える場合、通常の再学習は過去policyの選択を再生産する可能性がある。decision/exposureとlabel availabilityを記録し、performative shift、selective labels、外生的shiftを分離して評価する」と記述します。
• EA · EA-1205Model Privacy Attack Evaluation／Membership Inference／Inversion／Extraction学習済みAIモデルは、通常の推論APIとして提供されていても、学習データへの参加有無を推定するmembership inference、学習データの属性・代表情報を推定するmodel inversion/reconstruction、target modelの機能や知的財産を複製するmodel extraction/model theftの対象になり得る。これらは目的・必要アクセス・成功指標が異なるため、同じ「情報漏えい」として一括評価
• EA · EA-1207AI Adoption Impact／Causal Business-value Evaluation「生成AIは生産性を向上させる」ではなく、「特定の業務・利用者・ツール・期間では改善が観測された研究がある一方、逆方向の結果もあり、導入効果は対照比較と品質・手戻り・総費用を含む自組織の測定で確認する」と記述します。
• EA · EA-1218AgentWorld — 長期マルチエージェント協調ベンチマークAgentWorld は複数AIエージェントの長期協調を評価する研究ベンチマークである。既存GX provenanceでは arXiv:2609.31590、50ラウンド超、3〜20エージェント、採集時点の最良系タスク成功率52.0%が記録されている。
• EA · EA-172BraintrustBraintrustは、生成AI／エージェントの実験・評価と本番トレースを接続し、品質、失敗、コスト、レイテンシ等を継続的に検証するための運用基盤として利用できる。導入効果は、評価設計、計装範囲、データ境界、tenant／plan設定、組織固有の運用統制に依存するため、製品機能の存在を品質保証やコンプライアンス保証へ外挿してはならない。
• EA · EA-173Weights & Biases Weave：AIアプリケーションのトレーシング・評価・運用観測「Weights & Biases Weaveは、AIエージェントやLLMアプリケーションの実行をトレースし、評価・フィードバック・性能／費用観測へ接続するための基盤として利用できる。ただし、記録されたtraceはinstrumentationと送信条件の範囲での観測であり、実行の完全性を自動的に保証しない。評価結果もdataset、scorer、model、prompt等のversionと適用範囲に依存する。Enterprise利用で
• EA · EA-175PromptfooPromptfooはLLM/AIアプリの評価・red-teamを構成可能なOSS harnessである。pass/failやred-team scoreは、固定したtest corpus、assertion、grader、target、Promptfoo version、plugin/strategyの範囲で得られた観測であり、品質・安全性・法令適合・本番SLOの包括保証ではない。機密用途では実際のegressとdeployment m
• EA · EA-176DeepEvalDeepEvalは、LLM/AIアプリをtest case・dataset・metric・traceに基づいて評価し、pytest/CIへ組み込めるlocal-firstのOSS evaluation frameworkである。end-to-end、trajectory、componentなど複数scopeを扱えるが、多くのmetricはLLM-as-a-judgeであり、pass/failは固定したdataset・metric・jud
• EA · EA-178Inspect AIInspect AIはmodelやagentをtask、solver、scorer等の構成で評価するframeworkである。実行結果を読む際は正誤、実行error、採点不能を区別し、得点とcoverageを併記する。frameworkと評価task集のrevisionも区別して保存する。
• EA · EA-179HELM — Enterprise AI運用での評価・再現性境界HELMはStanford CRFMのfoundation-model評価frameworkで、scenario・model interface・metric・artifactを標準化し複数leaderboardを再現可能に扱います。ただし単一の普遍的HELM scoreはなく、結果はsuite・scenario・dataset revision・model/provider ID・prompt/adaptation・metric・HE
• EA · EA-250AIが使うデータの契約とスキーマ変更を管理するデータ契約は、作る側と使う側が、項目、型、意味、品質、更新、権限、変更手順を共有する約束です。AIが入力をそれらしく解釈しても、契約違反が直ったことにはなりません。項目名や型の互換性と、金額・時刻・対象集団等の意味の互換性を分け、変更の影響を検索、prompt、tool、評価データまで追います。
• EA · EA-251Data Quality Gate for RAG／AIRAG/AIのData Quality Gateは、定義したdata constraintsを満たさないrevisionをindex/servingへ進めないための制御です。 Gate PASSは「検査したconstraintを満たした」ことを示します。retrieval relevance、groundedness、answer correctnessまで保証するものではありません。
• EA · EA-263Model／Prompt／Agent Artifact Registry「登録物の版、来歴、評価、承認、実際の取得物を結び付ける基盤として利用できる」。一方、「登録済みだから安全」「エイリアス名が同じなら内容も同じ」「ハッシュ一致で業務品質まで証明済み」とはしない。
• EA · EA-266署名・Attestation・SLSAでAI Artifactを検証するAI Artifactの検証では、artifact bytesのdigest、署名者/issuer、attestation subject、provenance predicate、builder/workflow identityをconsumer policyに照らして確認します。
• EA · EA-268Chaos Engineering／Fault Injection for AIAI/AgentへのChaos Engineeringでは、faultを注入できたこと自体をresilienceの証明にしません。
• EA · EA-272Model／Tool Health Check設計「health checkが成功した」は、そのprobeが定義した時点・地点・契約を満たしたことだけを意味する。モデル品質、全tool、全tenant、end-to-end業務成功、将来の可用性を保証しない。
• EA · EA-278Privacy-preserving Computation × AIPrivacy-preserving computationは一つのcontrolではありません。DP、MPC/FHE、federated/remote computation、TEEは異なる境界を保護します。攻撃者、保護対象、許可output、trust assumption、parameter、verification evidenceを明示し、単一PETから匿名性やend-to-end confidentialityを推定しません
• EA · EA-288Privileged Access Management for Agents「実行主体・対象・操作・期間を限定し、取得から終了までの特権利用を検証可能にする」。一方、「短期トークンなので安全」「人向けPIMをそのままエージェントにも適用可能」「権限を外せば全実行が瞬時に停止」「秘密が見えなければ万能ツールでも問題ない」とはしない。
• EA · EA-326モデル評価設計モデル評価は、対象modelだけでなくdataset、slice、metric、judge、baseline、run configurationをversion固定して比較する。全体平均だけで合否を決めず、重大sliceの回帰を独立して確認する。providerの評価サービスは実行基盤であり、組織固有の安全性や適合性を自動的に証明するものではない。
• EA · EA-399AI Quality Degradation Detection／品質劣化検知「drift detectorが反応したのでモデル品質が低下した」「eval scoreが維持されているので本番品質は安全」とは表現しません。安全な表現は、「固定回帰評価とfresh production sample、segment別品質、安全性、業務KPI、latency/cost、変更履歴を継続監視し、複数signalとreadbackで劣化候補を検出する。検出後はmodelだけでなくprompt、retrieval、tool、p
• EA · EA-475AI PC・NPUの調達判断AI PCやNPUの調達は、公称演算性能や「AI対応」という表示だけでは判断できません。対象アプリケーション、モデル、精度形式、入力長、同時実行、OS、runtime、ドライバ、実行プロバイダの組を固定し、実際の処理先、品質、応答時間、消費電力、メモリ、保守条件を確認して選びます。NPUが搭載されていること、利用可能であること、選択したこと、対象処理がNPUで実行されたことは異なります。
• EA · EA-500Agentの能力契約を検証するAgentが能力を公開していることと、その能力を利用者の期待どおりに実行できることは別です。能力契約の検証では、宣言、入出力schema、protocolと版、認証・認可、呼出し状態、業務上の効果を分けて確認します。同じ名前のskillやtool、同じJSON構造だけから、取消、重複実行、失敗、完了の意味まで同じと推定しません。
• EA · EA-501Agent Side-Effect Compensation：AIエージェントの外部副作用を「巻き戻し」ではなく検証可能な補償として扱う「補償はundoではなく新しい副作用である。元操作の結果を照合し、現在の回復権限・対象状態・後続変更・冪等性を再検証した上で実行し、最終的な業務／システム状態をreadbackする。不可逆な作用はrollbackと呼ばず、containmentまたはforward recoveryとして扱う。」
• EA · EA-512AIメモリの削除伝播を検証するAIメモリの削除は、削除APIが成功した時点では完了と判定できません。元データ、会話要約、埋め込み、索引、検索キャッシュ、複製、バックアップへ対象がどこまで伝播したかを調べ、各保存面の削除状態と検証証拠を対応させる必要があります。読取時の不在、物理領域の回収、バックアップの失効は別の証明です。本項は削除要求から復元後の再照合までの運用を扱います。埋め込み残留の詳細はEA-513、訂正後の再計算はEA-514に接続します。
• EA · EA-521Cross-provider Schema Loss Accounting Envelope「Structured Outputsを使えばJSON Schemaどおりになる」「三providerで同じschemaを使える」とは表現しない。安全な表現は、「各providerのdocumented subsetと実効strictnessをversion付きで確認し、canonical schemaからprovider schemaへの変換差分を記録し、生成後にcanonical constraintを再検証する。表現不能な重要co
• EA · EA-527AIによる時間短縮と人への負荷移転を一緒に測るAIで下書きが速くなっても、仕事全体が軽くなったとは限りません。確認・修正する人へ作業が移る、同時に抱える仕事が増える、休憩や勤務外に作業が広がることがあります。一方で、学習や品質の改善が起きる場合もあります。導入評価では、出力数と所要時間だけでなく、誰の何の作業が増減し、品質と働き方に何が起きたかを測ります。
• EA · EA-683Evaluation Set Aging / Refresh / Contamination“Benchmark scores are versioned observations, not timeless model properties. Preserve benchmark-release, item/scorer/harness provenance and inference conditions. A refresh or item correction starts a new comparison revis
• EA · EA-730AI policy regression testing-as-codeevidence_as_of: 2026-10-27 JST
• EA · EA-734Versioned evaluation datasets and reproducible PoV→production gates「versioned evaluation datasetを使えば本番品質が保証される」とは書きません。安全な表現は、「評価データ、対象構成、評価器、閾値、実行条件を版管理し、同じ判定手順を再実行できる状態を作ることで、PoVから本番昇格までの判断を追跡・比較しやすくする」です。再現性は評価手続の再実行可能性を指し、provider内部状態や確率的出力の完全同一を保証しません。
• EA · EA-735本番トレースを評価データセットへ戻すフィードバックループ「本番traceは評価データセットの有力な入力であり、versioned datasetへ昇格して回帰評価へ戻せる。ただし代表性、PII、redaction、version混在、rare-event欠落をcontrolし、trace-derived setだけを完全な品質保証とみなさない。」
• EA · EA-736Locale・script・region-aware AI evaluation matrix「BCP 47/CLDRを用いてlanguage・script・regionの評価軸を正規化し、実利用分布とリスクに応じて評価セルを分離する。locale tagやlikely-subtagはcoverage設計の補助であり、品質・文化適合性・法域適合性を自動的に保証しない。」
• EA · EA-737Differential Privacyで評価テレメトリを保護するAIシステムの評価telemetryには、失敗率、拒否率、品質指標、ツール実行結果、エラー分類、利用パターンなど、運用改善に必要な情報が含まれます。一方、評価対象が実ユーザーの入力や希少な失敗事例に由来する場合、識別子を削除するだけでは個人・組織・機密事象の推定可能性を十分に抑えられないことがあります。Differential Privacy（DP）は、個々のレコードや寄与の有無によって公開統計がどの程度変わり得るかを数学的に制約し、集
• EA · EA-738AI評価の昇格判定に統計的信頼性ゲートを入れる「候補モデルの平均スコアが高い」だけでは昇格根拠として弱い。比較対象と評価単位を固定し、差の大きさと不確実性を示し、事前定義した実用上の最小差および安全性の非交渉条件を満たしたときに昇格させる。信頼区間や有意差は本番性能の保証ではなく、定義した評価設計の下で観測差をどこまで信頼できるかを判断する材料である。
• EA · EA-739Human annotation QA／disagreement adjudication for AI evaluationAI評価で人間注釈を使う場合、単一ラベルを「正解」として保存するだけでは評価品質を監査できません。rubricとannotator trainingを版管理し、複数annotatorの独立判断、agreement/disagreement、adjudication、rubric改訂、最終ラベルまでのprovenanceを残します。特に主観的・境界的な評価では、disagreementは単なる誤差ではなく、曖昧な指示、edge case、
• EA · EA-741Evaluation dataset lineage／ownership／provenance contract「評価データは、dataset/versionの識別子とdigestだけでなく、source・derivation・作成/承認責任・rubric・split・利用runを追跡し、後から評価結果の再現と影響範囲の逆引きができるようにする。PROV-O、MLflow、OpenLineage等はその一部を実装するための基盤になり得るが、権利・同意・削除・case-level approvalまで自動的に保証するものではない。」
• EA · EA-743Tail-risk／rare catastrophic case evaluation sampling「平均品質評価とは別に、発生頻度が低くても被害が大きいfailure modeをtail-risk評価として管理し、重大caseを意図的に厚く検証する。oversampled suiteの失敗率はそのまま実運用の発生率ではない。母集団riskを推定する場合はsampling probabilityを追跡できる確率設計と適切な補正を用い、重大failureのrelease判断は平均scoreで相殺しない。」
• EA · EA-744Regulatory locale × evaluation requirement crosswalk「AI評価は世界共通の技術testをcoreとして再利用しつつ、法域・用途・system classification・operator role・適用日などで変わる要求をversioned regulatory overlayとして追加する。overlayは法的適用を自動決定するものではなく、承認済みapplicability判断をcontrol/test/evidenceへtraceするために使う。内部evalのPASSを法定con
• EA · EA-745Privacy-preserving synthetic evaluation data「synthetic dataなので個人情報を含まず安全」とは表現しません。安全な表現は、「synthetic evaluation dataは元データの直接配布を減らせるが、privacyは自動的には保証されない。utility、memorization/re-identification risk、DP等のformal guaranteeを分離して評価し、用途に応じたprivacy/utility gateを設ける」です。
• EA · EA-746GPU sharing isolation decision：MIG vs time-slicing「MIGは対応GPUをhardware-levelのGPU instanceへ分割し、compute/memory resourceの分離と予測性を得る方式である。KubernetesのCUDA time-slicingは同一GPUを時間共有して収容密度を上げるが、replica間のmemory/fault isolationを提供しない。選択は利用率だけでなく、tenant/fault isolation、性能SLO、workload
• EA · EA-751KV-cache-aware routingを使うLLM serving control planeLLM servingのroutingは、単純なround-robinや現在負荷だけでなく、各workerに再利用可能なKV cache prefixがどれだけ存在するかと、prefill/decodeの進行中負荷を同時に評価できる。NVIDIA DynamoのKV-aware routerは、workerごとのprefix overlapとactive loadを組み合わせ、再計算するprefill量を減らしつつcache-rich
• EA · CORE-07評価データと公開前の評価契約CORE-07は、候補configurationを本番投入前に何に対して、どの証拠で、どのsliceごとに合否判定したかを再構成できる評価契約を定義する。単一benchmark、平均score、model名、judgeの自然文だけをrelease根拠にしない。
• EA · PM-CLAUDE-CORE-07CLAUDE：評価データと公開前の評価契約CORE-07のdataset、scorer/judge、holdout、slice gate、release evidenceを、Anthropicの評価設計guidance、Console prompt improver/evaluator、Message Batches、structured outputs、Agent SDK/Claude Codeおよびauthor-maintained cookbookへ対応づける。公開仕様・
• EA · PM-GPT-CORE-06OpenAI / GPT：プロンプトと設定の管理CORE-06のconfiguration bundle、version/approval lineage、environment diff、canary/rollback契約をOpenAI APIとAgents SDKへ対応づける。対象はResponses APIのinput/instructions、廃止予定のreusable prompt objects、Agents SDK v0.22.0のPrompt/Agent/RunCon
• EA · PM-GPT-CORE-07OpenAI / GPT：評価データと公開前の評価契約CORE-07のgolden dataset、holdout、scorer/judge registry、slice-level AND gate、release/rollback evidenceをOpenAIのDatasets、Evals、Graders、Agent evals、Prompt optimizerおよびopenai/evals OSSへ対応づける。公開仕様と固定OSSだけを対象とし、実tenant、非公開dataset
• EA · PM-GROK-CORE-07GROK：評価データと公開前の評価契約CORE-07のgolden dataset、scorer/judge、holdout、slice/tail gate、release evidenceを、Grok 4.6 announcement/model card、xAI APIのBatch/structured-output/model identity、author-maintained Grok Build、独立benchmark methodologyへ対応づける。公開b