本番トレースを評価データセットへ戻すフィードバックループ

本番運用で得たエージェントのトレースは、障害調査のためだけの観測ログではありません。適切に選別・匿名化・版管理すれば、実際の利用挙動を評価データセットへ昇格させ、次の回帰評価へ戻す入力になります。Microsoft Foundryは、本番トレースから評価用のversioned datasetを生成し、そのデータセットを評価runへ渡す一連の流れを提供しています。ここで重要なのは「ログを保存する」ことではなく、production behavior → curated dataset → evaluation → 改善後の再評価という閉ループを運用対象として設計することです。

運用系では、trace retentionとeval dataset lifecycleを分離します。トレースの全量を恒久的な正解データにするのではなく、対象期間・agent version・incident class・品質シグナルなどで候補を絞り、代表例、失敗例、稀な重大例を評価集合へ昇格させます。Microsoft Foundryのtrace-to-dataset機能では、max_samplesを指定した場合に低情報量のtraceを除外し、MinHashを使って多様な代表subsetを選ぶと説明されています。一方、サンプリングは完全性を保証しません。頻度の低い重大事故、特定tenantだけの障害、security/privacy境界事例は別の明示的な収集経路を持たせるべきです。

データセットは不変版として扱います。Foundryでは生成結果がversioned datasetとして登録され、OVERWRITEまたはMERGEで次versionを作り、既存versionをin-place変更しません。回帰判定にはdataset nameだけでなくversion/idを固定し、agent/model/configuration側のversionも対応付けます。agent_versionを固定しないtrace jobは複数のactive versionのspanを混在させ得るため、評価対象の同一性を損ないます。

本番traceにはprompt、response、tool result、利用者情報などの機微情報が入り得ます。OpenTelemetryのGenAI semantic conventionsもgen_ai.input.messages等がsensitive information/PIIを含み得ると明示しています。したがって、trace→dataset変換は単なるETLではなく、新しいデータ利用目的への昇格として扱います。収集時のcontent recording、redaction、retention、dataset ACL、region、削除要求、監査証跡を個別に確認します。

Microsoft Foundryではprivate-content redactionはsamplingとは別機能で、既定ではprivate contentをredactし、要件が許す場合だけredact_private_content=falseにできます。これは「既定redactionがあれば安全」を意味しません。固有の規制・契約・tenant境界・秘密情報分類に対して、何がredact対象になるかを検証し、評価に必要な意味情報を消し過ぎていないかも確認します。

provider固有のtrace schemaをそのまま辞典の共通モデルとみなすべきではありません。OpenTelemetryはtrace/log/metric等の共通semantic conventionsとGenAI属性を提供しており、異なるruntime間の相関に使える基盤になります。ただしGenAI semantic conventionsにはdevelopment/mixed stabilityの領域があり、属性名・stabilityをversion付きで管理する必要があります。provider固有フィールドはadapter層でcanonical eval recordへ写像し、原trace locatorと変換versionをprovenanceとして残します。

最低限、評価レコードには入力、観測出力、期待値または評価rubric、trace/source locator、agent/model/config version、取得時刻、privacy処理、dataset versionを関連付けます。期待値が存在しないproduction traceを「正解例」と誤認せず、human reviewやrubric/evaluatorによるラベル付けの有無を区別します。

このループには代表性バイアスがあります。production trafficは既存ユーザーと既存導線に偏り、未リリース機能や未経験edge caseを含みません。Foundryもproduction tracesとsynthetic generationを補完関係として説明しています。したがって、trace-derived setだけでrelease gateを構成せず、設計上のcritical scenario、incident regression、security misuse、rare-event、synthetic/adversarial setを別集合として維持します。

また、trace ingestionには遅延があります。Foundryの資料ではApplication Insightsへのspan取り込みに30–90秒かかり得て、早過ぎるjobは空windowを処理し得るとされています。生成job成功だけをデータ充足の証明にせず、generated_samples、対象期間、agent version、row count、期待するincident traceの包含をreadbackします。

運用controlとしては、(1) dataset昇格条件、(2) samplingとrare-event強制採用、(3) redaction/ACL/retention、(4) immutable version、(5) provenance、(6) evaluator/version固定、(7) regression threshold、(8) dataset drift/refresh、(9) incident後の再現case追加、を明文化します。改善によって失敗例が解消しても、そのcaseを削除せず回帰集合として保持する方が再発検知に有効です。

Microsoft Foundryのtrace-to-dataset機能は具体的な実装例であり、全providerに同等機能があることを意味しません。preview表記、supported region、必要role、SDK/API surfaceは更新され得るため、導入時点の現行documentで再確認が必要です。特にpreview機能をproduction controlの唯一の経路にしないでください。

組織固有のretention/region/permission条件、redaction精度、rare incidentの必要包含率、各providerのschema互換性は一般資料だけでは確定できません。これらはtenant設定と実データ分類を使った安全な検証が必要です。

「本番traceは評価データセットの有力な入力であり、versioned datasetへ昇格して回帰評価へ戻せる。ただし代表性、PII、redaction、version混在、rare-event欠落をcontrolし、trace-derived setだけを完全な品質保証とみなさない。」

• Microsoft Learn, “Convert agent traces into evaluation datasets - Microsoft Foundry” — https://learn.microsoft.com/en-us/azure/foundry/observability/how-to/traces-to-dataset — accessed 2026-10-19. Relevant locators: Intelligent sampling; SDK generation; Run an evaluation; Best practices; Limitations. Confirms versioned datasets, representative sampling, redaction separation, agent_version pinning, ingestion delay, evaluation handoff.
• OpenTelemetry, “Gen AI semantic convention attribute registry” — https://opentelemetry.io/docs/specs/semconv/registry/attributes/gen-ai/ — accessed 2026-10-19. Relevant locators: gen_ai.input.messages / gen_ai.output.messages sensitive-information warnings; evaluation attributes.
• OpenTelemetry, “Semantic Conventions 1.44.0” — https://opentelemetry.io/docs/specs/semconv/ — accessed 2026-10-19. Confirms common semantic naming and versioned semantic-convention surface.
• EA_MASTER row EA-735, Enterprise AI運用辞典_発展拡張_統合管理台帳_EA001-1004. Canonical topic and original proposal provenance: Google Doc 1_9XrDkXlopnx39HlRa1YDO8yRvOEBXup2vvY6senU7s, exact section EA-735 t.0:214694.

AUDIT_HANDOFF: Candidate is intended for independent audit. READY / AUDIT_PASS / GIT_INTEGRATED / ACCEPTED are not asserted here.