{
  "format": "agent-article-v0",
  "article_id": "EA-735",
  "canonical_url": "/tools/ea-735",
  "page_type": "reference",
  "claim_ids": [],
  "evidence_ids": [
    "EVD-EA-735-URL-EBC778D0ECAB",
    "EVD-EA-735-URL-E1038C581BD2",
    "EVD-EA-735-URL-5E36EEBF9907",
    "EA-735-CURRENT-APPROVAL",
    "EA-735-CURRENT-BODY-READBACK"
  ],
  "unknown_ids": [
    "EA-735-UNKNOWN-01",
    "EA-735-UNKNOWN-02"
  ],
  "operational_object_ids": [],
  "provider": [],
  "models": [],
  "plans": [],
  "surfaces": [],
  "regions": [],
  "current_status": "CURRENT",
  "observation_status": "SPEC_ONLY",
  "freshness": "CURRENT",
  "last_verified": "2026-10-19",
  "supersedes": [],
  "superseded_by": [],
  "provenance": [
    "ORPHAN-RESCUE-EA735-20261019-C2",
    "SRC-EA-735-URL-EBC778D0ECAB",
    "SRC-EA-735-URL-E1038C581BD2",
    "SRC-EA-735-URL-5E36EEBF9907",
    "BODY-SHA256:69068e8fe2b0d3e9c0fd6f2369da787e0927028ac0beefbb211f7f8bd5911b56"
  ],
  "article_sources": [
    {
      "id": "EVD-EA-735-URL-EBC778D0ECAB",
      "evidence_class": "RESEARCH",
      "title": "Microsoft Foundry” —",
      "href": "https://learn.microsoft.com/en-us/azure/foundry/observability/how-to/traces-to-dataset",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-735-URL-EBC778D0ECAB"
      ],
      "supporting_locators": [
        "監査用source / provenance locator",
        "- Microsoft Foundry” — https://learn.microsoft.com/en-us/azure/foundry/observability/how-to/traces-to-dataset"
      ],
      "scope": "監査用source / provenance locator",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-735-URL-E1038C581BD2",
      "evidence_class": "RESEARCH",
      "title": "2. OpenTelemetry, “Gen AI semantic convention attribute registry” —",
      "href": "https://opentelemetry.io/docs/specs/semconv/registry/attributes/gen-ai/",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-735-URL-E1038C581BD2"
      ],
      "supporting_locators": [
        "監査用source / provenance locator",
        "2. OpenTelemetry, “Gen AI semantic convention attribute registry” — https://opentelemetry.io/docs/specs/semconv/registry/attributes/gen-ai/"
      ],
      "scope": "監査用source / provenance locator",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EVD-EA-735-URL-5E36EEBF9907",
      "evidence_class": "RESEARCH",
      "title": "2. OpenTelemetry, “Gen AI semantic convention attribute registry” —",
      "href": "https://opentelemetry.io/docs/specs/semconv/",
      "supports": [],
      "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。",
      "origin_class": "SOURCE_PACKET_REFERENCE",
      "source_or_experiment_ids": [
        "SRC-EA-735-URL-5E36EEBF9907"
      ],
      "supporting_locators": [
        "監査用source / provenance locator",
        "2. OpenTelemetry, “Gen AI semantic convention attribute registry” — https://opentelemetry.io/docs/specs/semconv/"
      ],
      "scope": "監査用source / provenance locator",
      "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED"
    },
    {
      "id": "EA-735-CURRENT-APPROVAL",
      "evidence_class": "RESEARCH",
      "title": "現行本文の監査・revision対応",
      "supports": [
        "現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。"
      ],
      "limit": "監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。",
      "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET",
      "source_or_experiment_ids": [
        "ORPHAN-RESCUE-EA735-20261019-C2"
      ],
      "supporting_locators": [
        "1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER#ea_id=EA-735&revision_id=EA-735-RESEARCH-20261019-R1&candidate_id=ORPHAN-RESCUE-EA735-20261019-C2",
        "EA-735-RESEARCH-20261019-R1"
      ],
      "provenance_status": "CURRENT_CANONICAL_APPROVAL_READBACK"
    },
    {
      "id": "EA-735-CURRENT-BODY-READBACK",
      "evidence_class": "IMPL",
      "title": "現行本文の収録照合",
      "supports": [
        "公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。"
      ],
      "limit": "本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。",
      "checked_at": "2026-10-19",
      "origin_class": "IMPLEMENTATION_READBACK",
      "source_or_experiment_ids": [
        "BODY-SHA256:69068e8fe2b0d3e9c0fd6f2369da787e0927028ac0beefbb211f7f8bd5911b56"
      ],
      "supporting_locators": [
        "content/staging/EA-735.md",
        "69068e8fe2b0d3e9c0fd6f2369da787e0927028ac0beefbb211f7f8bd5911b56",
        "EA-735-RESEARCH-20261019-R1"
      ],
      "provenance_status": "CURRENT_APPROVED_BODY_HASH_MATCH"
    }
  ],
  "research_sections": [
    {
      "heading": "要点と前提",
      "text": "本番運用で得たエージェントのトレースは、障害調査のためだけの観測ログではありません。適切に選別・匿名化・版管理すれば、実際の利用挙動を評価データセットへ昇格させ、次の回帰評価へ戻す入力になります。Microsoft Foundryは、本番トレースから評価用のversioned datasetを生成し、そのデータセットを評価runへ渡す一連の流れを提供しています。ここで重要なのは「ログを保存する」ことではなく、production behavior → curated dataset → evaluation → 改善後の再評価という閉ループを運用対象として設計することです。"
    },
    {
      "heading": "何を実装するか",
      "text": "運用系では、trace retentionとeval dataset lifecycleを分離します。トレースの全量を恒久的な正解データにするのではなく、対象期間・agent version・incident class・品質シグナルなどで候補を絞り、代表例、失敗例、稀な重大例を評価集合へ昇格させます。Microsoft Foundryのtrace-to-dataset機能では、max_samplesを指定した場合に低情報量のtraceを除外し、MinHashを使って多様な代表subsetを選ぶと説明されています。一方、サンプリングは完全性を保証しません。頻度の低い重大事故、特定tenantだけの障害、security/privacy境界事例は別の明示的な収集経路を持たせるべきです。\n\n\nデータセットは不変版として扱います。Foundryでは生成結果がversioned datasetとして登録され、OVERWRITEまたはMERGEで次versionを作り、既存versionをin-place変更しません。回帰判定にはdataset nameだけでなくversion/idを固定し、agent/model/configuration側のversionも対応付けます。agent_versionを固定しないtrace jobは複数のactive versionのspanを混在させ得るため、評価対象の同一性を損ないます。"
    },
    {
      "heading": "プライバシーとアクセス境界",
      "text": "本番traceにはprompt、response、tool result、利用者情報などの機微情報が入り得ます。OpenTelemetryのGenAI semantic conventionsもgen_ai.input.messages等がsensitive information/PIIを含み得ると明示しています。したがって、trace→dataset変換は単なるETLではなく、新しいデータ利用目的への昇格として扱います。収集時のcontent recording、redaction、retention、dataset ACL、region、削除要求、監査証跡を個別に確認します。\n\n\nMicrosoft Foundryではprivate-content redactionはsamplingとは別機能で、既定ではprivate contentをredactし、要件が許す場合だけredact_private_content=falseにできます。これは「既定redactionがあれば安全」を意味しません。固有の規制・契約・tenant境界・秘密情報分類に対して、何がredact対象になるかを検証し、評価に必要な意味情報を消し過ぎていないかも確認します。"
    },
    {
      "heading": "schemaとprovider境界",
      "text": "provider固有のtrace schemaをそのまま辞典の共通モデルとみなすべきではありません。OpenTelemetryはtrace/log/metric等の共通semantic conventionsとGenAI属性を提供しており、異なるruntime間の相関に使える基盤になります。ただしGenAI semantic conventionsにはdevelopment/mixed stabilityの領域があり、属性名・stabilityをversion付きで管理する必要があります。provider固有フィールドはadapter層でcanonical eval recordへ写像し、原trace locatorと変換versionをprovenanceとして残します。\n\n\n最低限、評価レコードには入力、観測出力、期待値または評価rubric、trace/source locator、agent/model/config version、取得時刻、privacy処理、dataset versionを関連付けます。期待値が存在しないproduction traceを「正解例」と誤認せず、human reviewやrubric/evaluatorによるラベル付けの有無を区別します。"
    },
    {
      "heading": "failureとcontrol",
      "text": "このループには代表性バイアスがあります。production trafficは既存ユーザーと既存導線に偏り、未リリース機能や未経験edge caseを含みません。Foundryもproduction tracesとsynthetic generationを補完関係として説明しています。したがって、trace-derived setだけでrelease gateを構成せず、設計上のcritical scenario、incident regression、security misuse、rare-event、synthetic/adversarial setを別集合として維持します。\n\n\nまた、trace ingestionには遅延があります。Foundryの資料ではApplication Insightsへのspan取り込みに30–90秒かかり得て、早過ぎるjobは空windowを処理し得るとされています。生成job成功だけをデータ充足の証明にせず、generated_samples、対象期間、agent version、row count、期待するincident traceの包含をreadbackします。\n\n\n運用controlとしては、(1) dataset昇格条件、(2) samplingとrare-event強制採用、(3) redaction/ACL/retention、(4) immutable version、(5) provenance、(6) evaluator/version固定、(7) regression threshold、(8) dataset drift/refresh、(9) incident後の再現case追加、を明文化します。改善によって失敗例が解消しても、そのcaseを削除せず回帰集合として保持する方が再発検知に有効です。"
    },
    {
      "heading": "適用境界とOPEN_UNKNOWN",
      "text": "Microsoft Foundryのtrace-to-dataset機能は具体的な実装例であり、全providerに同等機能があることを意味しません。preview表記、supported region、必要role、SDK/API surfaceは更新され得るため、導入時点の現行documentで再確認が必要です。特にpreview機能をproduction controlの唯一の経路にしないでください。"
    },
    {
      "heading": "OPEN_UNKNOWN",
      "text": "組織固有のretention/region/permission条件、redaction精度、rare incidentの必要包含率、各providerのschema互換性は一般資料だけでは確定できません。これらはtenant設定と実データ分類を使った安全な検証が必要です。"
    },
    {
      "heading": "SAFE_WORDING",
      "text": "「本番traceは評価データセットの有力な入力であり、versioned datasetへ昇格して回帰評価へ戻せる。ただし代表性、PII、redaction、version混在、rare-event欠落をcontrolし、trace-derived setだけを完全な品質保証とみなさない。」"
    },
    {
      "heading": "監査用source / provenance locator",
      "text": "1. Microsoft Learn, “Convert agent traces into evaluation datasets - Microsoft Foundry” — https://learn.microsoft.com/en-us/azure/foundry/observability/how-to/traces-to-dataset — accessed 2026-10-19. Relevant locators: Intelligent sampling; SDK generation; Run an evaluation; Best practices; Limitations. Confirms versioned datasets, representative sampling, redaction separation, agent_version pinning, ingestion delay, evaluation handoff.\n2. OpenTelemetry, “Gen AI semantic convention attribute registry” — https://opentelemetry.io/docs/specs/semconv/registry/attributes/gen-ai/ — accessed 2026-10-19. Relevant locators: gen_ai.input.messages / gen_ai.output.messages sensitive-information warnings; evaluation attributes.\n3. OpenTelemetry, “Semantic Conventions 1.44.0” — https://opentelemetry.io/docs/specs/semconv/ — accessed 2026-10-19. Confirms common semantic naming and versioned semantic-convention surface.\n4. EA_MASTER row EA-735, Enterprise AI運用辞典_発展拡張_統合管理台帳_EA001-1004. Canonical topic and original proposal provenance: Google Doc 1_9XrDkXlopnx39HlRa1YDO8yRvOEBXup2vvY6senU7s, exact section EA-735 t.0:214694.\n\n\nAUDIT_HANDOFF: Candidate is intended for independent audit. READY / AUDIT_PASS / GIT_INTEGRATED / ACCEPTED are not asserted here."
    }
  ],
  "human_url": "/tools/ea-735",
  "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-735",
  "json_url": "/agent/article.json?path=%2Ftools%2Fea-735"
}