Agent Replay／Forensics

Agent障害・誤操作・不正tool call・prompt injection・policy逸脱の事後検証では、通常のobservability traceだけでは「何が起きたか」を完全に再構成できない。特にLLM呼出し、retrieval、外部API、Web/GUI操作は非決定的・外部状態依存・副作用付きである。将来版では、trace保存、workflow checkpoint、forensic evidence preservation、safe replayを別概念として扱い、再現可能性を過大評価しない運用章が必要。

Enterprise AI Core / governance / audit / incident response / implementation / interoperability / non-LLM component。Provider固有機能ではなくCore設計を主対象とし、Temporal・LangGraph等はimplementation precedentとして扱う。

• Agent実行を後から検証可能にするため最低限何を保存すべきか。
• distributed tracing、checkpoint replay、digital forensicsはどこまで重なり、どこから別物か。
• LLM/tool/retrievalを含むagentでbit-exact replayまたはbehavioral replayはどの条件で成立／不成立か。
• 外部副作用を再発火させず安全に再現するにはどの境界が必要か。

• [Official forensic guidance] Guide to Integrating Forensic Techniques into Incident Response / NIST / NIST SP 800-86 Final, 2006-08, page updated 2021-06-24; accessed 2026-09-14 / https://csrc.nist.gov/pubs/sp/800/86/final / locator: abstract + forensic data-source/process guidance / VERIFIED_SPEC / support+context. NISTはforensicsをincident investigation/troubleshootingのための収集・検査・分析・報告として位置づけ、法務・規制適合も別途必要とする。
• [Author-maintained implementation docs] Event History / Temporal documentation repository / current main, accessed 2026-09-14 / https://github.com/temporalio/documentation/blob/main/docs/encyclopedia/event-history/event-history.mdx / locator: complete durable Event History and replay to recreate workflow state / OSS_PRACTICE / support.
• [Author-maintained implementation docs] Temporal Workflow Definition / Temporal documentation repository / current main, accessed 2026-09-14 / https://github.com/temporalio/documentation/blob/main/docs/encyclopedia/workflow/workflow-definition.mdx / locator: deterministic constraints; LLM/API/database interactions belong outside replay path in Activities / OSS_PRACTICE / support+limit.
• [Author-maintained implementation docs] Event History walkthrough with Python SDK / Temporal / current main, accessed 2026-09-14 / https://github.com/temporalio/documentation/blob/main/docs/encyclopedia/event-history/python.mdx / locator: during replay Commands are matched to stored Events; completed Activity results are reused; nondeterministic mismatch breaks replay / OSS_PRACTICE / support+counter.
• [Official observability spec] Tracing SDK / OpenTelemetry / current spec, accessed 2026-09-14 / https://opentelemetry.io/docs/specs/otel/trace/sdk/ / locator: sampling controls collected/exported traces; unsampled spans may discard tracing data / VERIFIED_SPEC / limit.
• [Official AI tracing semantic spec] OpenInference Specification + Semantic Conventions / Arize AI / current, accessed 2026-09-14 / https://arize-ai.github.io/openinference/spec/ ; https://arize-ai.github.io/openinference/spec/semantic_conventions.html / locator: LLM, AGENT, TOOL, RETRIEVER, GUARDRAIL, EVALUATOR, PROMPT span kinds and AI-specific attributes / VERIFIED_SPEC + OSS_PRACTICE / support.
• [Author-maintained agent implementation docs] Use time-travel + Persistence / LangGraph / current docs, accessed 2026-09-14 / https://docs.langchain.com/oss/python/langgraph/use-time-travel ; https://docs.langchain.com/oss/python/langgraph/persistence / locator: checkpoint replay skips prior saved nodes but re-executes subsequent LLM/API/interrupt calls; replay may therefore produce different results / OSS_PRACTICE / support+counter.

• 「trace」「checkpoint」「forensic record」「replay」は同義ではない。OpenTelemetry/OpenInferenceは実行経路・属性の可観測性を提供するが、sampling・masking・instrumentation coverage次第で記録自体が欠けうるため、traceのみを完全なforensic evidenceと呼ぶのは不適切。
• AI forensic manifestのCore候補は、run/trace/session ID、時刻、actor/agent identity、delegation/policy decision、model provider+model/deployment/revision識別子、system/developer/user input、prompt/template version、tool schema/version、tool arguments/results、retrieval query+returned artifact identifiers/content hash/version、workflow/graph/code revision、checkpoint/state、human approval、guardrail/evaluator version、external side-effect receipt、error/retry/cancellation、artifact hashesを相互参照可能に保存する構造。
• Temporalは「決定的orchestration + Event History + side effectをActivityへ隔離」の強いprecedent。過去Activityを再実行せず結果を履歴から復元できる一方、LLM/API等をWorkflow本体に置かない設計が明示される。これはAgent replayで、非決定的処理と副作用をrecorded boundaryの外側へ分離すべき根拠になる。
• LangGraphのtime-travelはcheckpoint以降のLLM/APIを実際に再実行するため、同一checkpointから同一outputが保証されない。したがって「state replay」と「historical output reproduction」を分ける必要がある。
• 実運用上は少なくとも二つの再現モードを分離すべき: (A) evidence reconstruction＝保存済みinput/output/stateを読み出して当時の因果列を再構成、(B) controlled re-execution＝外部副作用をstub/mock/recorded responseへ置換した隔離環境で再実行しdivergenceを測る。後者は当時の実行そのものを証明しない。
• exact replayは、モデルbackend更新、sampling/nondeterminism、retrieval corpus変更、tool/API変更、時刻・乱数、外部Web状態、policy/config更新で破れる。model nameだけでなく可能な範囲でdeployment/revision/endpoint/config snapshotまで保存する必要がある。

• OTel traceをsamplingすると未採取traceはforensic reconstruction不能になり得る。observability最適化のsampling率とforensic retention要件は別設計。
• 完全なprompt/tool I/O保存は秘密情報・個人情報・tenant dataを含み得る。完全記録を安全性と同義にしない。data minimization、masking、暗号化、access control、retention/legal holdを別途定義する。
• LLMは同じ入力でも再実行結果が変わり得る。temperature/seed等を保存しても、provider backendやmodel revisionの同一性まで保証できなければbit-exact reproductionは保証しない。
• 外部side effect（メール送信、決済、DB更新、権限変更、GUI操作）をforensic replayで再発火させてはならない。replay環境はdefault-denyで、recorded response/stubまたは明示的simulationを使用する。
• Temporalのdeterministic replayは一般LLM agentの万能な再現保証ではない。これはorchestration実装precedentであり、provider外部状態まで固定する標準ではない。
• NIST SP 800-86はAI固有文書ではなく2006年Final。AI artifact固有schemaは別途必要。

• OpenTelemetry/OpenInferenceの記録粒度はSDK/instrumentation/provider integrationによって異なる。
• Provider側のmodel revision、hidden system state、server-side tool implementation等は利用者が取得できない場合がある。その場合はUNKNOWNを維持し、取得可能なmodel ID、request ID、response metadata、timestampを保存する。
• Checkpoint/time-travelは採用framework・persistence backendの有無に依存する。

Fragmented but implementable。Trace標準（OTel）、AI semantic conventions（OpenInference）、durable workflow history/replay（Temporal）、agent checkpoint/time-travel（LangGraph）、digital forensic guidance（NIST）は存在する。一方、model/provider/tool/RAG/workflow/human approvalを横断してforensic completenessとsafe replayを一つに規定する普遍的Agent Replay標準は今回確認できず、UNKNOWNのまま。

普遍的なforensic replay fidelity benchmarkは今回確認できずUNKNOWN。後続Work用TEST_PROFILE（未実施・PROPOSAL）: 固定fixture環境で(1) event completeness、(2) causal reconstruction率、(3) checkpoint再開後divergence、(4) tool response record/reuse率、(5) destructive side-effect suppression、(6) model/retrieval/version provenance coverage、(7) incident root-cause到達時間を測る。model/providerの再実行結果一致率はforensic truthとは別metricにする。

Security: replay runnerにはproduction credentialを与えず、network/tool/writeをdefault-deny。Evidence storeはappend-only/immutability、hash、access loggingを検討。 Privacy: prompt/retrieval/tool I/Oは高感度になり得るためfield-level masking、retention、legal hold、purpose limitationが必要。 Audit: trace IDだけでなくartifact/version/policy/approval/side-effect receiptを結び付ける。 Cost: 100%高粒度記録はstorage/telemetry costを増す。通常observability samplingと、security-critical runのforensic-grade retentionを分離する設計が現実的。 Operability: replay toolingはincident時だけでなくrelease前のcompatibility testにも利用できるが、本番副作用を隔離する。

「Agentのforensicsはtrace保存だけでは完成しない。後から因果列を再構成できるprovenanceと、外部副作用を隔離したcontrolled replayを分けて設計する。LLM・retrieval・外部toolを含む実行では、同じ入力から同じ出力が得られるとは限らないため、replayは『当時の事実の再構成』と『現在条件での再実行』を明確に区別する。」

EA-051 AI Telemetry、EA-053 AI Incident Response、EA-054 Kill Switch/Rollbackとcross-reference。将来本文では「Observe→Preserve→Reconstruct→Controlled Replay→Compare→Remediate」の運用ループ候補として整理。Provider mapping時はrequest ID/model revision availability、trace export、retention、checkpoint/replay機能を別々に確認する。

OPEN: provider横断のagent forensic/replay標準、各providerのhidden model revision取得可能性、tamper-evident evidence exportの共通仕様、法域別retention要件。STOP: universal standardが確認できるか、主要provider mappingで共通最小manifestが確定した時点で再採集。

---

---

NIST SP 800-86 remains Final but is not AI-specific. Temporal replay reuses prior Activity results and requires nondeterministic LLM/API/database I/O outside Workflow replay in Activities. OpenTelemetry sampling can omit export/recording data; sampled traces are not presumed forensic-complete.