# AI Latency／SLO工学 CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-094-ai-latency-slo CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-094-URL-06C934AF218E, EVD-EA-094-URL-7B9A3E66DBB9, EA-094-R11-RESEARCH, EA-094-R11-WEB-READBACK UNKNOWN_IDS: EA-094-UNKNOWN-01, EA-094-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「AI性能はtokens/secだけでは測れない。利用者が必要な結果を得るまでのjourneyをSLO化し、queue・retrieval・model・tool・retry・approvalを分解してtail latencyを管理する。」 ## Current judgment - AI latencyは `queue wait + retrieval + prompt assembly + provider admission + TTFT + generation + tool waits + validation + approval + commit` に分解する。 - interactive、background、batch、human-in-loopを別SLO classにする。 - model TTFT/TPOTだけでなく end-to-end completion、time-to-useful-first-result、deadline success ratioを持つ。 - P50/P95/P99とthreshold-based good-event ratioを併用し、平均のみを採用しない。 ## Scope Enterprise AI Core / performance / reliability / observability / benchmark ## Confirmed - AI latencyは `queue wait + retrieval + prompt assembly + provider admission + TTFT + generation + tool waits + validation + approval + commit` に分解する。 - interactive、background、batch、human-in-loopを別SLO classにする。 - model TTFT/TPOTだけでなく end-to-end completion、time-to-useful-first-result、deadline success ratioを持つ。 - P50/P95/P99とthreshold-based good-event ratioを併用し、平均のみを採用しない。 ## UNKNOWN - EA-094-UNKNOWN-01: 各providerの公開SLA/latency guarantee、OpenTelemetry GenAI semantic conventionsの公開後current revisionは再pin対象。tenant workload SLO値はorganization-specificでUNKNOWNのまま。SLO contractとfixture確立につき停止条件充足。 --- - EA-094-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-094-URL-06C934AF218E (RESEARCH): 1. [SRE practice] Google SRE Workbook, “Implementing SLOs”, Steven Thurgood et al., accessed 2026-09-16. — https://sre.google/workbook/implementing-slos/ - EVD-EA-094-URL-7B9A3E66DBB9 (RESEARCH): 2. [SRE practice] Google SRE Book, “Service Level Objectives”, Chris Jones, John Wilkes, Niall Murphy et al., accessed 2026-09-16. — https://sre.google/sre-book/service-level-objectives/ - EA-094-R11-RESEARCH (RESEARCH): EA-094 監査済みresearch / canonical revision binding - EA-094-R11-WEB-READBACK (IMPL): EA-094 Web body identity / canonical readback ## Failure / limits 速い誤答はSLO成功ではない。latencyだけを最適化するとquality/safety/costを劣化させ得る。streamingはperceived latencyを改善しても業務完了時刻を短縮しない場合がある。retry/fallbackはavailabilityを上げつつtail latencyを悪化させる。 ## Failure / limits 各providerの公開SLA/latency guarantee、OpenTelemetry GenAI semantic conventionsの公開後current revisionは再pin対象。tenant workload SLO値はorganization-specificでUNKNOWNのまま。SLO contractとfixture確立につき停止条件充足。 --- ## Practice workload class、model/provider/region、streaming/tool availability、queue/admission policy、provisioned/shared capacity。 ## Practice 将来Core候補 `AI_JOURNEY_SLO_CONTRACT`: journey ID, workload class, start/end semantic points, stage spans, deadline, TTFT, TPOT, end-to-end duration, success/quality gate, percentile/threshold objectives, error budget, dependency attribution, cost。 ## Practice 固定prompt長/output長だけでなくshort/long context、tool 0/1/N、RAG、retry、concurrency、cold/warmを層別。P50/P95/P99、deadline-good-event ratio、quality-qualified latency、costを同時測定。 ## Practice traceにはprompt本文を必須とせず、hash/size/classificationで機微情報を避ける。SLO breachをprovider責任へ自動帰属せずstage spanで根拠化。 ## Practice EA-093 admission/retry telemetryを同じtraceへ接続。EA-091 routeごとのquality-qualified latencyを比較し、fallbackの速度だけでrouteを選ばない。 ## WHY_THIS_MATTERS_TO_UPDATE model API latencyだけを測ると、queue、retrieval、tool、retry、streaming、human approvalを含む実際の業務待ち時間を見失う。平均値はtail latencyと失敗したuser journeyを隠す。 ## SCOPE_ROUTING Enterprise AI Core / performance / reliability / observability / benchmark ## CLAIM_OR_RESEARCH_QUESTION AI SLOはmodel-call単位ではなくcritical user journeyとstage breakdownを併用すべきか。 ## EVIDENCE TABLE 1. [SRE practice] Google SRE Workbook, “Implementing SLOs”, Steven Thurgood et al., accessed 2026-09-16. https://sre.google/workbook/implementing-slos/ — SLO/SLI/error budget、user-centric journey、latency threshold、90%/99%等複数grade、dependency modelingを提示。 relation=support. 2. [SRE practice] Google SRE Book, “Service Level Objectives”, Chris Jones, John Wilkes, Niall Murphy et al., accessed 2026-09-16. https://sre.google/sre-book/service-level-objectives/ — SLI/SLOをuser-relevant behaviorとして定義し、複数percentile/thresholdとworkload class別objectiveを例示。 relation=support/context. ## FINDINGS - AI latencyは `queue wait + retrieval + prompt assembly + provider admission + TTFT + generation + tool waits + validation + approval + commit` に分解する。 - interactive、background、batch、human-in-loopを別SLO classにする。 - model TTFT/TPOTだけでなく end-to-end completion、time-to-useful-first-result、deadline success ratioを持つ。 - P50/P95/P99とthreshold-based good-event ratioを併用し、平均のみを採用しない。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE 速い誤答はSLO成功ではない。latencyだけを最適化するとquality/safety/costを劣化させ得る。streamingはperceived latencyを改善しても業務完了時刻を短縮しない場合がある。retry/fallbackはavailabilityを上げつつtail latencyを悪化させる。 ## AVAILABILITY_GATES workload class、model/provider/region、streaming/tool availability、queue/admission policy、provisioned/shared capacity。 ## IMPLEMENTATION_STATE 将来Core候補 `AI_JOURNEY_SLO_CONTRACT`: journey ID, workload class, start/end semantic points, stage spans, deadline, TTFT, TPOT, end-to-end duration, success/quality gate, percentile/threshold objectives, error budget, dependency attribution, cost。 ## BENCHMARK_OR_EVAL 固定prompt長/output長だけでなくshort/long context、tool 0/1/N、RAG、retry、concurrency、cold/warmを層別。P50/P95/P99、deadline-good-event ratio、quality-qualified latency、costを同時測定。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY traceにはprompt本文を必須とせず、hash/size/classificationで機微情報を避ける。SLO breachをprovider責任へ自動帰属せずstage spanで根拠化。 ## SAFE_WORDING_FOR_FUTURE_BOOK 「AI性能はtokens/secだけでは測れない。利用者が必要な結果を得るまでのjourneyをSLO化し、queue・retrieval・model・tool・retry・approvalを分解してtail latencyを管理する。」 ## UPDATE_WORK_HANDOFF EA-093 admission/retry telemetryを同じtraceへ接続。EA-091 routeごとのquality-qualified latencyを比較し、fallbackの速度だけでrouteを選ばない。 ## OPEN_UNKNOWN / STOP_CONDITION 各providerの公開SLA/latency guarantee、OpenTelemetry GenAI semantic conventionsの公開後current revisionは再pin対象。tenant workload SLO値はorganization-specificでUNKNOWNのまま。SLO contractとfixture確立につき停止条件充足。 --- NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.