AI Latency／SLO工学

model API latencyだけを測ると、queue、retrieval、tool、retry、streaming、human approvalを含む実際の業務待ち時間を見失う。平均値はtail latencyと失敗したuser journeyを隠す。

Enterprise AI Core / performance / reliability / observability / benchmark

AI SLOはmodel-call単位ではなくcritical user journeyとstage breakdownを併用すべきか。

• [SRE practice] Google SRE Workbook, “Implementing SLOs”, Steven Thurgood et al., accessed 2026-09-16. https://sre.google/workbook/implementing-slos/ — SLO/SLI/error budget、user-centric journey、latency threshold、90%/99%等複数grade、dependency modelingを提示。 relation=support.
• [SRE practice] Google SRE Book, “Service Level Objectives”, Chris Jones, John Wilkes, Niall Murphy et al., accessed 2026-09-16. https://sre.google/sre-book/service-level-objectives/ — SLI/SLOをuser-relevant behaviorとして定義し、複数percentile/thresholdとworkload class別objectiveを例示。 relation=support/context.

• AI latencyは queue wait + retrieval + prompt assembly + provider admission + TTFT + generation + tool waits + validation + approval + commit に分解する。
• interactive、background、batch、human-in-loopを別SLO classにする。
• model TTFT/TPOTだけでなく end-to-end completion、time-to-useful-first-result、deadline success ratioを持つ。
• P50/P95/P99とthreshold-based good-event ratioを併用し、平均のみを採用しない。

速い誤答はSLO成功ではない。latencyだけを最適化するとquality/safety/costを劣化させ得る。streamingはperceived latencyを改善しても業務完了時刻を短縮しない場合がある。retry/fallbackはavailabilityを上げつつtail latencyを悪化させる。

workload class、model/provider/region、streaming/tool availability、queue/admission policy、provisioned/shared capacity。

将来Core候補 AI_JOURNEY_SLO_CONTRACT: journey ID, workload class, start/end semantic points, stage spans, deadline, TTFT, TPOT, end-to-end duration, success/quality gate, percentile/threshold objectives, error budget, dependency attribution, cost。

固定prompt長/output長だけでなくshort/long context、tool 0/1/N、RAG、retry、concurrency、cold/warmを層別。P50/P95/P99、deadline-good-event ratio、quality-qualified latency、costを同時測定。

traceにはprompt本文を必須とせず、hash/size/classificationで機微情報を避ける。SLO breachをprovider責任へ自動帰属せずstage spanで根拠化。

「AI性能はtokens/secだけでは測れない。利用者が必要な結果を得るまでのjourneyをSLO化し、queue・retrieval・model・tool・retry・approvalを分解してtail latencyを管理する。」

EA-093 admission/retry telemetryを同じtraceへ接続。EA-091 routeごとのquality-qualified latencyを比較し、fallbackの速度だけでrouteを選ばない。

各providerの公開SLA/latency guarantee、OpenTelemetry GenAI semantic conventionsの公開後current revisionは再pin対象。tenant workload SLO値はorganization-specificでUNKNOWNのまま。SLO contractとfixture確立につき停止条件充足。

---