{ "format": "agent-article-v0", "article_id": "EA-755", "canonical_url": "/tools/ea-755-continuous-batching-starvation-slo-class", "page_type": "reference", "claim_ids": [], "evidence_ids": [ "EVD-EA-755-URL-F8F3C1CBB630", "EVD-EA-755-URL-F76CB2488D37", "EVD-EA-755-URL-BD2312AAD388", "EVD-EA-755-URL-1A2DD1AD22AF", "EVD-EA-755-URL-2A1735B40525", "EVD-EA-755-URL-4D6F9B1AB3B2", "EA-755-CURRENT-APPROVAL", "EA-755-CURRENT-BODY-READBACK" ], "unknown_ids": [ "EA-755-UNKNOWN-01" ], "operational_object_ids": [], "provider": [], "models": [], "plans": [], "surfaces": [], "regions": [], "current_status": "CURRENT", "observation_status": "SPEC_ONLY", "freshness": "CURRENT", "last_verified": "2026-10-21", "supersedes": [], "superseded_by": [], "provenance": [ "EA755-CANDIDATE-20261022-1134JST-C3", "SRC-EA-755-URL-F8F3C1CBB630", "SRC-EA-755-URL-F76CB2488D37", "SRC-EA-755-URL-BD2312AAD388", "SRC-EA-755-URL-1A2DD1AD22AF", "SRC-EA-755-URL-2A1735B40525", "SRC-EA-755-URL-4D6F9B1AB3B2", "BODY-SHA256:a581b757fcd6e3e8d14ca59fbfe1a25e7a5acb488d6676c44e83aac5610a62e9" ], "article_sources": [ { "id": "EVD-EA-755-URL-F8F3C1CBB630", "evidence_class": "RESEARCH", "title": "vLLM SchedulerConfig, live verified 2026-10-21:", "href": "https://docs.vllm.ai/en/latest/api/vllm/config/scheduler/", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-755-URL-F8F3C1CBB630" ], "supporting_locators": [ "Source / provenance locators", "- vLLM SchedulerConfig, live verified 2026-10-21: https://docs.vllm.ai/en/latest/api/vllm/config/scheduler/" ], "scope": "Source / provenance locators", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EVD-EA-755-URL-F76CB2488D37", "evidence_class": "RESEARCH", "title": "vLLM run-batch CLI, live verified 2026-10-21:", "href": "https://docs.vllm.ai/en/latest/cli/run-batch/", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-755-URL-F76CB2488D37" ], "supporting_locators": [ "Source / provenance locators", "- vLLM run-batch CLI, live verified 2026-10-21: https://docs.vllm.ai/en/latest/cli/run-batch/" ], "scope": "Source / provenance locators", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EVD-EA-755-URL-BD2312AAD388", "evidence_class": "RESEARCH", "title": "vLLM Ascend ShortRequestFirst, live verified 2026-10-21:", "href": "https://docs.vllm.ai/projects/ascend/zh-cn/v0.30.0rc1/user_guide/feature_guide/short_request_first.html", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-755-URL-BD2312AAD388" ], "supporting_locators": [ "Source / provenance locators", "- vLLM Ascend ShortRequestFirst, live verified 2026-10-21: https://docs.vllm.ai/projects/ascend/zh-cn/v0.30.0rc1/user_guide/feature_guide/short_request_first.html" ], "scope": "Source / provenance locators", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EVD-EA-755-URL-1A2DD1AD22AF", "evidence_class": "RESEARCH", "title": "vLLM Ascend Batch-Job-Aware Scheduler, live verified 2026-10-21:", "href": "https://docs.vllm.ai/projects/ascend/en/main/user_guide/feature_guide/batch_job_aware_scheduler.html", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-755-URL-1A2DD1AD22AF" ], "supporting_locators": [ "Source / provenance locators", "- vLLM Ascend Batch-Job-Aware Scheduler, live verified 2026-10-21: https://docs.vllm.ai/projects/ascend/en/main/user_guide/feature_guide/batch_job_aware_scheduler.html" ], "scope": "Source / provenance locators", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EVD-EA-755-URL-2A1735B40525", "evidence_class": "RESEARCH", "title": "FairBatching: Fairness-Aware Batch Formation for LLM Inference, arXiv:2510.14392, 2025-10-16:", "href": "https://arxiv.org/abs/2510.14392", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-755-URL-2A1735B40525" ], "supporting_locators": [ "Source / provenance locators", "- FairBatching: Fairness-Aware Batch Formation for LLM Inference, arXiv:2510.14392, 2025-10-16: https://arxiv.org/abs/2510.14392" ], "scope": "Source / provenance locators", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EVD-EA-755-URL-4D6F9B1AB3B2", "evidence_class": "RESEARCH", "title": "Efficiency and Cost Alignment in Batched LLM Serving via Resource-Fair Scheduling, arXiv:2608.02244, 2026-08-03:", "href": "https://arxiv.org/abs/2608.02244", "supports": [], "limit": "元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。", "origin_class": "SOURCE_PACKET_REFERENCE", "source_or_experiment_ids": [ "SRC-EA-755-URL-4D6F9B1AB3B2" ], "supporting_locators": [ "Source / provenance locators", "- Efficiency and Cost Alignment in Batched LLM Serving via Resource-Fair Scheduling, arXiv:2608.02244, 2026-08-03: https://arxiv.org/abs/2608.02244" ], "scope": "Source / provenance locators", "provenance_status": "SOURCE_PACKET_REFERENCE_PROJECTED" }, { "id": "EA-755-CURRENT-APPROVAL", "evidence_class": "RESEARCH", "title": "現行本文の監査・revision対応", "supports": [ "現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。" ], "limit": "監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。", "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET", "source_or_experiment_ids": [ "EA755-CANDIDATE-20261022-1134JST-C3" ], "supporting_locators": [ "1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER#ea_id=EA-755&revision_id=EA-755-RESEARCH-20261021-R1&candidate_id=EA755-CANDIDATE-20261022-1134JST-C3", "EA-755-RESEARCH-20261021-R1" ], "provenance_status": "CURRENT_CANONICAL_APPROVAL_READBACK" }, { "id": "EA-755-CURRENT-BODY-READBACK", "evidence_class": "IMPL", "title": "現行本文の収録照合", "supports": [ "公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。" ], "limit": "本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。", "checked_at": "2026-10-22", "origin_class": "IMPLEMENTATION_READBACK", "source_or_experiment_ids": [ "BODY-SHA256:a581b757fcd6e3e8d14ca59fbfe1a25e7a5acb488d6676c44e83aac5610a62e9" ], "supporting_locators": [ "content/staging/EA-755.md", "a581b757fcd6e3e8d14ca59fbfe1a25e7a5acb488d6676c44e83aac5610a62e9", "EA-755-RESEARCH-20261021-R1" ], "provenance_status": "CURRENT_APPROVED_BODY_HASH_MATCH" } ], "research_sections": [ { "heading": "要点と前提", "text": "Continuous batchingはGPU利用率とthroughputを高めますが、requestごとのprompt長、decode長、到着時刻、priority、SLOが異なる環境では、単純なFCFSや短い仕事優先だけで公平性は保証されません。運用上はTTFT、ITL/TPOT、tail latency、waiting time、deadline miss、class別goodputを分けて観測し、interactive・batch・background等のSLO classごとに何を保護するかを明示します。\n\nvLLMの現行SchedulerConfigはFCFSとpriority policyを持ち、priorityでは小さいpriority値を先に、同値ならarrival timeで順序付けます。chunked prefillでは `long_prefill_token_threshold` が長いprefillによるtoken budget独占を抑え、adaptive modeはqueued/running request数からfair shareを計算して実効thresholdの下限を調整します。これらは公平性設計の部品ですが、tenant公平性やstarvation freedomそのものを保証する契約ではありません。" }, { "heading": "運用上の意味・failure", "text": "公平性には複数の単位があります。request-count fairnessは各requestへ同程度の機会を与える考え方ですが、prompt/output token数が大きく違えばresource fairnessとは一致しません。priority class fairnessも、高priorityを常に先にすれば低priorityがstarveし得ます。短いrequest優先は平均TTFTを改善し得ますが、長いrequestのwaiting timeを悪化させます。\n\ncontinuous batchingではdecode中requestを優先しすぎると新規prefillが待たされTTFT tailが悪化し、prefillを強く割り込ませすぎるとongoing decodeのITL/TPOTが悪化します。FairBatchingはこのprefill/decode間の計算資源配分を公平性問題として扱い、固定decode優先ではなくdynamic workloadに応じたbatch capacity調整を提案しています。ただし論文benchmarkの改善率を特定runtimeの保証値へ外挿してはなりません。\n\nさらにbatched decodeでは、長いKV-cache footprintを持つrequestと短いrequestの同居により、短いrequestが自分のtoken量以上のbatch costを負担するresource-fairness問題が研究されています。したがって公平性はqueue順だけでなく、batch formationとKV/cache length heterogeneityまで含めて評価します。" }, { "heading": "具体的control / implementation implication", "text": "第一にSLO classを明示します。interactiveはTTFT/ITL、batchはcompletion throughput、backgroundはcost効率など、classごとにpriority、admission、queue budget、deadline、reserved capacityを定義します。priority値だけを設定して完了とせず、低priority classの最大waiting timeまたはminimum service shareを監視します。\n\n第二にagingまたはwait boundを持たせます。短いrequest優先を採用する場合、長いrequestが一定時間を超えたら優先度を上げる、reserved slotを与える、別queueへ分離するなど、starvationを防ぐ境界を設けます。vLLM AscendのShortRequestFirstには `long_max_wait_ms` があり、長いprefillを短いprefillより前へ昇格可能にする最大待ち時間を設定できます。`0` は昇格を無効にし、strict short-request priorityを維持します。\n\n第三にprefill/decode budgetを分離して観測します。class別TTFT p50/p95/p99、ITL/TPOT p95/p99、queue wait、deadline miss、tokens/sec、preemption、KV usage、class別admitted/rejected/completedを収集し、全体平均だけで公平性を判断しません。長prompt/短prompt、高priority/低priority、interactive/batchを混ぜたload testでstarvationとtailを再現します。\n\n第四にpolicy変更は同一traceで比較します。FCFS、priority、short-request-first、chunked prefill threshold等について、throughputだけでなくclass別tailと最大waiting timeを確認します。公平性policyがGPU利用率を下げる場合もあるため、SLO保護とcapacityのtrade-offを明示します。\n\nvLLM AscendのBatch-Job-Aware Schedulerはoffline batch向けで、公式文書がstarvation preventionを実装しないと明記しています。strict latency/fairness requirementがあるonline servingへ流用しないことが重要です。" }, { "heading": "適用境界", "text": "vLLMのpriority policyはrequest priorityとarrival timeによる順序付けであり、weighted fair queueingやtenant quotaを意味しません。複数tenantのresource shareを保証したい場合はgateway/admission layer、separate pools、weighted queues等の上位controlが必要になる場合があります。\n\nShortRequestFirstはvLLM Ascend固有機能で、mainline vLLM一般の契約として扱いません。Batch-Job-Aware Schedulerもoffline batch中心で、starvation preventionを持たないためinteractive SLOへそのまま適用しません。\n\nFairBatchingやresource-fair schedulingの論文は研究成果であり、採用runtimeで同じschedulerが利用可能とは限りません。benchmark条件、model、GPU、trace、prompt/output分布が異なれば効果も変わります。" }, { "heading": "Counterevidence / limitations", "text": "厳密な公平性を強めるほどthroughputや平均latencyが悪化する場合があります。長requestへ最低service shareを予約すると短requestのTTFT改善余地が減り、agingは高priority workloadのtailを悪化させ得ます。公平性は単一の最適値ではなく、business SLOとresource efficiencyのtrade-offです。\n\nrequest単位の公平性はtoken/resource単位の公平性と一致しません。短いrequestを多数投入するtenantがrequest-count shareを占有する可能性もあるため、tenant、request、token、GPU-timeのどの単位を公平性の基準にするかを先に定義します。" }, { "heading": "OPEN_UNKNOWN", "text": "- 対象workloadで公平性の単位をrequest、token、GPU-time、tenantのどれに置くべきか。\n- low-priority classの最大waiting timeまたはminimum service shareの適切な値。\n- prefix-cache hitやspeculative decodingをresource-cost推定へどう織り込むか。\n- disaggregated prefill/decode構成でclass別fairnessをpool間でどう整合させるか。\n- managed inference APIでpriority/aging/resource shareをどこまで利用者が制御できるか。" }, { "heading": "SAFE_WORDING", "text": "「continuous batchingは公平である」「priority schedulingでstarvationを防げる」とは断定しません。「continuous batchingではrequest長・prefill/decode負荷・priority・KV footprintの差によりclass間のtail latencyやwaiting timeが偏り得るため、SLO class、aging/wait bound、prefill/decode budget、class別metricsを明示し、混合workloadでstarvationとtailを実測する」とします。" }, { "heading": "Source / provenance locators", "text": "- vLLM SchedulerConfig, live verified 2026-10-21: https://docs.vllm.ai/en/latest/api/vllm/config/scheduler/\n- vLLM run-batch CLI, live verified 2026-10-21: https://docs.vllm.ai/en/latest/cli/run-batch/\n- vLLM Ascend ShortRequestFirst, live verified 2026-10-21: https://docs.vllm.ai/projects/ascend/zh-cn/v0.30.0rc1/user_guide/feature_guide/short_request_first.html\n- vLLM Ascend Batch-Job-Aware Scheduler, live verified 2026-10-21: https://docs.vllm.ai/projects/ascend/en/main/user_guide/feature_guide/batch_job_aware_scheduler.html\n- FairBatching: Fairness-Aware Batch Formation for LLM Inference, arXiv:2510.14392, 2025-10-16: https://arxiv.org/abs/2510.14392\n- Efficiency and Cost Alignment in Batched LLM Serving via Resource-Fair Scheduling, arXiv:2608.02244, 2026-08-03: https://arxiv.org/abs/2608.02244" } ], "human_url": "/tools/ea-755-continuous-batching-starvation-slo-class", "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-755-continuous-batching-starvation-slo-class", "json_url": "/agent/article.json?path=%2Ftools%2Fea-755-continuous-batching-starvation-slo-class" }