# Quota／Rate-limit Engineering CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-093-quota-rate-limit-engineering CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-093-URL-7D984B724516, EVD-EA-093-URL-CDF6938D58B7, EVD-EA-093-URL-93828C7F16D6, EA-093-R11-RESEARCH, EA-093-R11-WEB-READBACK UNKNOWN_IDS: EA-093-UNKNOWN-01, EA-093-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「Rate limitはエラー処理ではなくcapacity controlである。admission、queue、server hint、bounded retry、fallbackを一つの制御系として設計する。」 ## Current judgment - 429は単一原因ではない。configured quota、effective rate limit、shared capacity pressure、request-size estimate、concurrencyを分離観測する。 - retryは `retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter` とする。 - admission controlをretryより前に置き、priority class、token estimate、deadline、cost ceilingで受理制御する。 - queue depthとoldest ageをquota pressureの先行指標として扱う。 ## Scope Enterprise AI Core / reliability / performance / cost / provider mapping ## Confirmed - 429は単一原因ではない。configured quota、effective rate limit、shared capacity pressure、request-size estimate、concurrencyを分離観測する。 - retryは `retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter` とする。 - admission controlをretryより前に置き、priority class、token estimate、deadline、cost ceilingで受理制御する。 - queue depthとoldest ageをquota pressureの先行指標として扱う。 ## UNKNOWN - EA-093-UNKNOWN-01: OpenAI/Anthropic/AWSを含むexact current header・tier・quota matrixは再pin対象。live saturation test未実施。主要control contract確立につき停止条件充足。 --- --- - EA-093-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-093-URL-7D984B724516 (RESEARCH): 1. [official product docs / PRODUCT_VOLATILE] Google Cloud, “Throughput quota — Generative AI on Vertex AI”, last updated 2026-01-02, accessed 2026-09-16. — https://docs.cloud.google.com/vertex-ai/generative-ai/docs/resources/throughput-quota - EVD-EA-093-URL-CDF6938D58B7 (RESEARCH): 2. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Manage Azure OpenAI quota”, accessed 2026-09-16. — https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/quota - EVD-EA-093-URL-93828C7F16D6 (RESEARCH): 3. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Run provisioned throughput deployments in production”, accessed 2026-09-16. — https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/provisioned-get-started - EA-093-R11-RESEARCH (RESEARCH): EA-093 監査済みresearch / canonical revision binding - EA-093-R11-WEB-READBACK (IMPL): EA-093 Web body identity / canonical readback ## Failure / limits quota increaseはshared capacityを保証しない。retry-afterを無視した即時retryはthundering herdを悪化。max_tokens等のrequest設定がrate accountingへ影響し得るため、請求tokenとrate-limit tokenを混同しない。 ## Failure / limits OpenAI/Anthropic/AWSを含むexact current header・tier・quota matrixは再pin対象。live saturation test未実施。主要control contract確立につき停止条件充足。 --- --- ## Practice provider/model/deployment/region/account tier、PAYG vs provisioned、RPM/TPM/concurrency/batch limits、quota approval。すべてPRODUCT_VOLATILE。 ## Practice 将来Core候補 `AI_ADMISSION_AND_RETRY_CONTRACT`: provider/model/deployment, quota class, estimated input/output tokens, priority, deadline, concurrency, queue depth/age, rate-limit headers, attempt count, backoff/jitter, retry budget, fallback, final disposition。 ## Practice burst、sustained load、large max-output、mixed priority、429/5xx/timeout注入でsuccess ratio、queue age、retry amplification、deadline miss、cost amplification、fairnessを測る。 ## Practice priorityはauthorizationされた業務classに固定。retryでside effectを重複させない。全attemptのcostとtrace lineageを集約。 ## Practice EA-094のlatency budgetにqueue/retry時間を必ず含める。公開直前にprovider別header/limit仕様を再pin。 ## Practice Vertex AI Dynamic Shared Quota has no fixed per-project usage limit; 429 may represent temporary shared-pool pressure and must not automatically be interpreted as fixed-quota exhaustion. ## WHY_THIS_MATTERS_TO_UPDATE 429/resource exhaustedは障害と同じ見た目でも、共有capacity、configured quota、request token budget、burst/concurrency等で原因と対処が異なる。無制限retryはretry storm・cost amplification・latency破綻を起こす。 ## SCOPE_ROUTING Enterprise AI Core / reliability / performance / cost / provider mapping ## CLAIM_OR_RESEARCH_QUESTION quota/rate-limitを静的上限表ではなくruntime control loopとして扱うべきか。 ## EVIDENCE TABLE 1. [official product docs / PRODUCT_VOLATILE] Google Cloud, “Throughput quota — Generative AI on Vertex AI”, last updated 2026-01-02, accessed 2026-09-16. https://docs.cloud.google.com/vertex-ai/generative-ai/docs/resources/throughput-quota — Dynamic Shared Quotaは固定usage limitを持たず、429 resource exhaustedは共有pool高需要を示しretryを推奨。Provisioned Throughputはreserved capacity。 relation=support/context. 2. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Manage Azure OpenAI quota”, accessed 2026-09-16. https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/quota — x-ratelimit-* と retry-after-ms、429時のexponential backoff+jitter、proactive throttlingを明示。 relation=support. 3. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Run provisioned throughput deployments in production”, accessed 2026-09-16. https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/provisioned-get-started — utilization 100%時の429をtraffic-management signalとして扱い、retry-afterまたは別deployment/modelへのredirectを提示。 relation=support/limit. ## FINDINGS - 429は単一原因ではない。configured quota、effective rate limit、shared capacity pressure、request-size estimate、concurrencyを分離観測する。 - retryは `retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter` とする。 - admission controlをretryより前に置き、priority class、token estimate、deadline、cost ceilingで受理制御する。 - queue depthとoldest ageをquota pressureの先行指標として扱う。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE quota increaseはshared capacityを保証しない。retry-afterを無視した即時retryはthundering herdを悪化。max_tokens等のrequest設定がrate accountingへ影響し得るため、請求tokenとrate-limit tokenを混同しない。 ## AVAILABILITY_GATES provider/model/deployment/region/account tier、PAYG vs provisioned、RPM/TPM/concurrency/batch limits、quota approval。すべてPRODUCT_VOLATILE。 ## IMPLEMENTATION_STATE 将来Core候補 `AI_ADMISSION_AND_RETRY_CONTRACT`: provider/model/deployment, quota class, estimated input/output tokens, priority, deadline, concurrency, queue depth/age, rate-limit headers, attempt count, backoff/jitter, retry budget, fallback, final disposition。 ## BENCHMARK_OR_EVAL burst、sustained load、large max-output、mixed priority、429/5xx/timeout注入でsuccess ratio、queue age、retry amplification、deadline miss、cost amplification、fairnessを測る。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY priorityはauthorizationされた業務classに固定。retryでside effectを重複させない。全attemptのcostとtrace lineageを集約。 ## SAFE_WORDING_FOR_FUTURE_BOOK 「Rate limitはエラー処理ではなくcapacity controlである。admission、queue、server hint、bounded retry、fallbackを一つの制御系として設計する。」 ## UPDATE_WORK_HANDOFF EA-094のlatency budgetにqueue/retry時間を必ず含める。公開直前にprovider別header/limit仕様を再pin。 ## OPEN_UNKNOWN / STOP_CONDITION OpenAI/Anthropic/AWSを含むexact current header・tier・quota matrixは再pin対象。live saturation test未実施。主要control contract確立につき停止条件充足。 --- --- ## AUDITED_CURRENTNESS_BOUNDARY Vertex AI Dynamic Shared Quota has no fixed per-project usage limit; 429 may represent temporary shared-pool pressure and must not automatically be interpreted as fixed-quota exhaustion. NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.