Skip to content

Evidence for AI operations

Enterprise AI Operations Dictionary

No English page yet. Showing the Japanese source.

Back to the entrance

Quota／Rate-limit Engineering

用語・参照用語・参照公式仕様のみ公式仕様のみ鮮度未確認鮮度を確定できない

記事状態: 公開 · 最終確認: 未確認

要点

「Rate limitはエラー処理ではなくcapacity controlである。admission、queue、server hint、bounded retry、fallbackを一つの制御系として設計する。」

現在の判断

  • 429は単一原因ではない。configured quota、effective rate limit、shared capacity pressure、request-size estimate、concurrencyを分離観測する。
  • retryは retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter とする。
  • admission controlをretryより前に置き、priority class、token estimate、deadline、cost ceilingで受理制御する。
  • queue depthとoldest ageをquota pressureの先行指標として扱う。

どこまで当てはまるか

Enterprise AI Core / reliability / performance / cost / provider mapping

詳しく理解する

なぜ重要か

429/resource exhaustedは障害と同じ見た目でも、共有capacity、configured quota、request token budget、burst/concurrency等で原因と対処が異なる。無制限retryはretry storm・cost amplification・latency破綻を起こす。

対象範囲と前提

Enterprise AI Core / reliability / performance / cost / provider mapping

検討ポイント

quota/rate-limitを静的上限表ではなくruntime control loopとして扱うべきか。

EVIDENCE TABLE

利用できる条件

provider/model/deployment/region/account tier、PAYG vs provisioned、RPM/TPM/concurrency/batch limits、quota approval。すべてPRODUCT_VOLATILE。

実装・運用

将来Core候補 AI_ADMISSION_AND_RETRY_CONTRACT: provider/model/deployment, quota class, estimated input/output tokens, priority, deadline, concurrency, queue depth/age, rate-limit headers, attempt count, backoff/jitter, retry budget, fallback, final disposition。

確認・評価方法

burst、sustained load、large max-output、mixed priority、429/5xx/timeout注入でsuccess ratio、queue age、retry amplification、deadline miss、cost amplification、fairnessを測る。

セキュリティとプライバシー

priorityはauthorizationされた業務classに固定。retryでside effectを重複させない。全attemptのcostとtrace lineageを集約。

AUDITED CURRENTNESS BOUNDARY

Vertex AI Dynamic Shared Quota has no fixed per-project usage limit; 429 may represent temporary shared-pool pressure and must not automatically be interpreted as fixed-quota exhaustion.

確認できていること

  • 429は単一原因ではない。configured quota、effective rate limit、shared capacity pressure、request-size estimate、concurrencyを分離観測する。

  • retryは retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter とする。

  • admission controlをretryより前に置き、priority class、token estimate、deadline、cost ceilingで受理制御する。

  • queue depthとoldest ageをquota pressureの先行指標として扱う。

よくある失敗・反証

  • quota increaseはshared capacityを保証しない。retry-afterを無視した即時retryはthundering herdを悪化。max_tokens等のrequest設定がrate accountingへ影響し得るため、請求tokenとrate-limit tokenを混同しない。

  • OpenAI/Anthropic/AWSを含むexact current header・tier・quota matrixは再pin対象。live saturation test未実施。主要control contract確立につき停止条件充足。

    ---

    ---

実務での使い方

  • provider/model/deployment/region/account tier、PAYG vs provisioned、RPM/TPM/concurrency/batch limits、quota approval。すべてPRODUCT_VOLATILE。

  • 将来Core候補 AI_ADMISSION_AND_RETRY_CONTRACT: provider/model/deployment, quota class, estimated input/output tokens, priority, deadline, concurrency, queue depth/age, rate-limit headers, attempt count, backoff/jitter, retry budget, fallback, final disposition。

  • burst、sustained load、large max-output、mixed priority、429/5xx/timeout注入でsuccess ratio、queue age、retry amplification、deadline miss、cost amplification、fairnessを測る。

  • priorityはauthorizationされた業務classに固定。retryでside effectを重複させない。全attemptのcostとtrace lineageを集約。

  • EA-094のlatency budgetにqueue/retry時間を必ず含める。公開直前にprovider別header/limit仕様を再pin。

  • Vertex AI Dynamic Shared Quota has no fixed per-project usage limit; 429 may represent temporary shared-pool pressure and must not automatically be interpreted as fixed-quota exhaustion.

まだ確認できていないこと

  • EA-093-UNKNOWN-01

    OpenAI/Anthropic/AWSを含むexact current header・tier・quota matrixは再pin対象。live saturation test未実施。主要control contract確立につき停止条件充足。

    ---

    ---

  • EA-093-UNKNOWN-CURRENTNESS

    外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。

根拠資料

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
EA-093
最終確認日
—
提供元・モデル・プラン・利用環境
—
対象地域
—
元資料の全文と収録照合記録
WHY_THIS_MATTERS_TO_UPDATE

429/resource exhaustedは障害と同じ見た目でも、共有capacity、configured quota、request token budget、burst/concurrency等で原因と対処が異なる。無制限retryはretry storm・cost amplification・latency破綻を起こす。

SCOPE_ROUTING

Enterprise AI Core / reliability / performance / cost / provider mapping

CLAIM_OR_RESEARCH_QUESTION

quota/rate-limitを静的上限表ではなくruntime control loopとして扱うべきか。

EVIDENCE TABLE
FINDINGS
  • 429は単一原因ではない。configured quota、effective rate limit、shared capacity pressure、request-size estimate、concurrencyを分離観測する。
  • retryは retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter とする。
  • admission controlをretryより前に置き、priority class、token estimate、deadline、cost ceilingで受理制御する。
  • queue depthとoldest ageをquota pressureの先行指標として扱う。
LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE

quota increaseはshared capacityを保証しない。retry-afterを無視した即時retryはthundering herdを悪化。max_tokens等のrequest設定がrate accountingへ影響し得るため、請求tokenとrate-limit tokenを混同しない。

AVAILABILITY_GATES

provider/model/deployment/region/account tier、PAYG vs provisioned、RPM/TPM/concurrency/batch limits、quota approval。すべてPRODUCT_VOLATILE。

IMPLEMENTATION_STATE

将来Core候補 AI_ADMISSION_AND_RETRY_CONTRACT: provider/model/deployment, quota class, estimated input/output tokens, priority, deadline, concurrency, queue depth/age, rate-limit headers, attempt count, backoff/jitter, retry budget, fallback, final disposition。

BENCHMARK_OR_EVAL

burst、sustained load、large max-output、mixed priority、429/5xx/timeout注入でsuccess ratio、queue age、retry amplification、deadline miss、cost amplification、fairnessを測る。

SECURITY / PRIVACY / AUDIT / COST / OPERABILITY

priorityはauthorizationされた業務classに固定。retryでside effectを重複させない。全attemptのcostとtrace lineageを集約。

SAFE_WORDING_FOR_FUTURE_BOOK

「Rate limitはエラー処理ではなくcapacity controlである。admission、queue、server hint、bounded retry、fallbackを一つの制御系として設計する。」

UPDATE_WORK_HANDOFF

EA-094のlatency budgetにqueue/retry時間を必ず含める。公開直前にprovider別header/limit仕様を再pin。

OPEN_UNKNOWN / STOP_CONDITION

OpenAI/Anthropic/AWSを含むexact current header・tier・quota matrixは再pin対象。live saturation test未実施。主要control contract確立につき停止条件充足。

---

---

AUDITED_CURRENTNESS_BOUNDARY

Vertex AI Dynamic Shared Quota has no fixed per-project usage limit; 429 may represent temporary shared-pool pressure and must not automatically be interpreted as fixed-quota exhaustion.

  • EVD-EA-093-URL-7D984B724516研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    1. [official product docs / PRODUCT_VOLATILE] Google Cloud, “Throughput quota — Generative AI on Vertex AI”, last updated 2026-01-02, accessed 2026-09-16.

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-093-URL-7D984B724516
    検証箇所
    EVIDENCE TABLE · 1. [official product docs / PRODUCT_VOLATILE] Google Cloud, “Throughput quota — Generative AI on Vertex AI”, last updated 2026-01-02, accessed 2026-09-16. https://docs.cloud.google.com/vertex-ai/generative-ai/docs/resources/throughput-quota
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-093-URL-CDF6938D58B7研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    2. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Manage Azure OpenAI quota”, accessed 2026-09-16.

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-093-URL-CDF6938D58B7
    検証箇所
    EVIDENCE TABLE · 2. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Manage Azure OpenAI quota”, accessed 2026-09-16. https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/quota
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-093-URL-93828C7F16D6研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    3. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Run provisioned throughput deployments in production”, accessed 2026-09-16.

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-093-URL-93828C7F16D6
    検証箇所
    EVIDENCE TABLE · 3. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Run provisioned throughput deployments in production”, accessed 2026-09-16. https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/provisioned-get-started
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EA-093-R11-RESEARCH研究資料研究資料根拠の出所: AUDITED_CANONICAL_RESEARCH_PACKET

    EA-093 監査済みresearch / canonical revision binding

    裏付ける内容
    - 429は単一原因ではない。configured quota、effective rate limit、shared capacity pressure、request-size estimate、concurrencyを分離観測する。 - retryは retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter とする。 - admission controlをretryより前に置き、priority class、token estimate、deadline、cost ceilingで受理制御する。 - queue depthとoldest ageをquota pressureの先行指標として扱う。
    確認日
    —
    出典・実験ID
    COMM-082-EA0093
    検証箇所
    COMM-082-EA0093 · EA-093-R5-LEGACY-MIGRATION-20261008-R1 · content/staging/EA-093.md
    適用範囲
    監査済みEA本文・canonical revision・既存Source Graph relationの範囲。欠損currentnessは推測で閉じない。
    出典・来歴
    AUDIT_PASS_CANONICAL_BINDING
    限界
    canonical監査・revision bindingの存在を示す。外部ソースcurrentnessが本文またはcontrol-planeで確定していない場合は、currentnessをUNKNOWNのまま保持する。
  • EA-093-R11-WEB-READBACK実装資料実装資料根拠の出所: IMPLEMENTATION_READBACK

    EA-093 Web body identity / canonical readback

    裏付ける内容
    canonical staging bodyのSHA-256一致とR9 canonical ledger readbackをProduction projectionの入力として検証する。
    確認日
    —
    出典・実験ID
    WEBBODY-EA0093-R8-FC907DCD
    検証箇所
    WEBBODY-EA0093-R8-FC907DCD · content/staging/EA-093.md · EA-093-R5-LEGACY-MIGRATION-20261008-R1
    適用範囲
    R9/R10 canonical readback後のProduction生成時body identity。
    出典・来歴
    CANONICAL_READBACK_BODY_HASH_MATCH
    限界
    body identity/readbackは本文claim自体の真偽や外部ソースの最新性を追加保証しない。
出典ID
COMM-082-EA0093, SRC-EA-093-URL-7D984B724516, SRC-EA-093-URL-CDF6938D58B7, SRC-EA-093-URL-93828C7F16D6, WEBBODY-EA0093-R8-FC907DCD
追跡中のUNKNOWN ID
EA-093-UNKNOWN-01, EA-093-UNKNOWN-CURRENTNESS
再確認のきっかけ
canonical revision/publication state change · body artifact hash change · source currentness change · new contradiction or implementation readback

機械検査: 通過 — Automated validation does not guarantee accuracy or authorize execution.

    同じ記事IDの機械可読データです。