本文へスキップ

AI運用の判断と根拠を引く

Enterprise AI運用辞典

トップへ戻る

クォータ／レートリミット・エンジニアリング

用語・参照用語・参照公式仕様のみ公式仕様のみ鮮度未確認鮮度を確定できない

記事状態: 公開 · 最終確認: 未確認

要点

「レート制限はエラー処理ではなく、容量制御である。受付、キュー、サーバーヒント、回数制限付きのリトライ、フォールバックを一つの制御系として設計する。」

現在の判断

  • 429は単一原因ではない。configured 利用枠、effective 利用回数・処理量の上限、shared capacity pressure、request-size estimate、同時実行数を分離観測する。
  • 再試行は retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter とする。
  • admission 制御を再試行より前に置き、優先順位 class、token estimate、deadline、cost ceilingで受理制御する。
  • queue depthとoldest ageを利用枠 pressureの先行指標として扱う。

どこまで当てはまるか

企業AI運用の共通原則 / 信頼性 / パフォーマンス / コスト / プロバイダー・マッピング

詳しく理解する

なぜ重要か

429/resource exhaustedは障害と同じ見た目でも、共有capacity、configured 利用枠、request token budget、burst/同時実行数等で原因と対処が異なる。無制限再試行は再試行 storm・cost amplification・latency破綻を起こす。

対象範囲と前提

企業AI運用の共通原則 / 信頼性 / パフォーマンス / コスト / プロバイダー・マッピング

検討ポイント

クォータ/レート制限を、静的な上限表としてではなく、実行時の制御ループ（実行環境 制御 loop）として扱うべきでしょうか。

根拠資料の対応表

  • [official product docs / PRODUCT_VOLATILE] Google Cloud, “単位時間あたりの処理量 利用枠 — Generative AI on Vertex AI”, last updated 2026-01-02, 参照日 2026-09-16. https://docs.cloud.google.com/vertex-ai/generative-ai/docs/resources/throughput-quota — Dynamic Shared 利用枠は固定usage limitを持たず、429 resource exhaustedは共有pool高需要を示し再試行を推奨。Provisioned 単位時間あたりの処理量はreserved capacity。 対応関係=裏付け/文脈・入力情報.
  • [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Manage Azure OpenAI 利用枠”, 参照日 2026-09-16. https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/quota — x-ratelimit-* と retry-after-ms、429時のexponential backoff+jitter、proactive throttlingを明示。 対応関係=裏付け.
  • [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “実行 provisioned 単位時間あたりの処理量 deployments in 本番環境”, 参照日 2026-09-16. https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/provisioned-get-started — utilization 100%時の429をtraffic-management signalとして扱い、retry-afterまたは別配備/モデルへのredirectを提示。 対応関係=裏付け/limit.

利用できる条件

提供元/モデル/配備/region/account tier、PAYG vs provisioned、RPM/TPM/同時実行数/batch limits、利用枠 承認。すべてPRODUCT_VOLATILE。

実装・運用

将来的なコア候補 AI_ADMISSION_AND_RETRY_CONTRACT: プロバイダー/モデル/デプロイメント、割当クラス、推定入力/出力トークン数、優先度、期限、同時実行数、キューの深さ/経過時間、レート制限ヘッダー、試行回数、バックオフ/ジッター、リトライ予算、フォールバック、最終的な処理結果。

確認・評価方法

burst、sustained load、large max-output、mixed 優先順位、429/5xx/処理待ち時間の上限注入で成功 ratio、queue age、再試行 amplification、deadline miss、cost amplification、fairnessを測る。

セキュリティとプライバシー

優先順位は認可された業務classに固定。再試行で外部への変更・送信を重複させない。全attemptのcostとtrace 変更・継承の履歴を集約。

現行性の確認範囲と限界

Vertex AI Dynamic Shared 利用枠 has no fixed per-project usage limit; 429 may represent temporary shared-pool pressure and must not automatically be interpreted as fixed-quota exhaustion.

確認できていること

  • 429は単一原因ではない。configured 利用枠、effective 利用回数・処理量の上限、shared capacity pressure、request-size estimate、同時実行数を分離観測する。

  • 再試行は retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter とする。

  • admission 制御を再試行より前に置き、優先順位 class、token estimate、deadline、cost ceilingで受理制御する。

  • queue depthとoldest ageを利用枠 pressureの先行指標として扱う。

よくある失敗・反証

  • 利用枠 increaseはshared capacityを保証しない。retry-afterを無視した即時再試行はthundering herdを悪化。max_tokens等のrequest設定がrate accountingへ影響し得るため、請求tokenとrate-limit tokenを混同しない。

  • OpenAI/Anthropic/AWSを含むexact 現在の header・tier・利用枠 matrixは再pin対象。live saturation test未実施。主要制御 条件・契約確立につき停止条件充足。

    ---

    ---

実務での使い方

  • 提供元/モデル/配備/region/account tier、PAYG vs provisioned、RPM/TPM/同時実行数/batch limits、利用枠 承認。すべてPRODUCT_VOLATILE。

  • 将来的なコア候補 AI_ADMISSION_AND_RETRY_CONTRACT: プロバイダー/モデル/デプロイメント、割当クラス、推定入力/出力トークン数、優先度、期限、同時実行数、キューの深さ/経過時間、レート制限ヘッダー、試行回数、バックオフ/ジッター、リトライ予算、フォールバック、最終的な処理結果。

  • burst、sustained load、large max-output、mixed 優先順位、429/5xx/処理待ち時間の上限注入で成功 ratio、queue age、再試行 amplification、deadline miss、cost amplification、fairnessを測る。

  • 優先順位は認可された業務classに固定。再試行で外部への変更・送信を重複させない。全attemptのcostとtrace 変更・継承の履歴を集約。

  • EA-094のlatency budgetにqueue/再試行時間を必ず含める。公開直前に提供元別header/limit仕様を再pin。

  • Vertex AI Dynamic Shared 利用枠 has no fixed per-project usage limit; 429 may represent temporary shared-pool pressure and must not automatically be interpreted as fixed-quota exhaustion.

まだ確認できていないこと

  • EA-093-UNKNOWN-01

    OpenAI/Anthropic/AWSを含むexact 現在の header・tier・利用枠 matrixは再pin対象。live saturation test未実施。主要制御 条件・契約確立につき停止条件充足。

    ---

    ---

  • EA-093-UNKNOWN-CURRENTNESS

    外部根拠の再確認日が正式な本文・公開管理情報で確定していないため、現行性は未確認のまま保持する。確認日を推測して補わない。

根拠資料

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
EA-093
最終確認日
—
提供元・モデル・プラン・利用環境
—
対象地域
—
元資料の全文と収録照合記録
WHY_THIS_MATTERS_TO_UPDATE

429/resource exhaustedは障害と同じ見た目でも、共有capacity、configured quota、request token budget、burst/concurrency等で原因と対処が異なる。無制限retryはretry storm・cost amplification・latency破綻を起こす。

SCOPE_ROUTING

Enterprise AI Core / reliability / performance / cost / provider mapping

CLAIM_OR_RESEARCH_QUESTION

quota/rate-limitを静的上限表ではなくruntime control loopとして扱うべきか。

EVIDENCE TABLE
FINDINGS
  • 429は単一原因ではない。configured quota、effective rate limit、shared capacity pressure、request-size estimate、concurrencyを分離観測する。
  • retryは retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter とする。
  • admission controlをretryより前に置き、priority class、token estimate、deadline、cost ceilingで受理制御する。
  • queue depthとoldest ageをquota pressureの先行指標として扱う。
LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE

quota increaseはshared capacityを保証しない。retry-afterを無視した即時retryはthundering herdを悪化。max_tokens等のrequest設定がrate accountingへ影響し得るため、請求tokenとrate-limit tokenを混同しない。

AVAILABILITY_GATES

provider/model/deployment/region/account tier、PAYG vs provisioned、RPM/TPM/concurrency/batch limits、quota approval。すべてPRODUCT_VOLATILE。

IMPLEMENTATION_STATE

将来Core候補 AI_ADMISSION_AND_RETRY_CONTRACT: provider/model/deployment, quota class, estimated input/output tokens, priority, deadline, concurrency, queue depth/age, rate-limit headers, attempt count, backoff/jitter, retry budget, fallback, final disposition。

BENCHMARK_OR_EVAL

burst、sustained load、large max-output、mixed priority、429/5xx/timeout注入でsuccess ratio、queue age、retry amplification、deadline miss、cost amplification、fairnessを測る。

SECURITY / PRIVACY / AUDIT / COST / OPERABILITY

priorityはauthorizationされた業務classに固定。retryでside effectを重複させない。全attemptのcostとtrace lineageを集約。

SAFE_WORDING_FOR_FUTURE_BOOK

「Rate limitはエラー処理ではなくcapacity controlである。admission、queue、server hint、bounded retry、fallbackを一つの制御系として設計する。」

UPDATE_WORK_HANDOFF

EA-094のlatency budgetにqueue/retry時間を必ず含める。公開直前にprovider別header/limit仕様を再pin。

OPEN_UNKNOWN / STOP_CONDITION

OpenAI/Anthropic/AWSを含むexact current header・tier・quota matrixは再pin対象。live saturation test未実施。主要control contract確立につき停止条件充足。

---

---

AUDITED_CURRENTNESS_BOUNDARY

Vertex AI Dynamic Shared Quota has no fixed per-project usage limit; 429 may represent temporary shared-pool pressure and must not automatically be interpreted as fixed-quota exhaustion.

  • EVD-EA-093-URL-7D984B724516研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    1. [official product docs / PRODUCT_VOLATILE] Google Cloud, “Throughput quota — Generative AI on Vertex AI”, last updated 2026-01-02, accessed 2026-09-16.

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-093-URL-7D984B724516
    検証箇所
    EVIDENCE TABLE · 1. [official product docs / PRODUCT_VOLATILE] Google Cloud, “Throughput quota — Generative AI on Vertex AI”, last updated 2026-01-02, accessed 2026-09-16. https://docs.cloud.google.com/vertex-ai/generative-ai/docs/resources/throughput-quota
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-093-URL-CDF6938D58B7研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    2. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Manage Azure OpenAI quota”, accessed 2026-09-16.

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-093-URL-CDF6938D58B7
    検証箇所
    EVIDENCE TABLE · 2. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Manage Azure OpenAI quota”, accessed 2026-09-16. https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/quota
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EVD-EA-093-URL-93828C7F16D6研究資料研究資料根拠の出所: SOURCE_PACKET_REFERENCE

    3. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Run provisioned throughput deployments in production”, accessed 2026-09-16.

    裏付ける内容
    —
    確認日
    —
    出典・実験ID
    SRC-EA-093-URL-93828C7F16D6
    検証箇所
    EVIDENCE TABLE · 3. [official product docs / PRODUCT_VOLATILE] Microsoft Foundry, “Run provisioned throughput deployments in production”, accessed 2026-09-16. https://learn.microsoft.com/ja-jp/azure/foundry/openai/how-to/provisioned-get-started
    適用範囲
    EVIDENCE TABLE
    出典・来歴
    SOURCE_PACKET_REFERENCE_PROJECTED
    限界
    元の監査済み資料に記載された参照先です。URLの復元は、資料の最新性や全主張の支持を新たに検証したことを意味しません。
  • EA-093-R11-RESEARCH研究資料研究資料根拠の出所: AUDITED_CANONICAL_RESEARCH_PACKET

    EA-093 監査済みresearch / canonical revision binding

    裏付ける内容
    - 429は単一原因ではない。configured quota、effective rate limit、shared capacity pressure、request-size estimate、concurrencyを分離観測する。 - retryは retryable? → server hint → bounded exponential backoff + jitter → retry budget → queue/fallback/dead-letter とする。 - admission controlをretryより前に置き、priority class、token estimate、deadline、cost ceilingで受理制御する。 - queue depthとoldest ageをquota pressureの先行指標として扱う。
    確認日
    —
    出典・実験ID
    COMM-082-EA0093
    検証箇所
    COMM-082-EA0093 · EA-093-R5-LEGACY-MIGRATION-20261008-R1 · content/staging/EA-093.md
    適用範囲
    監査済みEA本文・canonical revision・既存Source Graph relationの範囲。欠損currentnessは推測で閉じない。
    出典・来歴
    AUDIT_PASS_CANONICAL_BINDING
    限界
    canonical監査・revision bindingの存在を示す。外部ソースcurrentnessが本文またはcontrol-planeで確定していない場合は、currentnessをUNKNOWNのまま保持する。
  • EA-093-R11-WEB-READBACK実装資料実装資料根拠の出所: IMPLEMENTATION_READBACK

    EA-093 Web body identity / canonical readback

    裏付ける内容
    canonical staging bodyのSHA-256一致とR9 canonical ledger readbackをProduction projectionの入力として検証する。
    確認日
    —
    出典・実験ID
    WEBBODY-EA0093-R8-FC907DCD
    検証箇所
    WEBBODY-EA0093-R8-FC907DCD · content/staging/EA-093.md · EA-093-R5-LEGACY-MIGRATION-20261008-R1
    適用範囲
    R9/R10 canonical readback後のProduction生成時body identity。
    出典・来歴
    CANONICAL_READBACK_BODY_HASH_MATCH
    限界
    body identity/readbackは本文claim自体の真偽や外部ソースの最新性を追加保証しない。
出典ID
COMM-082-EA0093, SRC-EA-093-URL-7D984B724516, SRC-EA-093-URL-CDF6938D58B7, SRC-EA-093-URL-93828C7F16D6, WEBBODY-EA0093-R8-FC907DCD
追跡中のUNKNOWN ID
EA-093-UNKNOWN-01, EA-093-UNKNOWN-CURRENTNESS
再確認のきっかけ
正式な 改訂版/publication 状態 change · 本文 成果物 hash change · 出典 現行性 change · new contradiction or 実装 結果の照合

機械検査: 通過 — 機械検査の結果です。情報の正確性や実行の承認を保証するものではありません。

    同じ記事IDの機械可読データです。