# Reproducibility／Determinism研究 CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-112-reproducibility-determinism CLAIM_IDS: none EVIDENCE_IDS: EVD-EA-112-URL-074C7E7A6B68, EA-112-R11-RESEARCH, EA-112-R11-WEB-READBACK UNKNOWN_IDS: EA-112-UNKNOWN-01, EA-112-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary 「再現性は環境境界を伴う契約である。PyTorch 2.14 Docsもrelease・commit・platform・CPU/GPU間の完全再現を保証せず、seedとdeterministic optionで特定環境の非決定性を減らす設計を示す。これをhosted LLMの文字列一致保証へ外挿してはならない。」 ## Current judgment PyTorchの公式Docsは、release・commit・platformが違えば完全再現を保証せず、CPU/GPUでも同一seedで一致しない場合があると明記する。同一環境でseed等を固定すれば乱数源を制御し、利用可能なdeterministic algorithmを選べるが、速度低下や非対応演算のerrorがあり得る。ここから、再現性を「同一環境での再実行」「同一release/platformでの許容差」「異なるrelease/providerでの意味的同等性」に分ける設計は導けるが、LLM APIのdeterministic挙動はこの資料では確立されない。 ## Scope evaluation / Enterprise AI Core / implementation / benchmark ## Confirmed - PyTorchの公式Docsは、release・commit・platformが違えば完全再現を保証せず、CPU/GPUでも同一seedで一致しない場合があると明記する。同一環境でseed等を固定すれば乱数源を制御し、利用可能なdeterministic algorithmを選べるが、速度低下や非対応演算のerrorがあり得る。ここから、再現性を「同一環境での再実行」「同一release/platformでの許容差」「異なるrelease/providerでの意味的同等性」に分ける設計は導けるが、LLM APIのdeterministic挙動はこの資料では確立されない。 ## UNKNOWN - EA-112-UNKNOWN-01: 各providerのseed・temperature・system prompt・model snapshot・backend固定可否、API更新時の挙動、tool/RAGの再現性、意味的同等性scorerの妥当性。 - EA-112-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EVD-EA-112-URL-074C7E7A6B68 (RESEARCH): source class: author-maintained implementation documentation; exact title: Reproducibility; author/org: PyTorch; canonical URL: — https://docs.pytorch.org/docs/2.14/notes/randomness.html - EA-112-R11-RESEARCH (RESEARCH): EA-112 監査済みresearch / canonical revision binding - EA-112-R11-WEB-READBACK (IMPL): EA-112 Web body identity / canonical readback ## Failure / limits PyTorch Docsは深層学習実装の証拠であり、hosted LLMのserver-side routing、weight更新、sampling、tool結果、検索index、hidden system promptを扱わない。bitwise一致とタスク意味一致は別。deterministic flag自体が全演算を救済しない。 ## Failure / limits PyTorchの実装仕様をLLMサービスの保証と書かない。1回一致・人間の印象・retry成功だけで再現性を閉じない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- ## Practice Docsは公開。実機の再現性試験は、同一model ID、API revision、prompt、sampling、tool/data snapshot、依存lock、hardware、locale/timezoneを固定できる環境が必要。認証済みprovider/tenant試験は未実施。 ## Practice 再現性契約の設計候補。run manifestと許容差（exact、structured-field、numeric tolerance、semantic rubric、abstain）を定義する段階。実測なし。 ## Practice 同じfixtureを最低複数回・複数seedで実行し、文字列一致率、構造一致率、数値許容差、引用集合一致、tool trace一致、タスクscore分布を分離する。release/platform/providerをcross-cellとして記録する。未実行。 ## Practice SECURITY/PRIVACY: seedやpromptに秘密を含めない。AUDIT: model/API/release/config/tool/data hashと実行時刻を保存。COST: repeated trialsとjudge callを予算化。OPERABILITY: nondeterministic failureをretryで隠さず、分布・停止条件・再検証期限を記録する。 ## Practice 次回本文ではreproducibility profileをexact / bounded / semantic / distributionalに分け、各profileに固定対象・許容差・trial数・model/API ID・tool/data snapshotを付す。LLM providerごとの再現性仕様は別途PRODUCT_VOLATILE採集する。 ## WHY_THIS_MATTERS_TO_UPDATE AIの再現性は「同じpromptなら同じ文字列」と単純化できず、model/API/release/platform/tool/data/configと許容差を明示しないとbenchmark・監査・regression testが壊れる。 ## SCOPE_ROUTING evaluation / Enterprise AI Core / implementation / benchmark ## CLAIM_OR_RESEARCH_QUESTION 固定seed・deterministic option・環境固定で、どの範囲の再現性が主張できるか。PyTorch実装知をLLM製品挙動へ一般化できるか。 ## EVIDENCE TABLE - source class: author-maintained implementation documentation; exact title: Reproducibility; author/org: PyTorch; canonical URL: https://docs.pytorch.org/docs/2.14/notes/randomness.html; publication/update/access: created and last updated 2026-05-14 / accessed 2026-09-13 JST; version/release/tag/commit/API revision/model ID: PyTorch 2.14 documentation; supporting locator: lines 406-414（release/commit/platform/CPU-GPU間の完全再現を保証しない、specific environmentでnondeterminismを減らす、determinismの速度コスト）; lines 418-423（seed）; lines 448-461（deterministic algorithms and error）; evidence label: VERIFIED_SPEC + PRODUCT_VOLATILE; relation: support / counter / limit. ## FINDINGS PyTorchの公式Docsは、release・commit・platformが違えば完全再現を保証せず、CPU/GPUでも同一seedで一致しない場合があると明記する。同一環境でseed等を固定すれば乱数源を制御し、利用可能なdeterministic algorithmを選べるが、速度低下や非対応演算のerrorがあり得る。ここから、再現性を「同一環境での再実行」「同一release/platformでの許容差」「異なるrelease/providerでの意味的同等性」に分ける設計は導けるが、LLM APIのdeterministic挙動はこの資料では確立されない。 ## LIMITS / COUNTEREVIDENCE / FAILURE ENVELOPE PyTorch Docsは深層学習実装の証拠であり、hosted LLMのserver-side routing、weight更新、sampling、tool結果、検索index、hidden system promptを扱わない。bitwise一致とタスク意味一致は別。deterministic flag自体が全演算を救済しない。 ## AVAILABILITY_GATES Docsは公開。実機の再現性試験は、同一model ID、API revision、prompt、sampling、tool/data snapshot、依存lock、hardware、locale/timezoneを固定できる環境が必要。認証済みprovider/tenant試験は未実施。 ## IMPLEMENTATION_STATE 再現性契約の設計候補。run manifestと許容差（exact、structured-field、numeric tolerance、semantic rubric、abstain）を定義する段階。実測なし。 ## BENCHMARK_OR_EVAL 同じfixtureを最低複数回・複数seedで実行し、文字列一致率、構造一致率、数値許容差、引用集合一致、tool trace一致、タスクscore分布を分離する。release/platform/providerをcross-cellとして記録する。未実行。 ## SECURITY / PRIVACY / AUDIT / COST / OPERABILITY SECURITY/PRIVACY: seedやpromptに秘密を含めない。AUDIT: model/API/release/config/tool/data hashと実行時刻を保存。COST: repeated trialsとjudge callを予算化。OPERABILITY: nondeterministic failureをretryで隠さず、分布・停止条件・再検証期限を記録する。 ## SAFE_WORDING_FOR_FUTURE_BOOK 「再現性は環境境界を伴う契約である。PyTorch 2.14 Docsもrelease・commit・platform・CPU/GPU間の完全再現を保証せず、seedとdeterministic optionで特定環境の非決定性を減らす設計を示す。これをhosted LLMの文字列一致保証へ外挿してはならない。」 ## UPDATE_WORK_HANDOFF 次回本文ではreproducibility profileをexact / bounded / semantic / distributionalに分け、各profileに固定対象・許容差・trial数・model/API ID・tool/data snapshotを付す。LLM providerごとの再現性仕様は別途PRODUCT_VOLATILE採集する。 ## OPEN_UNKNOWN 各providerのseed・temperature・system prompt・model snapshot・backend固定可否、API更新時の挙動、tool/RAGの再現性、意味的同等性scorerの妥当性。 ## STOP_CONDITION PyTorchの実装仕様をLLMサービスの保証と書かない。1回一致・人間の印象・retry成功だけで再現性を閉じない。 UNIT_CLOSE_STATUS: INDIVIDUAL_BOUNDED_CLOSE / EVIDENCE_RECORDED / UNKNOWN_PRESERVED --- NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.