# OSWorld系 CURRENT_STATUS: CURRENT OBSERVATION: SPEC_ONLY FRESHNESS: CURRENT PAGE_TYPE: reference CANONICAL_URL: /tools/ea-184-osworld CLAIM_IDS: none EVIDENCE_IDS: EA-184-CURRENT-APPROVAL, EA-184-CURRENT-BODY-READBACK UNKNOWN_IDS: EA-184-UNKNOWN-01 OPS_IDS: none ## Summary OSWorld系は、実際のデスクトップ環境でGUI・OS・アプリケーションを操作するcomputer-use agentを評価するベンチマーク群である。企業で結果を参照する場合、「OSWorld」という名称や単一スコアだけでは比較条件を特定できない。OSWorld 1.x、OSWorld-Verified、OSWorld-V2を分離し、V2ではrelease manifestが固定するcode、task files、task assets、public runtime assets、mocked websites、provider imageを一体の評価条件として扱う必要がある。 ## Current judgment OSWorld系は、実際のデスクトップ環境でGUI・OS・アプリケーションを操作するcomputer-use agentを評価するベンチマーク群である。企業で結果を参照する場合、「OSWorld」という名称や単一スコアだけでは比較条件を特定できない。OSWorld 1.x、OSWorld-Verified、OSWorld-V2を分離し、V2ではrelease manifestが固定するcode、task files、task assets、public runtime assets、mocked websites、provider imageを一体の評価条件として扱う必要がある。 ## Scope OSWorld系 ## Confirmed ## UNKNOWN - EA-184-UNKNOWN-01: - `osworld-v2.1` が長期固定baselineとしてどの期間維持されるか、後続releaseでtask/evaluator変更がどの粒度で入るかは将来更新に依存する。 - Task029のfixが後続releaseへ正式収録されたかは、次回refresh時にrelease manifestとrelease notesで再確認する。 - 組織固有runtime patchやMDM・security policyがscore comparabilityへ与える影響は、各組織の実環境で個別検証が必要である。 ## Evidence - EA-184-CURRENT-APPROVAL (RESEARCH): 現行本文の監査・revision対応 - EA-184-CURRENT-BODY-READBACK (IMPL): 現行本文の収録照合 ## Failure / limits OSWorld-V2のrelease validationは再現性を高めるが、全環境での完全な動作保証ではない。`osworld-v2.1` では108 task filesのdownload/hash確認が行われ、公式manifestのverificationではtask、asset、website、provider imageについて詳細な整合確認が記録されている。一方で、Docker VMはarchive bytesとruntime digestが検証されているものの、KVM不在のためVM bootは未検証であり、AWS/Docker guest equivalenceも確立されていない。全108 taskのagent evaluationも実施されていない。 また、unmodified Task029には120秒のHTTP-server setup timeoutが観測されている。別途tested fixは存在するが、このreleaseには含まれていない。したがって、release validationのPASSを「全taskが全providerで実機成功する」と読み替えてはならない。 public runtime assetsはbrowser-facing stateが匿名取得するための部分集合であり、complete task asset snapshotではない。実行時はgated assetsをreleaseに合わせて取得し、`OSWORLD_FILE_BASE_URL`をそのsnapshotへ向ける。mocked websitesも `Task-Web/OSWorld-web@osworld-v2.1` をself-hostし、対応するhost suffixを明示する。 ## 要点と前提 OSWorld系は、実際のデスクトップ環境でGUI・OS・アプリケーションを操作するcomputer-use agentを評価するベンチマーク群である。企業で結果を参照する場合、「OSWorld」という名称や単一スコアだけでは比較条件を特定できない。OSWorld 1.x、OSWorld-Verified、OSWorld-V2を分離し、V2ではrelease manifestが固定するcode、task files、task assets、public runtime assets、mocked websites、provider imageを一体の評価条件として扱う必要がある。 ## 現行releaseと再現性境界 2026-09-16公開の `osworld-v2.1` はOSWorld-V2の現行recommended releaseである。公式manifestは次のcomponent identityを固定している。 - OSWorld-V2 code: tag `osworld-v2.1`、base commit `325ab352e2ff7410854bf8e3324c391bc60e7526` - task files: `xlangai/osworld_v2_tasks@osworld-v2.1`、commit `0a1aadad95aa79b00b3783e717d865089ab06e26` - gated task assets: `xlangai/osworld_v2_assets_gated@osworld-v2.1`、commit `384b3834faba5700a7b589e6cc181490c9808949` - public runtime assets: `xlangai/osworld_v2_assets@osworld-v2.1`、commit `3a140a3df8f351b22bb5b9526846f078e738777f` - mocked websites: `Task-Web/OSWorld-web@osworld-v2.1`、commit `60c89fe6a8ed934668619d8d26132848239eb8ee` - task hash manifest: 108 tasks、SHA-256 `c54d428329be5ca72742a6becd49ee83cf739df5dea429bba182e1f3f21badfb` - AWS Ubuntu image: `us-east-1` / 1920x1080 / `ami-01017272139e01feb` - Docker Ubuntu artifact: `xlangai/v2-image@osworld-v2.1`、artifact revision `6e16459a2feb5a8f1ed65babcfe7a2a6205d049d`、artifact SHA-256 `14b08aa7ba6c023ecb91d46de8df5de32af4d1d6bd75ea925519caf9677fc8b3` - Docker runtime image: `happysixd/osworld-docker@sha256:0e6497a9295647cf05bf2b2af522fdd79bdeba2737595259cab310a3bcf6baa9` 比較可能なrunでは、これらを同一release系列で揃える。`main`、`latest`、別releaseのtask/assets/web/provider imageを混在させると、モデルやagentの差と環境差を分離できなくなる。 ## 運用上の意味 企業の評価台帳では、最低限 `benchmark_family`、release/tag、code revision、task snapshot、asset snapshot、website revisionとhost mode、provider image identity、evaluator/workflow revision、agent scaffold、実行時設定を別々に保存する。単に「OSWorld 2.1を使用」と記録するより、manifest identityと実runのreadbackを結び付けた方が、後日の回帰比較・再現・監査に耐える。 GUI benchmarkでは、task image、OS/app version、initial state、action space、success evaluator、reset方法も結果の一部である。企業導入前の内部試験では、read-only観測、可逆操作、破壊的・高影響操作を同じ成功率へ畳まず、権限と影響度ごとにtierを分ける。benchmark上の成功は、本番端末のMDM、credential、network policy、accessibility、組織固有アプリ、承認フローまで安全に扱えることを意味しない。 ## failureと注意点 OSWorld-V2のrelease validationは再現性を高めるが、全環境での完全な動作保証ではない。`osworld-v2.1` では108 task filesのdownload/hash確認が行われ、公式manifestのverificationではtask、asset、website、provider imageについて詳細な整合確認が記録されている。一方で、Docker VMはarchive bytesとruntime digestが検証されているものの、KVM不在のためVM bootは未検証であり、AWS/Docker guest equivalenceも確立されていない。全108 taskのagent evaluationも実施されていない。 また、unmodified Task029には120秒のHTTP-server setup timeoutが観測されている。別途tested fixは存在するが、このreleaseには含まれていない。したがって、release validationのPASSを「全taskが全providerで実機成功する」と読み替えてはならない。 public runtime assetsはbrowser-facing stateが匿名取得するための部分集合であり、complete task asset snapshotではない。実行時はgated assetsをreleaseに合わせて取得し、`OSWORLD_FILE_BASE_URL`をそのsnapshotへ向ける。mocked websitesも `Task-Web/OSWorld-web@osworld-v2.1` をself-hostし、対応するhost suffixを明示する。 ## 適用境界 この整理はOSWorld-V2のrelease disciplineへ直接適用する。旧OSWorldやOSWorld-Verifiedのtask count、evaluator、leaderboard値をV2へ自動移植しない。第三者agent runtimeのpatch、独自VM、独自website deployment、credential設定、proxy等は公式release identityとは別の実験条件として記録する。 ## OPEN_UNKNOWN - `osworld-v2.1` が長期固定baselineとしてどの期間維持されるか、後続releaseでtask/evaluator変更がどの粒度で入るかは将来更新に依存する。 - Task029のfixが後続releaseへ正式収録されたかは、次回refresh時にrelease manifestとrelease notesで再確認する。 - 組織固有runtime patchやMDM・security policyがscore comparabilityへ与える影響は、各組織の実環境で個別検証が必要である。 ## 安全な読み方 「OSWorldのスコア」ではなく、「OSWorld familyのどのreleaseで、どのcode・task・assets・web・provider image・evaluator・agent条件を使った結果か」を併記する。release manifestは比較条件を固定するための一次provenanceであり、全実行環境の完全同一性、本番適合性、スコアの普遍性を保証するものではない。 ## 主要provenance - xlang-ai/OSWorld-V2 `benchmark_releases/osworld-v2.1.json`（tag `osworld-v2.1`） - xlang-ai/OSWorld-V2 release `osworld-v2.1`（2026-09-16） - xlang-ai/OSWorld-V2 README / Benchmark Versions / Setup Evaluation Environment - Enterprise AI運用辞典 EA-184 bounded evidence packet（2026-09-28） NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.