OSWorld系

用語・参照用語・参照公式仕様のみ公式仕様のみ現行現行として扱う

記事状態: 公開 · 最終確認: 2026-10-26

要点

OSWorld系は、実際のデスクトップ環境でGUI・OS・アプリケーションを操作するcomputer-use agentを評価するベンチマーク群である。企業で結果を参照する場合、「OSWorld」という名称や単一スコアだけでは比較条件を特定できない。OSWorld 1.x、OSWorld-Verified、OSWorld-V2を分離し、V2では公開・提供 manifestが固定するcode、task files、task assets、公開 実行環境 assets、mocked websites、提供元 imageを一体の評価条件として扱う必要がある。

現在の判断

OSWorld系は、実際のデスクトップ環境でGUI・OS・アプリケーションを操作するcomputer-use agentを評価するベンチマーク群である。企業で結果を参照する場合、「OSWorld」という名称や単一スコアだけでは比較条件を特定できない。OSWorld 1.x、OSWorld-Verified、OSWorld-V2を分離し、V2では公開・提供 manifestが固定するcode、task files、task assets、公開 実行環境 assets、mocked websites、提供元 imageを一体の評価条件として扱う必要がある。

どこまで当てはまるか

OSWorld系

詳しく理解する

要点と前提

OSWorld系は、実際のデスクトップ環境でGUI・OS・アプリケーションを操作するcomputer-use agentを評価するベンチマーク群である。企業で結果を参照する場合、「OSWorld」という名称や単一スコアだけでは比較条件を特定できない。OSWorld 1.x、OSWorld-Verified、OSWorld-V2を分離し、V2では公開・提供 manifestが固定するcode、task files、task assets、公開 実行環境 assets、mocked websites、提供元 imageを一体の評価条件として扱う必要がある。

現行公開・提供と再現性境界

2026-09-16公開の osworld-v2.1 はOSWorld-V2の現行recommended 公開・提供である。公式manifestは次のcomponent 主体の識別を固定している。

  • OSWorld-V2 code: tag osworld-v2.1、base commit 325ab352e2ff7410854bf8e3324c391bc60e7526
  • task files: xlangai/osworld_v2_tasks@osworld-v2.1、commit 0a1aadad95aa79b00b3783e717d865089ab06e26
  • gated task assets: xlangai/osworld_v2_assets_gated@osworld-v2.1、commit 384b3834faba5700a7b589e6cc181490c9808949
  • 公開 実行環境 assets: xlangai/osworld_v2_assets@osworld-v2.1、commit 3a140a3df8f351b22bb5b9526846f078e738777f
  • mocked websites: Task-Web/OSWorld-web@osworld-v2.1、commit 60c89fe6a8ed934668619d8d26132848239eb8ee
  • task hash manifest: 108 tasks、SHA-256 c54d428329be5ca72742a6becd49ee83cf739df5dea429bba182e1f3f21badfb
  • AWS Ubuntu image: us-east-1 / 1920x1080 / ami-01017272139e01feb
  • Docker Ubuntu 成果物: xlangai/v2-image@osworld-v2.1、成果物 改訂版 6e16459a2feb5a8f1ed65babcfe7a2a6205d049d、成果物 SHA-256 14b08aa7ba6c023ecb91d46de8df5de32af4d1d6bd75ea925519caf9677fc8b3
  • Docker 実行環境 image: happysixd/osworld-docker@sha256:0e6497a9295647cf05bf2b2af522fdd79bdeba2737595259cab310a3bcf6baa9

比較可能な実行では、これらを同一公開・提供系列で揃える。main、latest、別公開・提供のtask/assets/web/提供元 imageを混在させると、モデルやagentの差と環境差を分離できなくなる。

運用上の意味

企業の評価台帳では、最低限 benchmark_family、公開・提供/tag、code 改訂版、task snapshot、asset snapshot、website 改訂版とhost mode、提供元 image 主体の識別、evaluator/処理の流れ 改訂版、agent scaffold、実行時設定を別々に保存する。単に「OSWorld 2.1を使用」と記録するより、manifest 主体の識別と実実行の結果の照合を結び付けた方が、後日の回帰比較・再現・監査に耐える。

GUI 比較評価では、task image、OS/app バージョン、initial 状態、action space、成功 evaluator、初期化方法も結果の一部である。企業導入前の内部試験では、read-only観測、可逆操作、破壊的・高影響操作を同じ成功率へ畳まず、権限と影響度ごとにtierを分ける。比較評価上の成功は、本番端末のMDM、認証情報、network policy、accessibility、組織固有アプリ、承認フローまで安全に扱えることを意味しない。

適用境界

この整理はOSWorld-V2の公開・提供 disciplineへ直接適用する。旧OSWorldやOSWorld-Verifiedのtask count、evaluator、leaderboard値をV2へ自動移植しない。第三者agent 実行環境のpatch、独自VM、独自website 配備、認証情報設定、proxy等は公式公開・提供 主体の識別とは別の実験条件として記録する。

安全な読み方

「OSWorldのスコア」ではなく、「OSWorld familyのどの公開・提供で、どのcode・task・assets・web・提供元 image・evaluator・agent条件を使った結果か」を併記する。公開・提供 manifestは比較条件を固定するための一次出典・来歴であり、全実行環境の完全同一性、本番適合性、スコアの普遍性を保証するものではない。

主要出典・来歴

  • xlang-ai/OSWorld-V2 benchmark_releases/osworld-v2.1.json（tag osworld-v2.1）
  • xlang-ai/OSWorld-V2 公開・提供 osworld-v2.1（2026-09-16）
  • xlang-ai/OSWorld-V2 README / 比較評価 Versions / Setup 評価 Environment
  • Enterprise AI運用辞典 EA-184 bounded 根拠 packet（2026-09-28）

よくある失敗・反証

  • OSWorld-V2の公開・提供 妥当性の検証は再現性を高めるが、全環境での完全な動作保証ではない。osworld-v2.1 では108 task filesのdownload/hash確認が行われ、公式manifestのverificationではtask、asset、website、提供元 imageについて詳細な整合確認が記録されている。一方で、Docker VMはarchive bytesと実行環境 digestが検証されているものの、KVM不在のためVM bootは未検証であり、AWS/Docker guest equivalenceも確立されていない。全108 taskのagent 評価も実施されていない。

    また、unmodified Task029には120秒のHTTP-server setup 処理待ち時間の上限が観測されている。別途tested fixは存在するが、この公開・提供には含まれていない。したがって、公開・提供 妥当性の検証のPASSを「全taskが全提供元で実機成功する」と読み替えてはならない。

    公開 実行環境 assetsはbrowser-facing 状態が匿名取得するための部分集合であり、complete task asset snapshotではない。実行時はgated assetsを公開・提供に合わせて取得し、OSWORLD_FILE_BASE_URLをそのsnapshotへ向ける。mocked websitesも Task-Web/OSWorld-web@osworld-v2.1 をself-hostし、対応するhost suffixを明示する。

まだ確認できていないこと

  • EA-184-UNKNOWN-01
    • osworld-v2.1 が長期固定比較の基準としてどの期間維持されるか、後続公開・提供でtask/evaluator変更がどの粒度で入るかは将来更新に依存する。
    • Task029のfixが後続公開・提供へ正式収録されたかは、次回refresh時に公開・提供 manifestと公開・提供 notesで再確認する。
    • 組織固有実行環境 patchやMDM・security policyがscore comparabilityへ与える影響は、各組織の実環境で個別検証が必要である。

根拠資料

この記事には、直接開ける外部出典が登録されていません。出典IDや検証情報は末尾で確認できます。

更新履歴

  1. EA-184-RESEARCH-20261026-R1: 正式な 監査/publication 対応付け

出典ID・検証情報・機械可読データ

根拠の種類と情報の鮮度は、ラベルとアイコンで確認できます。

記事ID
EA-184
最終確認日
2026-10-26
提供元・モデル・プラン・利用環境
—
対象地域
—
元資料の全文と収録照合記録
要点と前提

OSWorld系は、実際のデスクトップ環境でGUI・OS・アプリケーションを操作するcomputer-use agentを評価するベンチマーク群である。企業で結果を参照する場合、「OSWorld」という名称や単一スコアだけでは比較条件を特定できない。OSWorld 1.x、OSWorld-Verified、OSWorld-V2を分離し、V2ではrelease manifestが固定するcode、task files、task assets、public runtime assets、mocked websites、provider imageを一体の評価条件として扱う必要がある。

現行releaseと再現性境界

2026-09-16公開の osworld-v2.1 はOSWorld-V2の現行recommended releaseである。公式manifestは次のcomponent identityを固定している。

  • OSWorld-V2 code: tag osworld-v2.1、base commit 325ab352e2ff7410854bf8e3324c391bc60e7526
  • task files: xlangai/osworld_v2_tasks@osworld-v2.1、commit 0a1aadad95aa79b00b3783e717d865089ab06e26
  • gated task assets: xlangai/osworld_v2_assets_gated@osworld-v2.1、commit 384b3834faba5700a7b589e6cc181490c9808949
  • public runtime assets: xlangai/osworld_v2_assets@osworld-v2.1、commit 3a140a3df8f351b22bb5b9526846f078e738777f
  • mocked websites: Task-Web/OSWorld-web@osworld-v2.1、commit 60c89fe6a8ed934668619d8d26132848239eb8ee
  • task hash manifest: 108 tasks、SHA-256 c54d428329be5ca72742a6becd49ee83cf739df5dea429bba182e1f3f21badfb
  • AWS Ubuntu image: us-east-1 / 1920x1080 / ami-01017272139e01feb
  • Docker Ubuntu artifact: xlangai/v2-image@osworld-v2.1、artifact revision 6e16459a2feb5a8f1ed65babcfe7a2a6205d049d、artifact SHA-256 14b08aa7ba6c023ecb91d46de8df5de32af4d1d6bd75ea925519caf9677fc8b3
  • Docker runtime image: happysixd/osworld-docker@sha256:0e6497a9295647cf05bf2b2af522fdd79bdeba2737595259cab310a3bcf6baa9

比較可能なrunでは、これらを同一release系列で揃える。main、latest、別releaseのtask/assets/web/provider imageを混在させると、モデルやagentの差と環境差を分離できなくなる。

運用上の意味

企業の評価台帳では、最低限 benchmark_family、release/tag、code revision、task snapshot、asset snapshot、website revisionとhost mode、provider image identity、evaluator/workflow revision、agent scaffold、実行時設定を別々に保存する。単に「OSWorld 2.1を使用」と記録するより、manifest identityと実runのreadbackを結び付けた方が、後日の回帰比較・再現・監査に耐える。

GUI benchmarkでは、task image、OS/app version、initial state、action space、success evaluator、reset方法も結果の一部である。企業導入前の内部試験では、read-only観測、可逆操作、破壊的・高影響操作を同じ成功率へ畳まず、権限と影響度ごとにtierを分ける。benchmark上の成功は、本番端末のMDM、credential、network policy、accessibility、組織固有アプリ、承認フローまで安全に扱えることを意味しない。

failureと注意点

OSWorld-V2のrelease validationは再現性を高めるが、全環境での完全な動作保証ではない。osworld-v2.1 では108 task filesのdownload/hash確認が行われ、公式manifestのverificationではtask、asset、website、provider imageについて詳細な整合確認が記録されている。一方で、Docker VMはarchive bytesとruntime digestが検証されているものの、KVM不在のためVM bootは未検証であり、AWS/Docker guest equivalenceも確立されていない。全108 taskのagent evaluationも実施されていない。

また、unmodified Task029には120秒のHTTP-server setup timeoutが観測されている。別途tested fixは存在するが、このreleaseには含まれていない。したがって、release validationのPASSを「全taskが全providerで実機成功する」と読み替えてはならない。

public runtime assetsはbrowser-facing stateが匿名取得するための部分集合であり、complete task asset snapshotではない。実行時はgated assetsをreleaseに合わせて取得し、OSWORLD_FILE_BASE_URLをそのsnapshotへ向ける。mocked websitesも Task-Web/OSWorld-web@osworld-v2.1 をself-hostし、対応するhost suffixを明示する。

適用境界

この整理はOSWorld-V2のrelease disciplineへ直接適用する。旧OSWorldやOSWorld-Verifiedのtask count、evaluator、leaderboard値をV2へ自動移植しない。第三者agent runtimeのpatch、独自VM、独自website deployment、credential設定、proxy等は公式release identityとは別の実験条件として記録する。

OPEN_UNKNOWN
  • osworld-v2.1 が長期固定baselineとしてどの期間維持されるか、後続releaseでtask/evaluator変更がどの粒度で入るかは将来更新に依存する。
  • Task029のfixが後続releaseへ正式収録されたかは、次回refresh時にrelease manifestとrelease notesで再確認する。
  • 組織固有runtime patchやMDM・security policyがscore comparabilityへ与える影響は、各組織の実環境で個別検証が必要である。
安全な読み方

「OSWorldのスコア」ではなく、「OSWorld familyのどのreleaseで、どのcode・task・assets・web・provider image・evaluator・agent条件を使った結果か」を併記する。release manifestは比較条件を固定するための一次provenanceであり、全実行環境の完全同一性、本番適合性、スコアの普遍性を保証するものではない。

主要provenance
  • xlang-ai/OSWorld-V2 benchmark_releases/osworld-v2.1.json（tag osworld-v2.1）
  • xlang-ai/OSWorld-V2 release osworld-v2.1（2026-09-16）
  • xlang-ai/OSWorld-V2 README / Benchmark Versions / Setup Evaluation Environment
  • Enterprise AI運用辞典 EA-184 bounded evidence packet（2026-09-28）
  • EA-184-CURRENT-APPROVAL研究資料研究資料根拠の出所: AUDITED_CANONICAL_RESEARCH_PACKET

    現行本文の監査・revision対応

    裏付ける内容
    現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。
    確認日
    —
    出典・実験ID
    AIFIN-EA-RESEARCH-c9a8b2b2c832bf1a46631f30
    検証箇所
    1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER!A806:U806 · EA_REVISION_LEDGER!A806:U806 · EA-184-RESEARCH-20261026-R1
    適用範囲
    —
    出典・来歴
    CURRENT_CANONICAL_APPROVAL_READBACK
    限界
    監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。
  • EA-184-CURRENT-BODY-READBACK実装資料実装資料根拠の出所: IMPLEMENTATION_READBACK

    現行本文の収録照合

    裏付ける内容
    公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。
    確認日
    2026-10-26
    出典・実験ID
    BODY-SHA256:94f4e030c7c450e4438882b800d62e1f084161ef22e9c9b0cef93cc55db41e43
    検証箇所
    content/staging/EA-184.md · 94f4e030c7c450e4438882b800d62e1f084161ef22e9c9b0cef93cc55db41e43 · EA-184-RESEARCH-20261026-R1
    適用範囲
    —
    出典・来歴
    CURRENT_APPROVED_BODY_HASH_MATCH
    限界
    本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。
出典ID
AIFIN-EA-RESEARCH-c9a8b2b2c832bf1a46631f30, BODY-SHA256:94f4e030c7c450e4438882b800d62e1f084161ef22e9c9b0cef93cc55db41e43
追跡中のUNKNOWN ID
EA-184-UNKNOWN-01
再確認のきっかけ
正式な 改訂版/publication 状態 change · 本文 成果物 hash change · 出典 現行性 change · new contradiction or 実装 結果の照合

機械検査: 通過 — 機械検査の結果です。情報の正確性や実行の承認を保証するものではありません。

    同じ記事IDの機械可読データです。