{
  "format": "agent-article-v0",
  "article_id": "EA-184",
  "canonical_url": "/tools/ea-184-osworld",
  "page_type": "reference",
  "claim_ids": [],
  "evidence_ids": [
    "EA-184-CURRENT-APPROVAL",
    "EA-184-CURRENT-BODY-READBACK"
  ],
  "unknown_ids": [
    "EA-184-UNKNOWN-01"
  ],
  "operational_object_ids": [],
  "provider": [],
  "models": [],
  "plans": [],
  "surfaces": [],
  "regions": [],
  "current_status": "CURRENT",
  "observation_status": "SPEC_ONLY",
  "freshness": "CURRENT",
  "last_verified": "2026-10-26",
  "supersedes": [],
  "superseded_by": [],
  "provenance": [
    "AIFIN-EA-RESEARCH-c9a8b2b2c832bf1a46631f30",
    "BODY-SHA256:94f4e030c7c450e4438882b800d62e1f084161ef22e9c9b0cef93cc55db41e43"
  ],
  "article_sources": [
    {
      "id": "EA-184-CURRENT-APPROVAL",
      "evidence_class": "RESEARCH",
      "title": "現行本文の監査・revision対応",
      "supports": [
        "現行台帳のAUDIT_PASSと候補・revision・本文ハッシュの対応を確認しています。"
      ],
      "limit": "監査状態と来歴の記録です。外部根拠の最新性や本文の全主張を追加保証しません。",
      "origin_class": "AUDITED_CANONICAL_RESEARCH_PACKET",
      "source_or_experiment_ids": [
        "AIFIN-EA-RESEARCH-c9a8b2b2c832bf1a46631f30"
      ],
      "supporting_locators": [
        "1KqhJtiSb2S84rWmeYVwKcT_76dBwZ_B0ZZuAWQqH0rQ/EA_REVISION_LEDGER!A806:U806",
        "EA_REVISION_LEDGER!A806:U806",
        "EA-184-RESEARCH-20261026-R1"
      ],
      "provenance_status": "CURRENT_CANONICAL_APPROVAL_READBACK"
    },
    {
      "id": "EA-184-CURRENT-BODY-READBACK",
      "evidence_class": "IMPL",
      "title": "現行本文の収録照合",
      "supports": [
        "公開生成入力の本文SHA-256が、監査済み候補に結び付いたハッシュと一致しています。"
      ],
      "limit": "本文の同一性の検査です。外部システムの挙動や全主張の真偽を実証したものではありません。",
      "checked_at": "2026-10-26",
      "origin_class": "IMPLEMENTATION_READBACK",
      "source_or_experiment_ids": [
        "BODY-SHA256:94f4e030c7c450e4438882b800d62e1f084161ef22e9c9b0cef93cc55db41e43"
      ],
      "supporting_locators": [
        "content/staging/EA-184.md",
        "94f4e030c7c450e4438882b800d62e1f084161ef22e9c9b0cef93cc55db41e43",
        "EA-184-RESEARCH-20261026-R1"
      ],
      "provenance_status": "CURRENT_APPROVED_BODY_HASH_MATCH"
    }
  ],
  "research_sections": [
    {
      "heading": "要点と前提",
      "text": "OSWorld系は、実際のデスクトップ環境でGUI・OS・アプリケーションを操作するcomputer-use agentを評価するベンチマーク群である。企業で結果を参照する場合、「OSWorld」という名称や単一スコアだけでは比較条件を特定できない。OSWorld 1.x、OSWorld-Verified、OSWorld-V2を分離し、V2ではrelease manifestが固定するcode、task files、task assets、public runtime assets、mocked websites、provider imageを一体の評価条件として扱う必要がある。"
    },
    {
      "heading": "現行releaseと再現性境界",
      "text": "2026-09-16公開の `osworld-v2.1` はOSWorld-V2の現行recommended releaseである。公式manifestは次のcomponent identityを固定している。\n\n- OSWorld-V2 code: tag `osworld-v2.1`、base commit `325ab352e2ff7410854bf8e3324c391bc60e7526`\n- task files: `xlangai/osworld_v2_tasks@osworld-v2.1`、commit `0a1aadad95aa79b00b3783e717d865089ab06e26`\n- gated task assets: `xlangai/osworld_v2_assets_gated@osworld-v2.1`、commit `384b3834faba5700a7b589e6cc181490c9808949`\n- public runtime assets: `xlangai/osworld_v2_assets@osworld-v2.1`、commit `3a140a3df8f351b22bb5b9526846f078e738777f`\n- mocked websites: `Task-Web/OSWorld-web@osworld-v2.1`、commit `60c89fe6a8ed934668619d8d26132848239eb8ee`\n- task hash manifest: 108 tasks、SHA-256 `c54d428329be5ca72742a6becd49ee83cf739df5dea429bba182e1f3f21badfb`\n- AWS Ubuntu image: `us-east-1` / 1920x1080 / `ami-01017272139e01feb`\n- Docker Ubuntu artifact: `xlangai/v2-image@osworld-v2.1`、artifact revision `6e16459a2feb5a8f1ed65babcfe7a2a6205d049d`、artifact SHA-256 `14b08aa7ba6c023ecb91d46de8df5de32af4d1d6bd75ea925519caf9677fc8b3`\n- Docker runtime image: `happysixd/osworld-docker@sha256:0e6497a9295647cf05bf2b2af522fdd79bdeba2737595259cab310a3bcf6baa9`\n\n比較可能なrunでは、これらを同一release系列で揃える。`main`、`latest`、別releaseのtask/assets/web/provider imageを混在させると、モデルやagentの差と環境差を分離できなくなる。"
    },
    {
      "heading": "運用上の意味",
      "text": "企業の評価台帳では、最低限 `benchmark_family`、release/tag、code revision、task snapshot、asset snapshot、website revisionとhost mode、provider image identity、evaluator/workflow revision、agent scaffold、実行時設定を別々に保存する。単に「OSWorld 2.1を使用」と記録するより、manifest identityと実runのreadbackを結び付けた方が、後日の回帰比較・再現・監査に耐える。\n\nGUI benchmarkでは、task image、OS/app version、initial state、action space、success evaluator、reset方法も結果の一部である。企業導入前の内部試験では、read-only観測、可逆操作、破壊的・高影響操作を同じ成功率へ畳まず、権限と影響度ごとにtierを分ける。benchmark上の成功は、本番端末のMDM、credential、network policy、accessibility、組織固有アプリ、承認フローまで安全に扱えることを意味しない。"
    },
    {
      "heading": "failureと注意点",
      "text": "OSWorld-V2のrelease validationは再現性を高めるが、全環境での完全な動作保証ではない。`osworld-v2.1` では108 task filesのdownload/hash確認が行われ、公式manifestのverificationではtask、asset、website、provider imageについて詳細な整合確認が記録されている。一方で、Docker VMはarchive bytesとruntime digestが検証されているものの、KVM不在のためVM bootは未検証であり、AWS/Docker guest equivalenceも確立されていない。全108 taskのagent evaluationも実施されていない。\n\nまた、unmodified Task029には120秒のHTTP-server setup timeoutが観測されている。別途tested fixは存在するが、このreleaseには含まれていない。したがって、release validationのPASSを「全taskが全providerで実機成功する」と読み替えてはならない。\n\npublic runtime assetsはbrowser-facing stateが匿名取得するための部分集合であり、complete task asset snapshotではない。実行時はgated assetsをreleaseに合わせて取得し、`OSWORLD_FILE_BASE_URL`をそのsnapshotへ向ける。mocked websitesも `Task-Web/OSWorld-web@osworld-v2.1` をself-hostし、対応するhost suffixを明示する。"
    },
    {
      "heading": "適用境界",
      "text": "この整理はOSWorld-V2のrelease disciplineへ直接適用する。旧OSWorldやOSWorld-Verifiedのtask count、evaluator、leaderboard値をV2へ自動移植しない。第三者agent runtimeのpatch、独自VM、独自website deployment、credential設定、proxy等は公式release identityとは別の実験条件として記録する。"
    },
    {
      "heading": "OPEN_UNKNOWN",
      "text": "- `osworld-v2.1` が長期固定baselineとしてどの期間維持されるか、後続releaseでtask/evaluator変更がどの粒度で入るかは将来更新に依存する。\n- Task029のfixが後続releaseへ正式収録されたかは、次回refresh時にrelease manifestとrelease notesで再確認する。\n- 組織固有runtime patchやMDM・security policyがscore comparabilityへ与える影響は、各組織の実環境で個別検証が必要である。"
    },
    {
      "heading": "安全な読み方",
      "text": "「OSWorldのスコア」ではなく、「OSWorld familyのどのreleaseで、どのcode・task・assets・web・provider image・evaluator・agent条件を使った結果か」を併記する。release manifestは比較条件を固定するための一次provenanceであり、全実行環境の完全同一性、本番適合性、スコアの普遍性を保証するものではない。"
    },
    {
      "heading": "主要provenance",
      "text": "- xlang-ai/OSWorld-V2 `benchmark_releases/osworld-v2.1.json`（tag `osworld-v2.1`）\n- xlang-ai/OSWorld-V2 release `osworld-v2.1`（2026-09-16）\n- xlang-ai/OSWorld-V2 README / Benchmark Versions / Setup Evaluation Environment\n- Enterprise AI運用辞典 EA-184 bounded evidence packet（2026-09-28）"
    }
  ],
  "human_url": "/tools/ea-184-osworld",
  "markdown_url": "/agent/article.md?path=%2Ftools%2Fea-184-osworld",
  "json_url": "/agent/article.json?path=%2Ftools%2Fea-184-osworld"
}