Browser Agent専門編

Browser Agentは通常のWeb API連携や決定論的RPAと異なり、Webページ由来の非信頼入力を観測しながら、認証済みsessionを保持したブラウザ上でクリック・入力・upload/download等の副作用を発生させ得る。Enterprise AI運用では、モデル性能だけでなく、browser execution protocol、session/credential boundary、observation/action representation、policy/confirmation、egress・download、audit/replayを独立した運用境界として扱う必要がある。

Enterprise AI Core / implementation / security / governance / benchmark / provider mapping / interoperability / non-LLM component

• Browser Agentの共通Coreは、planner/modelとbrowser-control layerを分離して設計・監査できるか。
• WebDriver BiDi/CDP/Playwright等のbrowser automation基盤が保証する範囲と、agent semantics・policy・safetyが保証されない範囲はどこか。
• session isolation・認証state・prompt injection・本番Web driftをどのfailure envelopeとして扱うべきか。
• WebArena/WorkArena等のbenchmark結果を、どこまで本番運用品質へ外挿できるか。

E1 | official standard | WebDriver BiDi | W3C Browser Testing and Tools WG | https://www.w3.org/TR/webdriver-bidi/ | published 2026-08-24; accessed 2026-09-14 | Working Draft 2026-08-24 | Abstract/Status: bidirectional remote-control protocol for user agents; Working Draft, work in progress | VERIFIED_SPEC | support + limit E2 | browser implementation protocol | Chrome DevTools Protocol | Chromium DevTools team | https://chromedevtools.github.io/devtools-protocol/ | accessed 2026-09-14 | protocol definitions tied to Chromium source/current browser | FAQ: canonical .pdl definitions in Chromium; runtime protocol can be queried from browser | VERIFIED_SPEC / PRODUCT_VOLATILE | support + interoperability limit E3 | author-maintained implementation docs | Isolation / BrowserContext | Microsoft Playwright | https://playwright.dev/docs/browser-contexts | accessed 2026-09-14 | current docs as-of access | each BrowserContext has isolated local/session storage and cookies; non-persistent contexts available | OSS_PRACTICE | support E4 | author-maintained implementation docs | Authentication | Microsoft Playwright | https://playwright.dev/docs/auth | accessed 2026-09-14 | current docs as-of access | stored authenticated browser state may contain sensitive cookies/headers usable for impersonation; repository check-in discouraged | OSS_PRACTICE | counter + security limit E5 | primary research | WebArena: A Realistic Web Environment for Building Autonomous Agents | Zhou et al. | https://arxiv.org/abs/2307.13854 | 2023-07-25; accessed 2026-09-14 | arXiv paper | realistic reproducible web environment; original baseline best GPT-4-based agent 14.41% vs human 78.24% | RESEARCH | support + historical context E6 | primary research | WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? | Drouin et al. / ServiceNow Research | https://arxiv.org/abs/2403.07718 | 2024-03-12; accessed 2026-09-14 | paper | enterprise browser benchmark on ServiceNow; substantial gap to full task automation reported | RESEARCH | support + limit E7 | primary research | WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks | Boisvert et al. / ServiceNow Research | https://arxiv.org/abs/2407.05291 | 2024-07-07; accessed 2026-09-14 | paper; 682 tasks | realistic compositional knowledge-work workflows; challenges remain across planning/reasoning/retrieval/context | RESEARCH | support + benchmark context E8 | author-maintained OSS | BrowserGym | ServiceNow Research | https://github.com/ServiceNow/BrowserGym | accessed 2026-09-14 | main; current repository | common environment supporting WebArena, WorkArena and other web-agent benchmarks; explicitly research framework, not consumer product | OSS_PRACTICE | support + limit E9 | security benchmark / author-maintained OSS | AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents | Debenedetti et al., ETH Zurich / Invariant Labs | https://github.com/ethz-spylab/agentdojo | NeurIPS 2024 benchmark; repo accessed 2026-09-14 | main; API stated under development | evaluates prompt-injection attacks/defenses in tool-using agents; framework version/API remains mutable | RESEARCH / OSS_PRACTICE | counter + security context E10 | current provider implementation | Computer use tool | Anthropic | https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool | accessed 2026-09-14 | computer_toolset_20260801; 17 member tools; current docs | screenshot/mouse/keyboard calls executed in application-controlled environment; browser-use tool is indicated as closer fit for webpage-only tasks; not currently available in Claude Managed Agents | VERIFIED_SPEC / PRODUCT_VOLATILE | support + availability limit E11 | provider historical/current-context mapping | Introducing Operator / Computer-Using Agent | OpenAI | https://openai.com/index/introducing-operator/ ; https://openai.com/index/computer-using-agent/ | original 2025-01-23; page accessed 2026-09-14 | Operator page states standalone Operator was integrated into ChatGPT agent in 2025 | screenshot-based GUI/browser interaction; provider page itself marks original release as research preview and points to newer experience | SOURCE_REPORT / PRODUCT_VOLATILE | context + limit E12 | current enterprise-oriented research | World of Workflows: a Benchmark for Bringing World Models to Enterprise Systems | Gupta et al. | https://arxiv.org/abs/2601.22130 | 2026-01-29; accessed 2026-09-14 | WoW-bench 234 tasks; ServiceNow environment with 4,000+ business rules / 55 active workflows | reports dynamics blindness and silent constraint violations from hidden enterprise workflows | RESEARCH | counter + enterprise limit

F1. Browser Agentは「モデルがブラウザを使う」一枚岩ではなく、少なくとも (a) planner/model、(b) observation representation（DOM/accessibility/screenshot等）、(c) browser-control adapter/protocol、(d) browser/session context、(e) authorization/policy/confirmation、(f) network/download/upload/secret boundary、(g) audit/replay に分解すべきである。これはCore設計上のINFERENCEであり、E1-E4/E8/E10が部品分離を支持する。 F2. WebDriver BiDiはbrowser remote-controlの相互運用基盤候補だが、2026-08-24時点でWorking Draftであり、agentの目的解釈・安全判断・権限制御を標準化するものではない。CDPもChromium実装系のprotocolであり、browser-agent safety standardではない。 F3. BrowserContext等のsession isolationは実装可能だが、認証stateを再利用する場合、そのstate自体がcredential相当の秘密になり得る。従って「isolated context」と「safe credential handling」は別claimである。 F4. Webページ内容はagentにとってuntrusted inputとして扱うべきである。AgentDojoはbrowser専用benchmarkではないが、tool-returned untrusted data経由のprompt injectionをagent securityの独立failure modeとして評価する根拠になる。browser領域への適用はCONTEXT/INFERENCEとして扱い、直接のbrowser製品保証にはしない。 F5. WebArena/WorkArena/WorkArena++は再現可能な能力評価に有用だが、task set、サイト状態、login/session、observation/action space、モデル、step limit、evaluatorに依存する。本番Web任意サイトの成功率・安全性・availability保証へ外挿してはならない。 F6. enterprise browser taskでは画面上に見えないworkflow/business-rule副作用もfailure envelopeになる。WoW-benchの報告は、単にclick成功を確認するだけでは業務状態の正当性を保証できないことを示す研究根拠になる。 F7. provider実装は急速に変わる。Anthropicは2026-08-01版computer toolsetを現行docsで示す一方、availabilityはmodel/platform差がある。OpenAIの旧Operator情報は現在のChatGPT/Work系体験への移行文脈としてのみ保持し、将来本文では現行product docsを再確認する。

• 標準protocol準拠はagent safety・task correctnessを保証しない。
• BrowserContext isolationはhost/browser exploit、credential misuse、prompt injection、cross-system business side effectsを解決しない。
• live WebはDOM/UI変更、localization、A/B test、popup、CAPTCHA、anti-bot、latency、download、multi-tab、session expiry等でdriftする。
• screenshot-only agentは視覚認識誤り、DOM/action agentはhidden/dynamic elementやsemantic mismatchを起こし得る。方式間の優劣はtask-dependentでUNKNOWN。
• prompt-injection防御の単一方式を「解決済み」と表現しない。AgentDojo自体もAPIが開発中であり、benchmark version固定が必要。
• benchmarkでの高scoreを特定tenant・本番サイト・ destructive actionの安全保証に外挿しない。
• hidden workflow/state transitionは「操作は成功したが業務結果が誤る」silent failureを生む。

• browser engine / version / WebDriver-BiDi・CDP・Playwright互換性
• headless/headful、OS/container/sandbox、enterprise proxy/egress policy
• login方式、MFA/WebAuthn/CAPTCHA、session-cookie保管方式、SSO tenant policy
• download/upload/file-system access、clipboard、popup/multi-tab、extension policy
• provider computer/browser toolのmodel・plan・region・platform・managed-agent対応
• target website terms、anti-automation control、rate limit、robots/abuse controls

MATURE/PARTIAL: browser automation自体（WebDriver/CDP/Playwright）は実装成熟度が高いが、WebDriver BiDiは2026-08-24時点Working Draft。Browser Agent全体のpolicy/safety/session governanceを覆う単一標準は今回の採集では確認できず UNKNOWN。BrowserGym/AgentLab等は研究・評価基盤として実装済みだがconsumer/enterprise production control planeではない。provider computer/browser toolはPRODUCT_VOLATILE。

WebArena、WorkArena、WorkArena++、BrowserGym系を能力評価棚として採用可能。ただしbenchmark→production guaranteeは禁止。future updateでは、同一modelでも observation mode、action space、step cap、browser version、site snapshot、evaluator/version を固定して比較する。企業利用ではtask successに加えて unauthorized action、constraint violation、recovery、human-intervention rate、session leakage、injection successを別metric化する。

indirect prompt injection、session/cookie theft、credential entry、malicious download/upload、destructive click、cross-origin data exfiltration、browser/renderer exploit surface。高影響actionはmodel判断だけでなくpolicy/confirmation境界を置く。

screenshot/DOM/traceにはPII・secrets・内部URLが入り得る。保存・retention・redactionを別設計する。 AUDIT: URL、navigation、action、timestamp、tool result、policy decision、confirmation、download/upload hash、final business-state verificationを関連付ける。full screenshot replayは監査価値とprivacy costの両方がある。

model step、vision/screenshot token、browser runtime、network、retry/recoveryが累積する。UI driftによる反復はcost amplification要因。

安定した定型処理はAPI/決定論的automationを優先し、Browser AgentはAPI不在・半構造UI等に限定するhybrid routingがPROPOSALとして妥当。

「Browser Agentは、Web APIがない／十分でない画面操作を自動化できる一方、ブラウザ制御protocolそのものはagentの意図・権限・安全性を保証しない。企業運用ではWebコンテンツを非信頼入力として扱い、session/credential、action policy、network・file境界、監査、最終業務状態の検証をモデル外の制御層に分離する。WebArenaやWorkArena等の成績は比較評価には使えるが、任意の本番Webサイトでの成功率や安全性の保証ではない。」

• future WorkではBrowser Agent章を「control protocol」「observation/action」「session/identity」「policy/confirmation」「untrusted-content defense」「audit/business-state verification」に分解してCore化する。
• provider mapping時にOpenAI/Anthropic/Google/Microsoft等のcurrent browser/computer-use capability、model ID、plan/region、managed-environment availabilityを再確認する。
• TEST_PROFILE（未実施）: ローカルの再現可能Web環境＋捨てアカウントを用い、認証stateなし/あり、benign page/injected page、read-only/action taskを分離。外部本番tenant・課金・秘密情報・destructive writeは使わない。記録項目はtask successだけでなく policy block、injection resistance、session residue、business-state validation、retry/cost。
• benchmark採用時はversion/site snapshot/action space/evaluatorを固定し、provider marketing benchmark値と自測値を混ぜない。

2026-09-14時点の各provider browser-only toolの正確なEnterprise plan/region/tenant availability、WebDriver BiDiのRecommendation到達時期、browser-agent safety/policyの横断標準化状況、主要browser agent製品のsession retention/audit export詳細。

browser-control標準/実装、enterprise benchmark、prompt-injection/security、session credential boundary、current provider実装例、failure envelopeが独立証拠で揃ったためEA-049初回Packetをbounded completeとする。provider-specific availabilityはfuture mappingで再確認する。

---

WebDriver BiDi remains work in progress; live ledger records 2026-09-16 Working Draft currentness. Browser-use and full computer-use surfaces remain distinct. Browser-control protocols do not establish agent intent, authorization, safety, session governance, or production success. Preserve provider availability uncertainty and all OPEN_UNKNOWN.