# GUI Agent / Computer Use Control Profile CURRENT_STATUS: UNKNOWN OBSERVATION: SPEC_ONLY FRESHNESS: UNKNOWN PAGE_TYPE: reference CANONICAL_URL: /tools/ea-033-gui-agent-computer-use-control-profile CLAIM_IDS: none EVIDENCE_IDS: EA-033-R11-RESEARCH, EA-033-R11-WEB-READBACK UNKNOWN_IDS: EA-033-UNKNOWN-01, EA-033-UNKNOWN-CURRENTNESS OPS_IDS: none ## Summary GUI agent / computer-use運用では、automation surfaceを一括りにせず、structured API/tool or MCP、structured browser/page-aware automation、vision GUI browser、full desktop GUIを分離する。業務要件を満たす範囲で最もstructuredなsurfaceを優先し、GUIはfallbackまたはvisual verification自体が重要な場合の要件として扱う。 ## Current judgment GUI agent / computer-use運用では、automation surfaceを一括りにせず、structured API/tool or MCP、structured browser/page-aware automation、vision GUI browser、full desktop GUIを分離する。業務要件を満たす範囲で最もstructuredなsurfaceを優先し、GUIはfallbackまたはvisual verification自体が重要な場合の要件として扱う。 ## Scope Computer Use／GUIエージェント編 ## Confirmed ## UNKNOWN - EA-033-UNKNOWN-01: publication-time provider model/tool matrix、GA/preview status、plan/region/data-residency/admin controls、pricing、target-application automation/TOS/MFA/CAPTCHA/VDI constraints、tenant DLP/CASB/browser-isolation compatibility、screenshot/action-log retention/legal-hold/redaction requirements、organization-specific action-risk thresholds。UNKNOWNを推測で閉じない。 - EA-033-UNKNOWN-CURRENTNESS: 外部根拠の再確認日がcanonical body/control-planeで確定していないため、currentnessはUNKNOWNとして保持する。日付を推測補完しない。 ## Evidence - EA-033-R11-RESEARCH (RESEARCH): EA-033 監査済みresearch / canonical revision binding - EA-033-R11-WEB-READBACK (IMPL): EA-033 Web body identity / canonical readback ## Failure / limits GUI observationは表示状態とbackend truthが一致しない場合がある。action success表示だけでpostconditionを確定しない。retryは二重送信・二重購入・重複更新等のside effectを起こし得る。prompt injection、overlay、stale screen、focus/window mismatch、latency、partial completionを別failure modeとして扱う。structured surfaceが存在してもvisual verification要件がある場合はGUIを完全排除しない。 ## Practice OSWorld / WebArena / OSWorld-MCPおよびprompt-injection researchはevaluation/counterevidence inputであり、scoreやsuccess rateをcurrent providerまたはenterprise workload guaranteeへ使用しない。将来の結果はenvironment/model/tool/fixture/version tupleとともに保存する。 ## Practice provider / exact model and tool version / API or product surface / GA-preview-deprecated status / plan / region / organization admin controls / data residency / target-application permissions / MFA-CAPTCHA-VDI constraints / target application TOS / DLP-CASB-browser isolation / logging-retention-redaction capabilityを分離する。 ## Practice UNEXECUTED。非機密・非破壊fixtureでsurface routing、authorization、postcondition readback、duplicate-side-effect prevention、rollback/compensation、human takeoverを検証する。実決済、実契約、実外部送信、不可逆操作は行わない。未実施結果や閾値を推測しない。 ## Public claim GUI agent / computer-use運用では、automation surfaceを一括りにせず、structured API/tool or MCP、structured browser/page-aware automation、vision GUI browser、full desktop GUIを分離する。業務要件を満たす範囲で最もstructuredなsurfaceを優先し、GUIはfallbackまたはvisual verification自体が重要な場合の要件として扱う。 GUI_AGENT_CONTROL_PROFILEおよび OBSERVE → INTERPRET → PLAN → AUTHORIZE → ACT → VERIFY → RECOVER のcontrol loopはDICTIONARY PROPOSALであり、外部標準ではない。 ## Automation-surface routing 1. STRUCTURED_API_TOOL_MCP — schema化されたAPI/tool/protocol surface。 2. STRUCTURED_BROWSER_PAGE_AWARE — DOM/page-aware等の構造化browser automation。 3. VISION_GUI_BROWSER — screenshot/visionに基づくbrowser GUI操作。 4. FULL_DESKTOP_GUI — OS/Desktop全体を対象とするGUI操作。 surface選択はcapabilityの優劣ではなく、対象system、可観測性、権限、失敗回復、visual verification要件に基づく。 ## Control loop OBSERVE — 現在状態を取得する。 INTERPRET — 表示・構造・system stateを解釈する。 PLAN — bounded action sequenceを作る。 AUTHORIZE — action class、権限、step-up gateを評価する。 ACT — 許可された作用のみ実行する。 VERIFY — postconditionとside effectをreadbackする。 RECOVER — rollback、compensation、retry suppression、human takeoverへ移る。 R0-R5 action-risk classや具体的confirmation thresholdはDICTIONARY PROPOSAL / organization policyであり、外部標準として扱わない。 ## Current provider boundary OpenAI current API documentationではComputer useをcurrent models経由で扱い、built-in computer actions、custom automation/MCP harnesses、code-execution environmentsという異なるharness shapeを分離する。旧computer-use-preview familyはdeprecated historical evidenceとしてのみ扱い、current pathとして掲載しない。PRODUCT_VOLATILE。 Anthropic current docsでは computer_toolset_20260801 をcurrent-as-of client toolsetとして扱い、browser useとfull-desktop computer useを分離し、executionはclient-controlledであることを保持する。全Claude surfaceへ一般化しない。PRODUCT_VOLATILE。 Google current Gemini Computer Use docsはbrowser/mobile/computer environmentに対するscreenshot/action client loopのcurrent exampleとして扱う。model-list詳細はas-of/versioned factに限定する。PRODUCT_VOLATILE。 ## Safety boundary 第三者GUI contentはuntrusted inputである。prompt-injection detectionだけを安全証明にしない。action authorization、least privilege、isolated execution、consequential-action confirmation、postcondition verification、retry/duplication control、recovery/compensation、human takeoverを独立controlとして保持する。 UIに表示されたinstructionとaction authorizationを同一視しない。high-impact/irreversible actionはorganization-defined step-up gateを通す。再試行ではduplicate side effectを防止する。 ## Benchmark boundary OSWorld / WebArena / OSWorld-MCPおよびprompt-injection researchはevaluation/counterevidence inputであり、scoreやsuccess rateをcurrent providerまたはenterprise workload guaranteeへ使用しない。将来の結果はenvironment/model/tool/fixture/version tupleとともに保存する。 ## Availability gates provider / exact model and tool version / API or product surface / GA-preview-deprecated status / plan / region / organization admin controls / data residency / target-application permissions / MFA-CAPTCHA-VDI constraints / target application TOS / DLP-CASB-browser isolation / logging-retention-redaction capabilityを分離する。 ## Failure envelope GUI observationは表示状態とbackend truthが一致しない場合がある。action success表示だけでpostconditionを確定しない。retryは二重送信・二重購入・重複更新等のside effectを起こし得る。prompt injection、overlay、stale screen、focus/window mismatch、latency、partial completionを別failure modeとして扱う。structured surfaceが存在してもvisual verification要件がある場合はGUIを完全排除しない。 ## TEST_PROFILE UNEXECUTED。非機密・非破壊fixtureでsurface routing、authorization、postcondition readback、duplicate-side-effect prevention、rollback/compensation、human takeoverを検証する。実決済、実契約、実外部送信、不可逆操作は行わない。未実施結果や閾値を推測しない。 ## OPEN_UNKNOWN publication-time provider model/tool matrix、GA/preview status、plan/region/data-residency/admin controls、pricing、target-application automation/TOS/MFA/CAPTCHA/VDI constraints、tenant DLP/CASB/browser-isolation compatibility、screenshot/action-log retention/legal-hold/redaction requirements、organization-specific action-risk thresholds。UNKNOWNを推測で閉じない。 NEXT: /agent/start.json STOP: This is a knowledge projection, not an execution order.