GUIエージェント ／ コンピュータ操作制御プロファイル

GUI agent / computer-use運用では、automation surfaceを一括りにせず、structured API/tool or MCP、structured browser/page-aware automation、vision GUI browser、full desktop GUIを分離する。業務要件を満たす範囲で最もstructuredなsurfaceを優先し、GUIはfallbackまたはvisual verification自体が重要な場合の要件として扱う。

GUI_AGENT_CONTROL_PROFILEおよび OBSERVE → INTERPRET → PLAN → AUTHORIZE → ACT → VERIFY → RECOVER のcontrol loopはDICTIONARY PROPOSALであり、外部標準ではない。

• STRUCTURED_API_TOOL_MCP — schema化されたAPI/tool/protocol surface。
• STRUCTURED_BROWSER_PAGE_AWARE — DOM/page-aware等の構造化browser automation。
• VISION_GUI_BROWSER — screenshot/visionに基づくbrowser GUI操作。
• FULL_DESKTOP_GUI — OS/Desktop全体を対象とするGUI操作。

surface選択はcapabilityの優劣ではなく、対象system、可観測性、権限、失敗回復、visual verification要件に基づく。

OBSERVE — 現在状態を取得する。 INTERPRET — 表示・構造・system stateを解釈する。 PLAN — bounded action sequenceを作る。 AUTHORIZE — action class、権限、step-up gateを評価する。 ACT — 許可された作用のみ実行する。 VERIFY — postconditionとside effectをreadbackする。 RECOVER — rollback、compensation、retry suppression、human takeoverへ移る。

R0-R5 action-risk classや具体的confirmation thresholdはDICTIONARY PROPOSAL / organization policyであり、外部標準として扱わない。

OpenAI current API documentationではComputer useをcurrent models経由で扱い、built-in computer actions、custom automation/MCP harnesses、code-execution environmentsという異なるharness shapeを分離する。旧computer-use-preview familyはdeprecated historical evidenceとしてのみ扱い、current pathとして掲載しない。PRODUCT_VOLATILE。

Anthropic current docsでは computer_toolset_20260801 をcurrent-as-of client toolsetとして扱い、browser useとfull-desktop computer useを分離し、executionはclient-controlledであることを保持する。全Claude surfaceへ一般化しない。PRODUCT_VOLATILE。

Google current Gemini Computer Use docsはbrowser/mobile/computer environmentに対するscreenshot/action client loopのcurrent exampleとして扱う。model-list詳細はas-of/versioned factに限定する。PRODUCT_VOLATILE。

第三者GUI contentはuntrusted inputである。prompt-injection detectionだけを安全証明にしない。action authorization、least privilege、isolated execution、consequential-action confirmation、postcondition verification、retry/duplication control、recovery/compensation、human takeoverを独立controlとして保持する。

UIに表示されたinstructionとaction authorizationを同一視しない。high-impact/irreversible actionはorganization-defined step-up gateを通す。再試行ではduplicate side effectを防止する。

OSWorld / WebArena / OSWorld-MCPおよびprompt-injection researchはevaluation/counterevidence inputであり、scoreやsuccess rateをcurrent providerまたはenterprise workload guaranteeへ使用しない。将来の結果はenvironment/model/tool/fixture/version tupleとともに保存する。

provider / exact model and tool version / API or product surface / GA-preview-deprecated status / plan / region / organization admin controls / data residency / target-application permissions / MFA-CAPTCHA-VDI constraints / target application TOS / DLP-CASB-browser isolation / logging-retention-redaction capabilityを分離する。

GUI observationは表示状態とbackend truthが一致しない場合がある。action success表示だけでpostconditionを確定しない。retryは二重送信・二重購入・重複更新等のside effectを起こし得る。prompt injection、overlay、stale screen、focus/window mismatch、latency、partial completionを別failure modeとして扱う。structured surfaceが存在してもvisual verification要件がある場合はGUIを完全排除しない。

UNEXECUTED。非機密・非破壊fixtureでsurface routing、authorization、postcondition readback、duplicate-side-effect prevention、rollback/compensation、human takeoverを検証する。実決済、実契約、実外部送信、不可逆操作は行わない。未実施結果や閾値を推測しない。

publication-time provider model/tool matrix、GA/preview status、plan/region/data-residency/admin controls、pricing、target-application automation/TOS/MFA/CAPTCHA/VDI constraints、tenant DLP/CASB/browser-isolation compatibility、screenshot/action-log retention/legal-hold/redaction requirements、organization-specific action-risk thresholds。UNKNOWNを推測で閉じない。