Computer Use 能力概述
Computer Use 使 AI 能够在目标电脑上以可视化方式模拟键盘与鼠标操作,直接操控无命令行接口或 API 的第三方软件与网页。
当任务涉及需要操作软件界面才能完成的步骤时,AI 自动启用 Computer Use:
- 在即时通讯工具中发送消息(微信、企业微信、飞书等)
- 登录并操作企业内部系统(OA、ERP、网页端管理后台)
- 使用无命令行接口的桌面软件或专业工具
不会触发 Computer Use 的场景: 文件格式转换、数据检索与计算、代码编译等可通过命令行或内置工具处理的任务。
执行过程可见:
- 目标电脑屏幕实时画面
- AI 正在进行的每一步操作
- 任务执行日志与结果反馈
Computer Use 场景示例
参考以下场景与指令示例:
| 场景 | 示例指令 |
|---|---|
| 即时通讯 | 帮我在微信上给 leader 留言,说"文档已更新,请查收" |
| 企业内部系统 | 登录公司 OA 系统,帮我提交今天的日报 |
| 桌面软件 | 打开系统设置,帮我切换为深色模式 |
Computer Use 操作原理
Computer Use 采用五阶段执行流程:
- 意图解析:解析用户指令,拆解为可执行步骤
- 屏幕感知:获取屏幕截图,进行视觉理解(OCR、元素定位、布局分析)
- 动作规划:生成操作指令(点击、输入、快捷键等)
- 执行与反馈:执行动作,截取新画面对比结果
- 循环直至完成:重复步骤 2-4 直至任务完成或遇到异常
Computer Use 安全边界
了解以下安全限制:
- 不会越过系统权限弹窗:不会越过 Windows UAC 或 macOS 系统权限弹窗,需用户手动确认
- 不支持全屏游戏:不支持在全屏游戏、加密保护的应用程序中操作
- 窗口遮挡限制:依赖屏幕视觉感知,窗口被完全遮挡时需要先恢复至前台
- 操作审计:所有操作记录(含截图、操作步骤、执行结果)均可在「审计日志」中查看
建议:首次使用前,在目标电脑上提前授予 ToDesk AI 必要的辅助权限。
常见问题
Q:信息收集失败?
当前仅支持 Chrome 和 Edge 浏览器,其他浏览器可能出现无法正常执行任务的情况。
Q:Chrome 内核的浏览器是否都支持?
不一定,相关浏览器可能会基于实际情况修改。如无法使用建议直接下载 Chrome 或 Edge 浏览器。
Q:任务执行过程中可以中断吗?
可以。在对话界面点击暂停或取消按钮,AI 将立即停止当前操作。已完成的步骤不会回滚。
Q:中断后如何恢复?
当前版本中断后不支持从断点继续执行。建议重新发起指令,AI 会根据当前电脑状态重新评估并执行。
Q:执行超时怎么办?
可能原因:网络延迟过高、目标软件响应缓慢、操作步骤中包含不确定的等待状态。超时后 AI 会终止任务并给出说明,建议检查网络状态后重试。
Q:屏幕分辨率或缩放比例会影响操作吗?
会有一定影响。建议使用标准分辨率(1920×1080 或以上)和 100% 显示缩放比例。若使用 4K 屏幕或非标准缩放,AI 仍可操作,但元素定位精度可能下降。
Q:AI 能同时操作多个显示器吗?
可以识别多显示器环境,但操作前需确保目标窗口所在显示器处于活跃状态。建议将需要操作的应用窗口置于主显示器上。
Q:操作过程中我可以自己动鼠标吗?
不建议。用户手动操作可能干扰 AI 的执行逻辑,导致操作失败。如需要手动干预,建议先暂停 AI 任务。
Q:远程电脑处于锁屏或睡眠状态能操作吗?
锁屏状态下无法操作,需先解锁。睡眠状态下电脑无法响应,请确保目标电脑保持唤醒状态且未进入锁屏。