Computer Use 能力概述

Computer Use 使 AI 能够在目标电脑上以可视化方式模拟键盘与鼠标操作,直接操控无命令行接口或 API 的第三方软件与网页。

当任务涉及需要操作软件界面才能完成的步骤时,AI 自动启用 Computer Use:

  • 在即时通讯工具中发送消息(微信、企业微信、飞书等)
  • 登录并操作企业内部系统(OA、ERP、网页端管理后台)
  • 使用无命令行接口的桌面软件或专业工具

不会触发 Computer Use 的场景: 文件格式转换、数据检索与计算、代码编译等可通过命令行或内置工具处理的任务。

执行过程可见:

  1. 目标电脑屏幕实时画面
  2. AI 正在进行的每一步操作
  3. 任务执行日志与结果反馈

Computer Use 场景示例

参考以下场景与指令示例:

场景 示例指令
即时通讯 帮我在微信上给 leader 留言,说"文档已更新,请查收"
企业内部系统 登录公司 OA 系统,帮我提交今天的日报
桌面软件 打开系统设置,帮我切换为深色模式

Computer Use 操作原理

Computer Use 采用五阶段执行流程:

  1. 意图解析:解析用户指令,拆解为可执行步骤
  2. 屏幕感知:获取屏幕截图,进行视觉理解(OCR、元素定位、布局分析)
  3. 动作规划:生成操作指令(点击、输入、快捷键等)
  4. 执行与反馈:执行动作,截取新画面对比结果
  5. 循环直至完成:重复步骤 2-4 直至任务完成或遇到异常

Computer Use 安全边界

了解以下安全限制:

  1. 不会越过系统权限弹窗:不会越过 Windows UAC 或 macOS 系统权限弹窗,需用户手动确认
  2. 不支持全屏游戏:不支持在全屏游戏、加密保护的应用程序中操作
  3. 窗口遮挡限制:依赖屏幕视觉感知,窗口被完全遮挡时需要先恢复至前台
  4. 操作审计:所有操作记录(含截图、操作步骤、执行结果)均可在「审计日志」中查看

建议:首次使用前,在目标电脑上提前授予 ToDesk AI 必要的辅助权限。

常见问题

Q:信息收集失败?

当前仅支持 Chrome 和 Edge 浏览器,其他浏览器可能出现无法正常执行任务的情况。

Q:Chrome 内核的浏览器是否都支持?

不一定,相关浏览器可能会基于实际情况修改。如无法使用建议直接下载 Chrome 或 Edge 浏览器。

Q:任务执行过程中可以中断吗?

可以。在对话界面点击暂停或取消按钮,AI 将立即停止当前操作。已完成的步骤不会回滚。

Q:中断后如何恢复?

当前版本中断后不支持从断点继续执行。建议重新发起指令,AI 会根据当前电脑状态重新评估并执行。

Q:执行超时怎么办?

可能原因:网络延迟过高、目标软件响应缓慢、操作步骤中包含不确定的等待状态。超时后 AI 会终止任务并给出说明,建议检查网络状态后重试。

Q:屏幕分辨率或缩放比例会影响操作吗?

会有一定影响。建议使用标准分辨率(1920×1080 或以上)和 100% 显示缩放比例。若使用 4K 屏幕或非标准缩放,AI 仍可操作,但元素定位精度可能下降。

Q:AI 能同时操作多个显示器吗?

可以识别多显示器环境,但操作前需确保目标窗口所在显示器处于活跃状态。建议将需要操作的应用窗口置于主显示器上。

Q:操作过程中我可以自己动鼠标吗?

不建议。用户手动操作可能干扰 AI 的执行逻辑,导致操作失败。如需要手动干预,建议先暂停 AI 任务。

Q:远程电脑处于锁屏或睡眠状态能操作吗?

锁屏状态下无法操作,需先解锁。睡眠状态下电脑无法响应,请确保目标电脑保持唤醒状态且未进入锁屏。