上一篇介绍了怎么用手机远程控制电脑上的 Claude Code,其中「控制电脑」这部分我做成了一个 skill,叫 Computer Use。它可以模拟鼠标点击和键盘输入,查看电脑屏幕上的元素,然后执行操作。

Skills 面板里 Computer Use 的说明:截图、移动鼠标、点击、输入文字

这种自动化方式的一个用途是爬取信息。比如想分析微信里的群聊,微信没有 API,也很难通过逆向的方式读到电脑上的数据,比较麻烦。通过 Computer Use 这种直接操作界面的方式,就能完成一些以前很难自动化的任务。这篇演示怎么安装这个 skill,以及怎么用它爬取信息。

安装 skill

打开终端,输入:

npx skills add oil-oil/computer-use

终端里输入 npx skills add oil-oil/computer-use

回车之后选择安装到哪些 agent 上,列表里 Codex、Cursor 这些是默认会安装的,我选择在 Claude Code 上使用它。

选择要安装到哪些 agent

接下来选择全局安装(global),安装方式选软链接(Symlink),这是推荐的方式,确认之后就安装完成了。

全局安装、软链接方式,安装完成

这个仓库现在改名为 computer-use-skill,按现在的 README,安装命令是:

claude skill install oil-oil/computer-use-skill

它只用 macOS 自带的工具加 cliclick,不需要 Docker 和虚拟机,所以还要先装一个依赖:

brew install cliclick

爬取飞书群消息

安装完成后打开 Claude Code,输入 /computer-use 调用这个 skill。

在 Claude Code 里输入 /computer-use

这一次我让它爬取飞书里「AI 产品市集」群的群聊消息。我没有配置其他 API,也没有配置 MCP,就让它通过控制电脑的方式去读最近的信息。任务里需要写清楚群的名字,可以直接在飞书里复制群聊名称,粘贴给 Claude Code,并指定要爬取的数量,比如最近 10 条消息,然后把任务发给它。

在飞书里复制群聊名称

开启系统权限

在执行 computer use 任务之前,需要给终端应用开启对应的系统权限。我用的是 Warp,在系统设置的「隐私与安全性」里,找到「辅助功能」并开启。

辅助功能权限里 Warp 已开启

还有一个是「屏幕录制」,同样开启。

屏幕录制权限里 Warp 已开启

这两个权限分别对应鼠标键盘操作和截图。开启之后它就可以正常执行任务了。执行过程中可能还会有一些权限授权弹窗,点允许就可以,我这里已经授权过,不会再次出现。

执行过程和结果

任务开始之后,它自动打开了飞书界面,先把右侧的设置面板关闭,再开始爬取信息。

自动打开飞书,先关闭右侧的设置面板

这里要注意:computer use 类的 agent 在执行任务时,我们自己的鼠标不要去切窗口。它是真实模拟人的操作,不能在后台点击软件。所以一般来说,可以把它配置在专门的主机或者 Mac mini 上,或者在出门之前让它执行自动化任务,这样不会和我们自己的操作冲突。

展开群里的消息详情

它先把消息的详情展开,然后开始录屏识别文字,这一步花的时间比较长。最后它顺利把最近 10 条消息爬了出来,并做了整理。

Claude Code 根据截图整理出的最近 10 条群消息

什么时候适合用

一般来说,computer use 不是优先选择的方案。如果目标在浏览器里就能打开,比如飞书也有网页版,可以优先使用 agent browser 这类浏览器工具,操作更节省额度,工具链也比较成熟。computer use 在很多情况下需要微调,因为不同应用的使用场景差别太大。

它适合的是这些情况:

  • 应用既没有 API,也不在浏览器里。比如我的自动剪辑工作流里有一步是从剪映导出工程,剪映没有提供 API,就可以用模拟鼠标点击的方式把流程固化下来:点击导出、选择分辨率、选择音频、再导出,然后把这个能力接到其他工作流里。
  • 长时间的重复操作。比如导出 PPT,或者翻微信里很长的历史消息,可以放在那里跑一晚上,让 AI 不眠不休地执行,把消息提取出来。微信这种比较封闭的平台,人要一条一条复制信息还是很麻烦的。

对于既不在浏览器里、也没有 API 的这部分工作,computer use 可以作为一个兜底工具。