# 会用电脑的 AI

拉普拉斯的迷你世界 · 图版 F47 · 人工智能

> 一张截图进去，一次点击出来，一步接一步。

- 可交互的模型：https://world.lapla.si/zh/cua/
- 嵌入页：https://world.lapla.si/embed/zh/cua/
- English：https://world.lapla.si/en/cua/
- 更新于：2026-10-25

## 01 能做到什么

会用电脑的 AI 像人一样操作电脑：看屏幕截图，再点鼠标、敲键盘。最常用的测试集 OSWorld 在 2024 年发布，有 369 个真实的电脑任务，在 Ubuntu 系统的真实软件里完成：浏览器、邮件、表格、文档、图像编辑、文件管理，有的要在几个软件之间来回。做完以后，每个任务自己的检查脚本查看电脑最后的状态，比如文件在不在、表格对不对。

发布时，以前没接触过这些软件的计算机系学生完成了 72.36 % 的任务；只看截图的模型最好只有 5.80 %。2024 年 10 月，Anthropic 的 Claude 3.5 Sonnet 在 15 步以内做到 14.9 %；2025 年 1 月，OpenAI 的 CUA 给 200 步做到 38.1 %；这两个都是公司自己报的。到 2026 年 8 月，在测试集团队复核、给 100 步的 OSWorld-Verified 上，最好的单个模型做到 85.96 %，高于 2024 年那批学生在原版上的 72.36 %。换成任务长得多的 OSWorld 2.0（人做一个任务的中位时间约 1.6 小⁠时），到 2026 年 10 月，最好的单个模型在 500 步内完整做完 44.33 % 的任务。

台上是一套半尺寸的电脑桌模型：显示器、键盘、鼠标，右边那台机器代表 AI 模型。它的三盏灯依次亮起：看、想、做。屏幕上的任务和每一步都是本页写好的演示，不是真实模型的输出。

*OSWorld：369 个⁠任⁠务 · 人 72.36 % · 发布时只看截图的模型 5.80 % · 2026 年 8 月 85.96 %（100 步，复核）*

## 02 看一眼，做一步

每一步都一样：电脑拍一张截图交给模型；模型读截图、任务和前几步，写下一句想法和一个动作，比如“在 (197, 99) 点一下”；程序替它执行；再拍下一张截图。这一圈一直重复，直到模型说“完成”或“做不到”，或者步数用完。

模型不碰键盘和鼠标。它写出的只是一行指令，由电脑上的程序当作鼠标和键盘的输入送进系统；OSWorld 让模型直接写 pyautogui 的 Python 代码，比如 click(300, 540)。Anthropic 的接口允许模型一次写几个动作，最后通常再要一张截图，看看结果。

它看到的是一张张截图，不是连续的画面。Anthropic 把这叫作“翻书”式的视角：一闪而过的通知可能被漏掉。OSWorld 2.0 的作者记下过一例：弹窗在模型思考时挪了位置，它点的还是旧坐标。台上，截图时屏幕闪一下（看），琥珀屏打出想法（想），光标滑过去点下（做）。

*截图 → 模型 → 一个动作 → 执行 → 下一张截图*

## 03 只给一张图

在只看截图的做法里，模型拿到的就是一张图片：窗口、图标、菜单、文字，和人看到的一样。它看不到按钮背后的代码。有的系统另给模型一份“无障碍树”，也就是界面元素的文字清单，带名字和坐标；OSWorld 的作者提醒，这份清单光是末端的节点就可能有几万个词元，而且不是每个软件都支持。

截图往往要先缩小。OSWorld 的虚拟机屏幕是 1920 × 1080 像⁠素。Anthropic 的接口不替你缩小，图太大会被拒收：较早的模型最多接受长边 1,568 像⁠素、约 115 万像素，Claude Opus 4.7 起放宽到长边 2,576 像⁠素；文档建议桌面任务用 1024 × 768 或 1280 × 720。每张截图约占 1,000 到 1,800 个⁠输⁠入⁠词⁠元。

右边小屏里就是模型拿到的截图（为了看得出，这里缩得更小）。这里的演示把 1920 × 1080 的屏幕缩成 1280 × 720 交给模型。

*屏幕 1920 × 1080 → 截图 1280 × 720 · 每张约 1,000⁠–⁠1,800 个⁠词⁠元*

## 04 动作只有几种

动作的种类不多：在某一点单击、双击或右击，移动鼠标，拖动，滚动，输入一段文字，按一个键或组合键，等待，再拍一张截图。Anthropic 现在的工具有 17 种动作，其中一种是“放大”：只截屏幕的一小块，用全分辨率看清小字。

坐标就是截图里的像素：左上角是 (0, 0)，x 向右数，y 向下数。Google 的接口不用像素，不论屏幕多大，都用 0 到 999 的网格，由程序换算回屏幕。输入的文字和按键直接送到当前的输入框。

台上纸带每行是一个动作，坐标是模型那张 1280 × 720 截图里的像素。模型那台机器不碰键盘和鼠标：动作沿着线缆进到电脑里。

*单击 · 双击 · 拖动 · 滚动 · 输入 · 按键 · 等待 · 截图*

## 05 点在哪儿

最难的是“落点”：在截图里找到要点的那个控件，再说出它准确的像素，这叫定位（grounding）。OSWorld 的作者看了 550 个失败的例子，超过 75 % 有鼠标点不准的问题，是最常见的错误：模型在注释里把步骤写得很清楚，坐标却给错了。点不准又带出两种常见的错误：反复点同一处，被意外的窗口困住。

专门测落点的 ScreenSpot-Pro 用专业软件的高分辨率截图，要点的目标平均只占画面的 0.07 %。它在 2025 年发布时，最好的模型只点中 18.9 %，GPT-4o 是 0.8 %；后来公开的 OpenCUA-72B 自报 60.8 %。

台上的加粗按钮是 36 × 36 像⁠素，占屏幕的 0.06 %。模型这一下点低了，落在按钮下面，什么也没发生；它从下一张截图里看出来，再点一次。Anthropic 写过，训练 Claude 准确地“数像素”是关键。

*OSWorld：失败的例子里超过 75 % 有点不准 · ScreenSpot-Pro：目标平均占画面 0.07 %*

## 06 缩放和坐标

截图缩小了，坐标就要换回去。模型在 1280 × 720 的截图上说“点 (197, 99)”，程序乘以 1.5，在屏幕上点 (296, 149)。Anthropic 的文档写明：缩小截图时记下比例，把模型给的坐标放大回去。OpenAI 的文档举的例子是：从 1600 × 1200 的屏幕发出 800 × 600 的截图，就把坐标都乘以 2。

比例弄错了，点击会整体偏向一边，两家的文档都把它列为点不中的原因。缩小也有代价：模型的一个像素是屏幕上的 1.5 个，小按钮在它眼里更小。OSWorld 的作者发现，只看截图时，分辨率越高，模型做得越好。

所以图要够大，又不能太大：太大费词元，也超出接口的限制。右上角画的是同一块屏幕上的两套网格：细的是屏幕的像素，粗的是模型那张截图的像素。

*模型的 (197, 99) × 1.5 → 屏幕上的 (296, 149) · 模型的 1 个⁠像⁠素 = 屏幕上 1.5 个*

## 07 怎么学会的

Anthropic 在 2024 年写道，他们只用几个简单的软件训练 Claude 用电脑，比如计算器和文本编辑器，训练时不让它上网；它很快推广到了别的软件，遇到障碍时还会自己改正、重试。关键之一是让它准确地数像素：光标要往下、往右移多少。

OpenAI 的 CUA 建立在 GPT-4o 的视觉能力上：先用监督学习教它读屏幕、准确点中界面元素，再用强化学习让它学会推理、纠错、应付意外。公开的模型 UI-TARS 用约 600 万份图文教程和大量截图训练，在几百台虚拟机上自动收集新的操作记录，还让标注员演示出错以后怎样改回来。

OSWorld-Verified 的作者分析了公开技术细节的 UI-TARS 和 OpenCUA，认为它们的成功主要来自大量的人操作电脑的记录。OpenCUA 公开了数据集 AgentNet：2.26 万条操作记录，横跨 Windows、macOS 和 Ubuntu 上的 100 多个软件和 200 个⁠网⁠站。

*监督学习：读屏幕、点准 · 强化学习：推理、纠错 · AgentNet：2.26 万条公开的操作记录*

## 08 很多步

一个任务要很多步。OSWorld 发布时只给 15 步；现在的排行榜分别列出 15、50、100 步的成绩，同一个模型差别很大：Claude Sonnet 4.5 是 42.88 %、58.08 %、62.88 %。公开的 OpenCUA-72B 在给 100 步时，做成的任务平均用了 17.13 步，没做成的平均用了 40.92 步。

步数一多，小错就累积。打个比方：如果每一步都有 95 % 的把握，连做 15 步都不出错的机会是 46 %，50 步只剩 8 %。这只是算术，不是哪个模型的实测；真实的模型还能从下一张截图里发现错误，再改回来。

每一步都要拍图、等模型读完再写。Anthropic 的文档说，现在的速度可能比人直接操作慢，适合不赶时间的事。任务更长的 OSWorld 2.0 平均每个任务要 250 多步，论文估算每个任务的花费在 2.4 美⁠元到 76 美⁠元之间。人做一个 OSWorld 任务，中位时间是 111.94 秒。

*每步 95 % → 连做 15 步 46 %、50 步 8 %（算术示意）· 排行榜：15 / 50 / 100 步*

## 09 屏幕上的字

模型会读截图里所有的字，网页、邮件或文档里写着的“指令”，也可能被它照做，这叫提示注入。OpenAI 的说明是：模型在屏幕上看到恶意的网页或邮件，让它做用户不想做的事，而它照做了。Anthropic 的文档也写明，Claude 有时会照着内容里的命令做，即使和你的指令冲突。

所以这些系统加了几道关。Anthropic 用分类器扫描截图，发现可疑的指令，就让模型先确认这是不是用户说的；在 Claude 3.7 Sonnet 的测试里，挡住注入的比例从 74 % 提到 88 %。OpenAI 的 Operator 在发邮件、付款这类有后果的动作之前先问人，这让这类出错的风险降低约 90 %。Google 的接口在每一步执行前另有一个安全服务检查，必要时要用户确认。

还有一道关是隔离。OSWorld 在虚拟机里运行，出了错用快照恢复，伤不到真的电脑；Anthropic 的参考实现跑在 Docker 容器里，并建议只给最小的权限、不给登录信息。台上，文档里贴着一张便签，要“AI 助手”把文件发出去；演示里的模型停下来，等人确认。

*提示注入 · 有后果的动作先问人 · 每步检查 · 在虚拟机里运行*

## 10 拆开来看

台子分成八件：显示器、支架、键盘、鼠标、毡垫、模型（右边那台机器）、纸带、线缆。

显示器上是一张 1920 × 1080 像⁠素的桌面，由本页画出，按钮的位置和大小就是演示里模型要点的坐标。键盘和鼠标是给人用的，模型从不碰它们。

模型那台机器的斜面上有三盏灯、一块显示截图的小屏、一块两行的琥珀屏和出纸口；线缆从它背后沿着支架进到电脑里。

*显示器 · 支架 · 键盘 · 鼠标 · 毡垫 · 模型 · 纸带 · 线缆*

## 11 实验台

实验台可以选一个任务，调三样东西：点偏多少（模型在自己那张截图上给出的坐标，偏离目标中心的典型距离，单位是它那张截图的像素），截图缩到多大，最多给几步（OSWorld 排行榜用的 15、50、100）。

规则很简单：点进目标就成；点到别的控件，要多花一步撤销；点到空白处，下一步再点。读数由这些设定直接算出：最难的那一下点中的机会，一步都不出错的机会，在步数内做完的机会。台上同时放一次实际的尝试，最后像 OSWorld 一样检查电脑的状态。

这是只有“点偏”一种错误的示意模型。真实的智能体还会不懂软件、反复做同一件事、没做完却以为做完了；这些不在台上。

*任务 · 点偏多少 · 截图大小 · 最多几步 · 读数：点中、一步不错、步数内做完*

**试一试**：点偏 6 个⁠像⁠素不变，把截图从 1920 缩到 1024：最难的那一下点中的机会变成多少？再把步数从 15 加到 50，在步数内做完的机会又回来多少？

## 模型省略了什么

台上没有真正的模型。任务、每一步的想法和动作都是本页写好的；实验台的“点偏”按正态分布随机抽取，大小由读者设定，不是哪个模型的实测。桌面是本页画的，不是任何一个真实的操作系统。模型那台机器只是象征：真实的大模型在远处的服务器上运行，截图和动作经网络来回。演示把截图缩小到 1280 × 720，小屏上的图为了看得出又缩得更小；光标画成了实际大小的两倍；每一步的时间被压缩了，真实的一步要等模型读完一张截图再写出动作。

## 几个容易误会的地方

只看截图时，模型看不到按钮背后的代码。成功率按任务算：一个任务做到最后、电脑的状态通过检查才算，不是每次点击的准确率；OSWorld 还给部分得分，所以“成功率”其实是平均分。不同的测试集、不同的步数、只跑一次还是从几次里挑最好的，成绩都不能直接比；公司自己报的成绩和测试集团队复核的成绩也要分开看。OSWorld 的 72.36 % 来自以前没接触过这些软件的学生，不是熟练的人；Anthropic 也说，它的模型仍不如最熟练的人。

## 常见问题

### 什么是会用电脑的 AI？

会用电脑的 AI 像人一样操作电脑：看屏幕截图，再点鼠标、敲键盘。

见：[01 能做到什么](https://world.lapla.si/zh/cua/#now)

### AI 是自己按键盘、动鼠标的吗？

模型不碰键盘和鼠标。它写出的只是一行指令，由电脑上的程序当作鼠标和键盘的输入送进系统；OSWorld 让模型直接写 pyautogui 的 Python 代码，比如 click(300, 540)。

见：[02 看一眼，做一步](https://world.lapla.si/zh/cua/#loop)

### 会用电脑的 AI 最常犯什么错？

OSWorld 的作者看了 550 个失败的例子，超过 75 % 有鼠标点不准的问题，是最常见的错误：模型在注释里把步骤写得很清楚，坐标却给错了。

见：[05 点在哪儿](https://world.lapla.si/zh/cua/#ground)

### 屏幕上的字能骗过会用电脑的 AI 吗？

模型会读截图里所有的字，网页、邮件或文档里写着的“指令”，也可能被它照做，这叫提示注入。

见：[09 屏幕上的字](https://world.lapla.si/zh/cua/#safety)

## 资料来源

1. [Xie 等（2024）：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments](https://arxiv.org/abs/2404.07972)
2. [XLANG Lab（2025-07-28）：Introducing OSWorld-Verified](https://xlang.ai/blog/osworld-verified)
3. [OSWorld-Verified 排行榜（读于 2026-10-25）](https://os-world.github.io/)
4. [OSWorld 2.0（2026）：long-horizon computer-use workflows](https://arxiv.org/abs/2606.29537)
5. [Anthropic（2024-10-22）：Developing a computer use model](https://www.anthropic.com/news/developing-computer-use)
6. [Anthropic（2024-10-22）：Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku](https://www.anthropic.com/news/3-5-models-and-computer-use)
7. [Anthropic（2025-09-29）：Introducing Claude Sonnet 4.5](https://www.anthropic.com/news/claude-sonnet-4-5)
8. [Anthropic：Computer use tool（文档，读于 2026-10-25）](https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool)
9. [Anthropic（2025）：Claude 3.7 Sonnet System Card](https://www.anthropic.com/claude-3-7-sonnet-system-card)
10. [OpenAI（2025-01-23）：Operator System Card](https://cdn.openai.com/operator_system_card.pdf)
11. [OpenAI：Computer use（文档，读于 2026-10-25）](https://developers.openai.com/api/docs/guides/tools-computer-use)
12. [Google DeepMind（2025-10-07）：Introducing the Gemini 2.5 Computer Use model](https://blog.google/technology/google-deepmind/gemini-computer-use-model/)
13. [Google：Gemini API computer use（文档，读于 2026-10-25）](https://ai.google.dev/gemini-api/docs/computer-use)
14. [Cheng 等（2024）：SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents（ScreenSpot）](https://arxiv.org/abs/2401.10935)
15. [Li 等（2025）：ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use](https://arxiv.org/abs/2504.07981)
16. [Qin 等（2025）：UI-TARS: Pioneering Automated GUI Interaction with Native Agents](https://arxiv.org/abs/2501.12326)
17. [Wang 等（2025）：OpenCUA: Open Foundations for Computer-Use Agents](https://arxiv.org/abs/2508.09123)

## 数据

The desktop, its tasks, the agent’s thoughts and actions, and the bench’s attempts are the page’s own: a demonstration written by the page and an illustrative model with one kind of error (clicks off the target’s centre, drawn from a normal distribution of the reader’s chosen size; src/topics/cua/science.js), not the output or the measured error of any trained model. Benchmark scores are quoted from the papers, the benchmark teams’ leaderboards and the companies’ own posts, each with its conditions. Material presets, parts and the softbox studio of the site’s model kit are ported from AirsupHQ/machine-skill (MIT, © 2026 Air Supply Technologies Inc.).

## 许可 CC BY-NC 4.0

本页的文字、图片和模型采用 CC BY-NC 4.0 许可：可以免费用于教学和其他非商业用途，可以修改，请注明出自 world.lapla.si。上面列出的第三方素材仍按各自的许可。

https://creativecommons.org/licenses/by-nc/4.0/deed.zh-hans

## 引用这幅图版

拉普拉斯的迷你世界，图版 F47《会用电脑的 AI》，https://world.lapla.si/zh/cua/，CC BY-NC 4.0，2026-10-25 更新。