2025 AI 趋势：当 AI 学会了点击鼠标

2023–2024 是 LLM（大语言模型）的高光期——AI 学会写诗、写代码、通过各种考试。2025–2026 我观察到一个明显拐点：AI 不再满足于在聊天框里打字，它开始长出”手”，接管鼠标键盘，去点 APP、填表单、操作那些设计给人类使用的界面。

这就是 LAM（Large Action Model）方向的故事。

为什么要从 LLM 走到 LAM

举个我最近碰到的例子：用户想订一张下周去东京的机票。

• LLM 能干什么：列航空公司对比、查那段时间的天气、帮你写请假条。
• LLM 不能干什么：真的帮你打开携程或 Expedia，选好航班、输入护照号、点”支付”。

根本原因是 LLM 输出的是 Text，而现实世界的很多任务需要 Action。

LAM 的目标就是让 AI 理解 GUI——屏幕截图、DOM 树、API 调用——然后把用户意图转化成一系列具体操作步骤。

2024 年 Rabbit R1 硬件虽然褒贬不一，但 LAM 的概念方向是没错的：让 AI 像人一样操作 Spotify、Uber 这些软件，而不是依赖它们是否开放了 API。

两条技术路线，正在融合

路线一：基于 API 的功能调用（Function Calling）

这是目前主流的过渡方案。OpenAI 的 Assistant API 就是这个思路：你给模型定义一系列工具（get_weather、book_flight 之类），模型输出 JSON 格式的调用指令。

• 优点：准确、稳定
• 缺点：受限于服务商是否开放 API。某个 App 没 API，AI 就完全没办法

路线二：基于视觉的 UI 操作（Visual UI Action）

这是 LAM 的终极形态。AI 像人一样”看”屏幕，靠计算机视觉识别按钮、输入框、下拉菜单。

执行流程分三步：

1. 感知：分析当前屏幕截图，识别可交互元素
2. 规划：根据用户指令规划路径——打开外卖 App → 点搜索 → 输入拿铁 → 选购 → 结算
3. 执行：模拟鼠标移动和键盘输入

GPT-4V 和 Gemini 1.5 Pro 已经展现了相当强的屏幕理解能力，所以这条路越来越可行。

我看到的两类应用

RPA 2.0

传统 RPA（机器人流程自动化）需要程序员死板录制脚本，UI 一改版（按钮挪了 5 像素）脚本就废了。

LAM 驱动的 RPA 是语义级别的——它找的是”提交按钮”，而不是坐标 (800, 600)。界面大改版只要逻辑没变，AI 依然能找到按钮。这对企业内部的报销、审批、数据录入流程会有很大的重构效应。

超级个人助理

手机 OS 层面的系统级 LAM 会逐步落地。我自己的预期是：

• Siri / Android Assistant 真正能用起来。你说一句”把刚才那张照片修一下发朋友圈，配文说即使加班也要热爱生活”，AI 能自动打开相册 → 修图 → 打开微信 → 编辑朋友圈 → 发送。
• 整套流程行云流水，不再需要手动切换 App。

真正的难点：安全与信任

让 AI 拥有”行动权”比让它拥有”说话权”危险一万倍。

最容易想到的风险是误操作：如果 AI 把”转账 100 元”理解成”转账 10000 元”，或者把邮件发给错误的人，后果不堪设想。

2026 年的设计规范里，所有涉及敏感操作（支付、删除、发送）的环节必须有人机确认（Human-in-the-loop）。AI 可以负责填写，但点”确定”的手指必须是人的。

我自己接触过几个早期 LAM 产品，最大的感受是：在实验室里跑通很容易，但要让真实用户放心地把行动权交出去，工程和体验上要做的工作比想象中多得多。

趋势的判断

从 LLM 到 LAM，是 AI 从”信息提供者”向”服务提供者”的跨越。

未来几年最有价值的能力，可能不再是操作复杂软件，而是清晰表达你的意图——把任务说清楚、说准确、说完整，让 AI 能可靠地执行下去。这是”动口不动手”时代真正稀缺的技能。