AI 现在能直接操作你的 iPhone

AI 现在能直接操作你的 iPhone

11 月 5 日,一个叫 poki 的项目开源,两天 521 星。

它干的事一句话能说完:让 AI 直接操作一台真 iPhone。不用越狱,不用额外硬件,Mac 用 USB 连上手机就行。

不是投屏让你自己点,是 agent 自己点。

poki 的演示:agent 在真机上自己操作

它是怎么工作的

结构分三层:

  • Mac 上跑一个本地 MCP server,负责把 agent 的指令翻译成手机操作
  • USB 连着 iPhone,通过原生桥接层发点击、输入、滑动、返回、截图这些指令
  • agent 层可以是 Claude Code、Codex,也可以是 poki 自带的终端 agent

装好之后,在 Claude Code 里注册一下:

claude mcp add --scope user poki-mcp -- node "$PWD/src/stdio.mjs"

然后就可以让它干活了:

poki "在 Chrome 里搜 esp32,总结第一条结果"

它自己打开浏览器、输入、等待、读屏、总结。你看到的是手机屏幕在动。

poki 自带的 agent 默认用 GPT-6.1 Terra、低推理档。作者说这是他们测过的手机任务里启动最快的一套;也可以换模型,或者直接用自己的 Claude Code / Codex 订阅,不用额外买模型账号。

真机,和模拟器不是一回事

手机 agent 这两年一直有个尴尬:演示很酷,真用起来处处碰壁。

模拟器里没有你的微信、你的银行 App、你的公司内网应用;云手机要上传账号,验证码和风控还经常拦。真机的价值就在这儿——它是一个已经登录好、有历史、有权限的完整环境。

poki 抓的就是这个空隙。它能操作的不只是浏览器,而是你手机上装的所有 App。搜索、填表、发消息、点外卖、走一遍只有 App 里才有的流程,理论上都能做。

代价也很直接:它能发消息,就会真的发出去;你让它付款,它就真的付款。README 里写得很清楚,这不是比喻。

门槛不低

poki 目前只支持 macOS,要求不轻:

  • macOS 15 及以上
  • 完整版 Xcode
  • Rust
  • Node.js 24+
  • ffmpeg

首次构建要几分钟。作者提供了预编译的 macOS arm64 包,省掉 Rust 和 setup,但 Xcode、Node、Python、ffmpeg 还是得有。

物理 iPhone 要先跟 Mac 用 USB 配对,打开开发者模式。官方说真机只在中文界面的 iPhone 上验证过;只支持竖屏;App 容器导出、直接跳设置子页这些功能在真机上不可用。

Linux 和 Windows 有社区移植,但作者明确说没测过。

三个需要想清楚的问题

第一,屏幕内容会离开你的手机。

poki 要把截图发给模型服务,模型才知道屏幕上有什么。README 的原话是:屏幕内容会发送到你配置的模型服务。涉及隐私的页面,最好别让它碰。

第二,权限给出去就收不回来。

它能点,就意味着能点错。支付确认、删除对话、发送消息,这些操作没有二次确认的话,一次误判就是真实后果。用之前想清楚哪些 App 不该让它进。

第三,平台规则。

自动化操作真实 App,可能违反某些 App 的服务条款;用别人的账号、刷量、绕过风控,更是另一回事。项目本身是 AGPL-3.0,代码开源不等于用法没有边界。

最后

poki 这类项目真正改变的,不是“AI 能不能点手机”,而是“AI 能不能进入你已经在用的那个世界”。

过去 agent 被困在浏览器和 API 里,遇到只有 App 才有的流程就断了。真机操作把这条路接上了,虽然接得很粗糙:要 Mac、要 Xcode、要 USB、只验证了中文竖屏。

但方向很清楚。手机是人每天用得最久的计算设备,agent 迟早要进去。现在的问题是,进去之后,谁来决定它能点哪里。


相关链接:

评论

暂无评论。

登录后可发表评论。