最近一年，AI Agent 开始从“调用 API”进一步进入 Computer Use 阶段。Claude、Gemini、OpenAI 等模型已经可以通过截图识别界面，然后模拟鼠标和键盘操作电脑；在 Android 上，也有大量项目通过 ADB、Accessibility、截图和视觉模型，让 AI 自动打开 App、点击按钮、填写表单甚至完成一整套任务。
但到了 iPhone，事情就麻烦很多。由于 iOS 的封闭性，传统自动化通常依赖 XCTest、XCUITest 或 WebDriverAgent，需要 Mac、Xcode、Apple 开发者签名，有些方案还需要在手机中安装 Runner App。
如果只是想让一个 AI Agent 操作自己手中的真实 iPhone，这套环境未免太重了。
最近在 GitHub 上爆火的开源项目 ESP32 iPhone Agent 采用了完全不同的思路：不去调用 iPhone 内部的自动化 API，而是把 AI 当成一个真正坐在手机前的人。
AI 通过 AirPlay 看屏幕，再通过一块几十元的 ESP32-S3 模拟 USB 鼠标和键盘去点击、滑动和输入。
因此整个方案不需要越狱、不需要在 iPhone 安装 App，也不需要 Apple Developer Account。
ESP32 iPhone Agent：https://github.com/onehumanbeing/esp32-iphone-agent
ESP32 iPhone Agent 思路的精妙之处在于“走人类走的路”——它没有去破解 iOS 的底层 API，而是模仿人类的物理交互方式：眼睛看屏幕，手去点触控。
1. 眼睛（输入端）：AirPlay 屏幕镜像
iPhone 通过 AirPlay 将画面实时镜像传输到电脑上运行的 UxPlay 服务中。
通过 GStreamer 管道，画面被转换成 JPEG 帧，喂给 AI 视觉模型和网页控制面板。
2. 手（输出端）：USB HID 桥接器
一块带有 Wi-Fi 功能的 ESP32-S3 开发板直接插在 iPhone 的 USB 接口上。
在 iOS 开启“辅助触控（AssistiveTouch）”的前提下，这块板子会被识别为标准的 USB 鼠标和键盘。
电脑通过 Wi-Fi 向 ESP32 发送简单的指令（如 move、click、type 等），由硬件转换为物理动作去操作手机屏幕。
3. 大脑（决策端）：双角色 AI 规划与执行
Planner（规划器）：根据用户的最终目标和当前屏幕截图，写出简短的步骤计划。
Actor（执行器）：观察每一步的新截图，决定下一个具体动作（点击、滑动、画画、输入、返回主屏幕等）。任何兼容 OpenAI 格式的视觉模型（无论是云端 API 还是本地大模型）都可以充当其大脑。
ESP32 iPhone Agent 亮点功能：
1. 闭环纠错机制
由于指针是相对移动的，服务器会实时追踪指针位置。在每次点击前，系统会“晃动”一下指针并在截图中确认其位置，自动修正误差；如果发现点击后屏幕没有按预期变化，AI 会立刻察觉并重试，而不是盲目错上加错。
2. 丰富的操作支持
不仅能精准点按和打字，甚至支持复杂的连续手势，例如在白板 App 里用连续的笔画“画一个笑脸”，或者在时钟应用里通过拖动转盘精准设置闹钟。
3. 硬件门槛极低
- 推荐Seeed Studio XIAO ESP32S3（普通版，8MB PSRAM，淘宝约40-50元）。
- USB-C机型可直接插入，Lightning机型需要转接器。板子由手机供电。
- 运行时不需要电脑，但刷固件和编译App时仍需要一台Mac（免费Apple ID即可签名，每7天重签一次）。
目前的主要局限性：
- 镜像分辨率受蓝牙带宽限制，约480×1040、帧率≤5fps，操作节奏偏慢。
- 密码输入、Apple Pay、DRM内容无法镜像；锁屏会中断镜像。
- 键盘目前只支持ASCII，不支持中文等非ASCII输入；横屏App暂不支持。
- 手机连上板子热点后Wi-Fi无外网，模型调用依赖蜂窝数据。
最近涌现了大量类似ESP32 iPhone Agent 用硬件操控 iPhone 的开源项目：
https://github.com/ja1chen/actell
https://github.com/VKCOM/devicehub
https://github.com/zhaodashuaibi/VersaiOS
https://github.com/ananhq/anan-iphone-use
https://github.com/pgodlews/ihandclaw
https://github.com/AidenAI-IO/aiden-firmware
https://github.com/lewangdev/ai-passport-iphone-agent
https://github.com/yoyicue/glassbox