用一块 ESP32，让 AI 接管 iPhone 点屏幕
硬核玩家 · 2026-10-22T11:15:24
GitHub 上的开源项目 ESP32 iPhone Agent，用一块几美元的 ESP32-S3 开发板（比如 Seeed XIAO ESP32S3），就能让视觉模型像人一样操作真实 iPhone，支持点击、滑动、打字、开设置或设闹钟。 它不需要越狱。原理是 ESP32-S3 通过 AirPlay 接收 iPhone 投屏，再走蓝牙把视频流传给配套 App 解码并调用视觉大模型；ESP32 本身则模拟成 USB 鼠标和键盘执行触控动作，每动一步 AI 会重新读一次屏幕。支持接云端或本地视觉模型，老款 Lightning 接口也能接转接头用。 硬件门槛不高，但有些限制得提前知道：设备需要 iOS 18 以上，第一次刷固件和装 App 还是得用 Mac 和 Xcode，之后才能脱离电脑运行；另外手机 Wi-Fi 连了 ESP32 热点后，通常得靠蜂窝数据联网。