大家现在玩 Agent 不知道有没有这种感受:桌面端已经强得发指了,但它对物理世界完全是盲的。
大模型看不到测试台上的开发板亮没亮红灯,听不到旁边 3D 打印机是不是已经炒面了,也没法让 Claude 直接「瞄一眼」你手机镜头里的画面。
所以我做了个 Eyes-on-My-Phone 安卓 App:把 Qwen3-VL-2B 直接塞进手机,用阿里 MNN 做端侧推理,再在 App 里内置一个 MCP 服务器。Claude Code 只要敲一行 `claude mcp add`,就能远程调用 `phone_look` / `phone_listen`,让手机帮它看一看、听一听周围发生了什么。
给大家几个实际能玩的场景:
开发板千里眼:代码出 Bug 了,直接让 Claude 看 Error Code、LED 和跑马灯。
3D 打印保安:每 5 分钟瞄一眼,发现3D打印机拉丝或者炒面就立刻通知 Agent 停机。这也是我最初做这个项目的原因。
另外说一下踩坑经验:模型输出太短时,预编译版 libMNN 可能碰到假的结束符直接停掉,我在 C++ 层给不足 48 字的结果强行继续生成;加载模型一定放后台协程,不然 UI 会卡死在 verifying。
有了这个 demo,接下来就看大家的想象力了。甚至可以用 Tailscale 远程访问家里的设备,真正变成千里眼、顺风耳。
#端侧AI #Qwen3VL #MNN #MCP #ClaudeCode #Android #Agent #千里眼













