codeface

V2EX member #90183, joined on 2015-01-05 23:07:58 +08:00

Today's activity rank 7383

codeface 提问技术话题好玩工作信息交易信息城市相关

Per codeface's settings, the topics list is hidden

Deals info, including closed deals, is not hidden

codeface's recent replies

Jul 31

Replied to a topic by codeface › 分享创造 › 我也做了一个可以操控手机的硬件 Agent

@shuang #8 通过软件模拟的鼠标键盘和接入一个真实的鼠标键盘没有差异，但 App 确实可以有办法区分键盘和触控事件是否来自外部设备。
不过经过我们的测试，现阶段还没有哪款 App 对外设操作进行了限制。

Jul 31

Replied to a topic by codeface › 分享创造 › 我也做了一个可以操控手机的硬件 Agent

@coolcoffee RK3588 确实是不错的方案，除了功耗会比 RV1106 稍高一些。后续打算做成小型化磁吸设备，使用手机 C 口或者内置电池供电。

Jul 31

Replied to a topic by codeface › 分享创造 › 我也做了一个可以操控手机的硬件 Agent

@easylee 谢谢，朋友帮忙录的，确实在海外待过。

Jul 31

Replied to a topic by codeface › 分享创造 › 我也做了一个可以操控手机的硬件 Agent

@kevan 谢谢，midscene.js 也很不错，之前也考虑过支持 WebDriverAgent 作为 iOS 上的备选方案。
不过现在这套方案配置起来会更简单，不需要依赖 xCode 。

Jul 30

Replied to a topic by codeface › 分享创造 › 我也做了一个可以操控手机的硬件 Agent

@withrock RV1106 的 NPU 还是很弱，暂时无本地可能性，需要联网对接外部 API 。

Jul 30

Replied to a topic by codeface › 分享创造 › 我也做了一个可以操控手机的硬件 Agent

@zhouyg 是的，可以完全独立运行：设备本身运行完整的 Linux 固件，内置封装好的 C++ 硬件服务（ frame_service 、audio_service 、hid_server ）和 Go Agent daemon ，Agent 通过大模型进行推理并直接驱动 USB HID 操控外部设备，不需要额外的主控电脑常驻运行。

Jul 29

Replied to a topic by codeface › 分享创造 › 我也做了一个可以操控手机的硬件 Agent

@KeinHong 支持，需要开启 Assistant Touch 。
关于 HDMI 获取屏幕的部分，这套硬件在 iPhone 上的兼容性反而还强于安卓，苹果可以稳定获取 1080p 分辨率的画面，一些安卓只能到 720p 。

Jul 29

Replied to a topic by codeface › 分享创造 › 我也做了一个可以操控手机的硬件 Agent

演示视频： https://x.com/AidenAI_IO/status/2082073593974792224

Jul 29

Replied to a topic by fzuccq › 分享创造 › 个人业余项目，做了一个可以物理操作 iPhone 的 agent，不知道有商业前景吗？

@fzuccq 手势是通过 USB HID 模拟鼠标进行的，在安卓上还可以支持 touchscreen

Jul 29

Replied to a topic by fzuccq › 分享创造 › 个人业余项目，做了一个可以物理操作 iPhone 的 agent，不知道有商业前景吗？

巧了，我们也做了一个方案： https://github.com/AidenAI-IO/aiden-firmware
不过不需要通过摄像头，而是通过手机 C 口转 HDMI 获取屏幕，通过 USB HID 进行操控。

» More replies by codeface