昔日一年，AI 与手机的关系正在被再行界说：OpenAI AI Phone / AI Agent Phone 把「AI 原生人机」推到台前，Gemini on Android 也在把系统级助手从问答带向跨 App、多法子任务协助。

这些信号指向团结个趋势：AI 不再仅仅聊天框里的复兴者，而是正在进起点机这个最平时、最复杂、也最具景色性的盘算环境。

腾讯混元牵头，集中 The Chinese University of Hong Kong、The Chinese University of Hong Kong， Shenzhen、Tsinghua University 等机构的最新斟酌 PhoneHarness: A Mixed-Action Orchestration Harness and Benchmark for Phone Agents across CLI， GUI， and MCP Tools 照应一个更基础的问题：当 AI 确切在手机上行为，咱们如何让它确切完成任务，并考证它照实完成了？

作家团队给出的论断是：

手机 Agent 的中枢不仅仅「更会点屏幕」，而是能根据任务选择 CLI、GUI、MCP 器具等合适的行为面；

真实手机 workflow 需要可考证的反作用：文献是否生成、成立是否改动、邮件 / 日期对象是否果然创建，齐不可只靠模子表面复兴；

PhoneHarness 提供 mixed-action 实行 harness；PhoneHarness Bench 则用 trace、系统景色、App 适度和安全计策评估任务是否果然完成。

技俩主页：https://phoneharness.github.io/

GitHub：https://github.com/PhoneHarness/PhoneHarness

HuggingFace Dataset：https://huggingface.co/datasets/PhoneHarness/phoneharness-bench

先看三个实行片断：手机 Agent 不仅仅点屏幕

底下三个 demo 展示了 PhoneHarness 思抒发的中枢互异：真实手机任务每每不是一条更长的 GUI 点击链，而是 CLI、GUI、MCP-style tools 与 verifier 共同组成的实行 workflow。

Demo 1｜CLI-first：先读斥地景色，再决定是否参预 GUI

视频畅通：https://mp.weixin.qq.com/s/I2ztL6sFiHGxAiCfh_FTqg

Demo 2｜Mixed workflow：MCP 检索 + GUI 实行 + verifier 复核

视频畅通：https://mp.weixin.qq.com/s/I2ztL6sFiHGxAiCfh_FTqg

Demo 3｜Virtual display：后台 GUI 实行与经由留痕

先把第一个问题说了了：手机 Agent 果然「作念了」吗？

在好多手机 Agent 评测里，任务被拆成一连串 GUI 操作。模子不雅察屏幕，决定下一步点那处、滑那处、输什么。要是终末 UI 景色看起来对，就算任务完成。

这套范式虽然有价值。毕竟，手机照实是一个强 GUI 环境，真实 App 的搜索、浏览、点击和输入齐需要视觉 grounding。

但关于 AI 手机期间的 Agent 来说，只会 GUI 操作远远不够。

传统 GUI-centric 视角：

把手机任务作为 screenshot → tap /swipe/type；

视觉感知险些是所有动作实行的前置操作；

更符合单 App、强视觉、低反作用任务。

PhoneHarness 的 mixed-action 视角：

把手机任务作为跨 CLI、GUI、MCP 器具的圆善 workflow；

评估要点不是「看起来完成」，而是反作用是否真实发生、trace 是否可审计；

更符合系统成立、文献、搜索、邮件、日期和跨 App 任务。

举例，「查一个 App 内的信息，再团结网页搜索补充布景，并整理成邮件」这类任务，不是一个更长的点击链。它同期包含 App 内 GUI 交互、外部信息检索、文本束缚、邮件反作用，以及最终适度考证。

要是评测只看最终复兴，就会漏掉最要害的问题：模子到底有莫得核对起首、有莫得果然创建文献、有莫得果然发出邮件、有莫得绕过了应该被阐发的高风险操作？

中枢判断：PhoneHarness 的起点很奏凯：手机 Agent 的评测不可只问「它会不会点屏幕」，而要问「它能不可在真实手机环境里把一件事作念完，并留住可考证字据」。

PhoneHarness：让手机 Agent 的行为空间不啻 GUI

PhoneHarness 的中枢不是再造一个 GUI 点击器，而是把手机任务放进一个搀杂动作空间里。

要害区别：问题不是「纯 GUI 表面上能不可作念」，而是「纯 GUI 是否是可靠、高效、可考证的动作详尽」。真实手机 workflow 每每同期提升系统景色、App 界面、文献、网页、邮件、日期和安全领域。GUI 是热切进口，但不应该是唯独进口。

因此，mixed-action 不是给 GUI agent 加几个外挂器具，而是让 agent 在实行经由中为不同子指标选择合适的 action surface：能用征服生大喊读取景色，就无谓反复点成立页；必须参预 App 内完成交互时，才交给 GUI；需要外部信息、文献束缚或适度复核时，则调用 host-side tools 或 verifier。

为什么 mixed-action 比纯 GUI 更稳

PhoneHarness 架构图：host-side orchestration 与 Android device-side execution 共同组成 mixed-action harness。

在 PhoneHarness 中，agent 不错在三类行为面之间切换：CLI /device-side commands、GUI delegation、以及 MCP-style host tools。

图解：PhoneHarness 的三类行为面

PhoneHarness 的 mixed action space：CLI、GUI 与 MCP-style tools 在团结个 phone-agent loop 中共存。

这意味着，PhoneHarness 里的 agent 无谓把所有任务齐硬塞进 GUI 点击链。它不错判断：什么时期该走系统大喊，什么时期该交给 GUI worker，什么时期该调用搜索、文档、邮件、日期等器具。

这种瞎想更接近 AI 手机期间的真实需求。AI 手机不是「在手机里放一个聊天机器东谈主」，而是让智能体能在复杂手机环境里瓦解指标、选择行为、实行任务，并产生可搜检的适度。

PhoneHarness Bench：如何构建并考证手机 workflow

有了 mixed-action harness，还需要一个能确切锻练实行适度的 benchmark。原因很陋劣：敌手机 Agent 来说，能行为不就是果然完成了任务。

PhoneHarness Bench 成立在 PhoneHarness 之上，金沙JinSha(中国)娱乐网不把任务写成详尽问答题，而是写成一段不错实行、记载和复核的 phone workflow。Agent 在实行经由中会留住截图、CLI / MCP 操作、文献变化、系统景色和 App 侧适度；benchmark 再通过 task-specific verifier 判断任务反作用是否真实发生。

Bench 的要害：PhoneHarness Bench 不问「模子有莫得说我方作念完」，而是看「任务字据链是否维持它果然作念完」。这亦然它区别于纯问答式评测和纯 GUI 景色评测的要害。

PhoneHarness Bench 如何考证任务完成

Bench 是若何构建的？

每个 PhoneHarness Bench task 齐包含一个用户指标、一组可调用行为面，以及一个面向反作用的 verifier。这么，benchmark 评估的不是单步 GUI 操作，而是圆善 workflow：任务输入、agent loop、搀杂动作实行、trace 记载、适度考证和失败归因。

PhoneHarness Bench 的任务散播：遮掩 device/system、single-app GUI、tool-assisted workflow 与 cross-app workflow。

为什么这能匡助分析失败？

这条链路让失败不再仅仅一个恶浊的「没作念对」。咱们不错进一步分辩：是外层 controller 没筹商好，是 GUI worker 莫得点对，是器具调用失败，是环境不强壮，依然 verifier 莫得看到预期反作用。

代表性实行轨迹：截图、CLI / MCP 操作卡片与 verifier 信号共同组成可审计字据链。

试验发现：收益来自 mixed-action routing，不是单纯更会点屏幕

在论文试验中，咱们莫得把 PhoneHarness 描摹成一个「所有场景齐更强」的 GUI agent。相悖，试验更了了地暴露了它的领域和价值。

PhoneHarness 的收益主要来自那些存在征服性旅途、器具缓助旅途或可考证反作用的任务。比如斥地景色查询、文献束缚、网页检索、日期 / 邮件 / 文档研究 workflow，以及需要跨行为面组合的手机任务。

关于纯 GUI-heavy 的任务，视觉 grounding、权限弹窗、登录景色、告白、搜索适度不强壮等问题仍然会带来挑战。

试验解读：这个论断反而更热切：手机智能体的畴昔不是「把 GUI 点击模子作念得更大」，而是要让 agent 学会选择合适的行为面，并让每一步实行齐能被考证。

mixed-action affordance 任务上的行为空间拆解。

不同任务类型下的实行步数，缓助瓦解成果互异。

当 AI 手机确切到来，咱们会看到什么新瓶颈？

OpenAI AI Phone 和 Gemini on Android 之是以值得照应，不仅仅因为「大厂要作念 AI 手机」。更热切的是，它们共同指向了一个产物范式变化：手机正在从 App-centric device 走向 Agent-centric device。

在 App-centric 期间，用户我方精采拆辞退务：掀开哪个 App、点那处、复制什么、搜什么、阐发什么。

在 Agent-centric 期间，用户抒发指标，agent 精采退换行为。

AI 手机期间的新瓶颈

PhoneHarness 的切入点恰是在这里：AI 手机期间需要的不仅仅更强的模子，还需要能承载真实实行的 harness，以及能考证实行适度的 benchmark。

PhoneHarness 和 PhoneHarness Bench，到底鼓舞了什么？

PhoneHarness 与 PhoneHarness Bench 的单干

这两个产物是互相依赖的。

莫得 harness，benchmark 很难遮掩真实搀杂任务。莫得 benchmark，harness 的实行智力也很难被系统性评估。

要是说昔日手机 Agent 的竞争更像「谁更会看屏幕点按钮」，那么 AI 手机期间确切热切的问题会造成：谁能把真实手机 workflow 作念完，谁能留住着实字据，谁能在安全领域内强壮实行。

PhoneHarness 复兴的是「若何让手机 Agent 果然行为」。PhoneHarness Bench 复兴的是「若何阐发它果然作念成」。

写在终末

AI 手机不是陋劣地把大模子塞进系统。它意味入部下手机从 App-centric device 走向 Agent-centric device：用户抒发指标，agent 精采选择旅途、调用器具、操作 App，并完成可考证的适度。

这背后的基础设施问题，比「模子会不会点屏幕」更复杂，也更要害。

PhoneHarness 和 PhoneHarness Bench 思鼓舞的，恰是这一层基础设施：让手机 Agent 的行为空间更接近真实全国，也让评测更接近真实完成。

一句话追忆：AI 手机期间，要害问题不仅仅模子能不可瓦解屏幕，而是它能否在真实手机环境里选择正确行为面、完成可考证任务，并留住可审计的实行轨迹。

作家信息

共团结作：Jason、Zhengyao Fang、Zhengyang Tang、Pengyuan Lyu。

圆善作家：Jason， Zhengyao Fang， Zhengyang Tang， Pengyuan Lyu， Xingran Zhou， Xin Lai， Fei Tang， Liang Wu， Yiduo Guo， Weinong Wang， Junyi Li， Yi Zhang， Yang Ding， Huawen Shen， Sunqi Fan， Shangpin Peng， Zheng Ruan， Anran Zhang， Benyou Wang， Chengquan Zhang， Han Hu.

机构：Tencent Hunyuan; The Chinese University of Hong Kong; The Chinese University of Hong Kong金沙JinSha(中国)娱乐网， Shenzhen; Tsinghua University.