从个人 AI Agent看AI手机的现在与未来

数码
TIME
2024-05-13 10:25
天翼智库
分享

AI 功能早已进入手机,比如拍摄优化、面部识别、语音助手等。2024年被手机厂商宣称为“AI手机元年”,主要是指AI大模型进入手机,可能引起交互与体验的变革,如语音交互能否取代触屏,个人智能助理成为重要的用户价值等。相应地,手机操作系统、芯片、内存等需升级换代,手机厂商认为这将驱动手机进入继功能机、智能手机之后的第三阶段,AI手机阶段。

对于消费者来说,AI手机价值不在于硬件堆叠,而是基于AI大模型的应用。IDC和OPPO联合发布的《AI手机白皮书》提出“AI手机的用户价值,是自在交互、智能随心、专属陪伴、安全可信的个人化助理。”实际上,大模型的出现(LLM为主),智能个人助理(Assistant)可以扩展为更为自主的个人智能代理(Agent),深度参与到个人数据中,提供个性化服务。手机厂商2023年下半年起,逐步推出搭载大模型的手机,标配生成式AI应用与个人Agent,但都还处于早期阶段。本文基于个人AI Agent将成为个人智能应用核心模式的判断,从个人AI Agent核心组件及实现出发,讨论AI手机的现状与未来,以及运营商可为的布局。

个人AI Agent将成为智能应用的核心模式,重塑终端与应用生态

一是大模型具备增强智能助理扩展性和可用性的潜力。Siri、谷歌助手、华为、百度的智能助手等早已进入智能手机与智能家居,它们基于预定义的规则和较小的专用语言模型,执行具体定向的任务,如设定提醒、播放音乐、获取天气预报等,但扩展性不足,对用户意图理解力也不够。大模型(LLM为主)展现出很强的自然语言理解、内容生成、逻辑推理等能力,以大模型驱动的个人AI Agent,具备把目标分解成子任务,并调用工具来完成的潜力,预期可以做更泛化场景的任务。

二是APP与智能终端积累个人轨迹数据,使行为智能成为可能。互联网时代网站崛起,人类实现广泛的信息共享交流,积累丰富的知识内容,为大模型训练提供了内容基础。移动互联网时代,人类生活逐步线上化,即时通讯、购物、健身、出行等APP汇聚用户行为轨迹数据,为个人行为预测训练提供了基础。智能化时代,真正智能的个人Agent成为可能,从“帮你做事”到主动预测“代你做事”(代理性程度不一),Agent有望成为智能时代的核心应用载体,行为智能是本质特点。

图1 Agents可能成为个人智能应用的核心载体

三是从个人AI Agent应用模式出发,会重构智能终端与应用生态。个人AI Agent的终极目标是理解用户并完成任务,具备响应性技能和主动性技能(图2)。即响应用户需求的能力,如问题答复、天气查询等,与在用户没有明确命令的情况下,提供主动服务的能力,如活动推荐及执行等。从应用目标出发,个人AI Agent需要:(1)更广泛的个人数据采集,包括来自APP等“软终端”与各类传感器、智能硬终端的信息监测;(2)用户历史记忆档案与当前状态信息(环境、位置等)的组合,体现个性化、即时服务特点;(3)多样的工具调用能力,包括不同专业Agent的协同;(4)基础AI模型是核心,连接调度Agent的功能组件。结合现有进展,我们预计将会出现:(1)新一波监测类智能终端创新,类似Limitless录音吊坠、Galaxy Ring运动睡眠等监测;(2)新一波智能Agent应用创新,个人综合Agent与专属Agent(如健康助理)等;(3)新一波承载Agent应用的终端创新,类似Rabbit R1、AI Pin、Ray-Ban Meta,当然包括AI手机;(4)新的操作系统内核,大模型为核心,支持多工具、多Agent调用等;(5)个人隐私保护技术创新及应用,加密与可信环境等。

图2 个人AI Agent的主要组件

来源:《PERSONAL LLM AGENTS: INSIGHTS AND SURVEY ABOUT THE APABILITY, EFFICIENCY AND SECURITY》

现阶段AI手机以生成式应用为主,“行为智能”尚处探索阶段

综合当前各方对AI手机的界定,AI手机可以概括为包含端侧大模型、具备NPU的SoC芯片(IDC要求NPU性能在30到45 TOPS之间)、端侧实现GenAI并向个人Agent发展等。下表是手机厂商目前推出的AI手机及特征总结:

表1 主流厂商当前AI手机推出情况

可以看出,现阶段AI手机端侧模型以7B为主流,并与云端协同,大模型开始与操作系统融合。但受硬件与技术限制,AI手机应用以内容生成处理类场景为主,多是云端大模型应用的移植,个人AI Agent尚未真正发挥“行为智能”的特点,所以用户感觉没有明显的差异化,不够颠覆性。具体而言:

(1) 主打内容生成处理,体现一定特色。以端侧AI在图像和文本处理的深化为主,如文本和图片生成、AIGC 消除与背景补充、文件和本地通话摘要等。差异化来自某类场景的专注提升,如小米专注“影像”,VIVO文档提炼更加高效等。

(2) 个人AI Agent处于探索阶段。智能助手在识别用户意图,对手机的资源、性能、业务应用进行调度方面开始探索,如:荣耀YOYO提供“任意门”功能,宣称实现意图识别、信息跨应用跨设备流转,VIVO小V自然语言操控手机APP等。

(3) 注重跨终端融合与智能应用生态打造。如小米“人车家全生态”布局,小爱能学习用户的使用习惯,实现跨终端自动控制。应用生态方面,一是利用成熟生态,如三星与Google的大模型及生态合作;二是建新生态,如OPPO“1+N智能体生态”,即小布助手+开发者和用户Agents,荣耀发起“百模生态计划”,手机端自有AI大模型为中控,调度云端模型生态等。

AI手机适应新应用模式的未来关键方向分析

新范式催生新终端形式,重构应用生态,AI Pin是无屏幕交互Agent,Rabbit R1是直接操作APP的 Agent,Limitless的愿景也是个人 Agent,AI及Agent模式还会持续带来智能眼镜、耳机、家居等终端创新。面对原生AI终端与AI应用,AI化的手机的定位及形态面临升级,或需重新定义的局面。具体来说,有以下几个值得关注的问题和方向:

(1) AI手机还能否整合AI终端保持中心设备的位置:本质上就是AI手机能否成为个人AI Agent的集成调度中心,AI终端成为手机的补充,或者作为新的功能组件的问题。目前专项AI硬件,如Limitless吊坠、Ploud录音机,包括主打音频和拍摄的Ray-Ban Meta初步获得市场认可,也与手机配合,而偏综合的,甚至宣称取代手机的AI Pin、Rabbit R1低于预期,高开低走。AI手机成为个人AI Agent的集成调度中心,核心优势是本地算力和存储,能够承载端侧模型和个人隐私数据,是当下的最佳载体。未来不排除某类更随身轻灵的AI原生穿戴设备,借助云端+网络+可信数据空间等成为新中心,产生更移动化场景的Agent应用生态。

(2) 行为数据孤岛下如何协调建立用户的个人记忆:用户行为轨迹数据分散终端及在各大APP中,后者未必愿意开放API。探索的方向是:①Agent学习APP操作方法,通过UI界面模拟完成任务,如Rabbit R1,以及APPAgent框架等,但不是最有效率的方案;②系统级个人Agent、专项Agent(如购物、旅游)之间协同调用,弥补数据孤岛劣势;③大厂广泛布局智能终端,构建用户记忆档案,比如小米、苹果、华为、三星等向智能可穿戴、智能家居扩展等。

(3)  手机厂商APP Store能否升级为“Agent” Store:APP Store是手机厂商的重要营收渠道,引入Agent面临:①大模型不是手机厂商包括苹果的强项,主导权在Open AI 、Google等手中;② Agent模式向下挤压原APP,甚至跳过APP,利益链条被打破;③Agent Store需要新的平台插件、功能组件与商业模式等。可能的方向:一是建立大模型生态,如荣耀“百模生态计划”以及苹果寻求多方合作;二是探索新商业模式,如系统级Agent、专项Agent及APP数据交换与协同合作,平台架构设立面向B端的Agent组合调用层,按量/订阅收费分成等;三是建立或参与建立数据集成平台(如可信数据空间),汇集用户行为数据,统一格式与隐私管理,为Agent提供开发运营基础等。

(4) 个人数据安全如何有效保障:在AI手机等本地端保存处理,被认为是最安全的方式,但对内存挑战大,推理成本也比较高。云边协作是另一种处理方式,隐私保护技术主要是数据屏蔽、数据加密、可信执行环境等。总的来说,现有隐私保护技术还不足以支持高水平个人AI Agent运作,需要手机厂商等提出创新性解决方案,赢得用户信任。

(5) AI手机软硬件持续升级:一是端侧模型及OS效率改进,苹果OpenELM 、微软Phi-3、Octopus V2等端侧模型在语⾔、推理、编码等方面有良好表现,苹果即将发布的iOS 18是其展开AI竞争的主要平台;二是端侧硬件持续升级,将采用3nm等更先进制程,推理能力及手机内存加速提升等。

运营商可以做什么布局

面对AI终端与应用模式变革趋势,电信运营商一是可把握新一波AI终端云端联网的流量需求,带动流量卡号销售;二是优化网络质量与套餐服务,Agent端云实时的数据处理交互,对网络速度和稳定性的需求增加,因个人数据更加完整,运营商可以与应用方合作,提供个性化的套餐服务;三是布局个人、家庭Agent特色智能服务,如健康管理服务、智能家庭服务、紧急响应服务等;四是参与用户数据隐私保护技术开发与可信数据空间建设,提供加密技术保护用户Agent数据,积极布局个人、家庭可信数据空间基础设施建设等。

THE END
免责声明:本文系转载,版权归原作者所有;刊载之目的为传播更多信息,如内容不适请及时通知我们。

相关热点

  据灯塔专业版数据,截至5月12日20时,5月总票房(含预售)突破20亿!  其中,《末路狂花钱》《维和防暴队》《九龙城寨之围城》分列5月票房榜前三位,票房分别为5.1亿、4.6亿和...
互联网
  今年5月12日是我国第16个全国防灾减灾日。为了让防灾减灾观念深入群众,提升群众的防灾避险能力。5月9日,德清县科协联合县教育局、消防救援大队、应急管理局、阜溪街...
产经