联发科携手阿里云,天玑芯片完成通义千问大模型端侧部署

数码
TIME
2024-03-28 10:25
通信世界全媒体
分享

2024年3月28日,联发科宣布与阿里云达成深度合作,双方在天玑9300、天玑8300等移动平台上完成通义千问大模型小尺寸版本的端侧部署,可实现离线状态下即时且精准的多轮人机对话问答。未来,双方将携手打造面向应用开发者和终端设备厂商的生成式AI软硬件生态,基于联发科天玑移动平台适配更多参数版本的通义大模型,共同探索面向大众的AI智能体(AI Agent)服务场景新机遇。

联发科无线通信事业部副总经理李彦辑博士表示:“阿里云的通义系列大模型是AI领域的佼佼者,我们期待通过双方的合作可以为应用开发者和终端客户提供更强大的硬件和软件解决方案,同时促进生成式AI的端侧部署以及AI应用、AI智能体生态的快速发展,为用户带来更多令人兴奋的AI产品体验。”

阿里巴巴通义实验室业务负责人徐栋表示:“端侧AI是大模型应用落地的重要场景之一,但面临软硬件难适配、开发环境不完备等诸多挑战。阿里云与联发科此次合作,攻克完成了大量底层适配及上层开发的系列技术及工程难题,真正把大模型‘装进’手机芯片中,给业界成功打样端侧AI的Model-on-Chip部署新模式。基于此,我们相信未来开发者会创造出更多新奇、实用的AI应用。”

优势互补,丰富AI应用

相较于仅在云端部署生成式AI的应用和服务, 端云混合AI可充分利用终端设备的算力,在运营成本、用户信息安全、实时性以及个性化用户体验等方面具备显著优势。基于对行业趋势的一致洞察,联发科与阿里云通义实验室开展深度合作,对在天玑移动平台终端设备上运行的通义大模型进行适配和优化,赋能终端设备提供更安全、快速、可靠和差异化的使用体验。

天玑9300集成联发科第七代AI处理器APU 790,APU 790内置硬件级的生成式 AI 引擎,支持终端运行10 亿、70 亿、130 亿、最高可达330亿参数的 AI大语言模型,并支持大模型端侧“技能扩充”技术NeuroPilot Fusion,生成式 AI处理速度是上一代 AI处理器的8倍,1秒内生成图片。与此同时,联发科的AI开发平台NeuroPilot构建了丰富的AI生态,适配了全球主流的AI大模型,完整的工具链包含对NeuroPilot Fusion和 LoRA (低秩自适应)融合技术的支持,结合联发科AI系统的强劲算力,可助力开发者能更快地完成大模型的优化和转化,显著提升大模型的端侧处理效率。

通义千问是阿里云自研的LLM基座大模型,目前已推出千亿参数的2.0版本和开源的720亿、140亿、70亿、40亿、18亿、5亿参数等尺寸,以及视觉理解模型Qwen-VL、音频大模型Qwen-Audio等多模态大模型。通义千问Qwen系列是中国市场率先开源的自研大模型,曾在10多个行业基准评测创下开源模型突出成绩,并登顶全球高影响力的Hugging Face排行榜。目前,通义大模型家族已形成基础大模型及系列行业模型的矩阵,并首批通过国家大模型标准评测,在行业专业AI大模型报告的全部11项测试中,获得6项满分,名列前茅。

联发科与阿里云长期保持紧密的合作伙伴关系,双方已完成通义千问大模型小尺寸版本在天玑移动平台的端侧适配,即将透过开发者生态推动该成果广泛普及于端侧AI应用中。同时,联发科面向开发者的模型中心和工具链将集成通义千问大模型系列,助力广大开发者可以更便捷地在天玑移动平台上开发基于通义大模型的各类场景应用。

共探“大模型的下一站”

AI智能体是生成式大模型最激动人心的发展主线,被称为“大模型的下一站”。基于对新机遇的一致理解,双方还宣布启动联合探索AI智能体解决方案计划,通过整合联发科天玑移动平台强大的硬件和AI运算能力,以及阿里云通义千问先进的大模型技术和日益完善的开发工具平台,支持智能终端在端侧高能效地实现自然语言理解、复杂决策制定以及个性化服务生成,探索打造真正具备情境感知、自主学习和实时交互功能的下一代智能终端应用生态。

未来,通过联发科和阿里云的共同努力,用户在家“动动嘴”说出需求,由天玑移动平台和通义大模型驱动的AI 智能体就能自动建立并最终达成任务,将智能化的梦想照进现实。同时,广大开发者和终端设备厂商也将由此迎来更广阔的创新机遇。

在生成式AI浪潮下,大模型正成为新一轮科技革命和产业变革的重要驱动力量。联发科将持续携手阿里云通义实验室,加速终端侧生成式AI的部署,联合培育生成式AI的应用场景和生态,并共同打造面向未来的AI智能体产品体验,更好地支持千行百业落地AI应用,让科技惠及大众生活。

THE END
免责声明:本文系转载,版权归原作者所有;刊载之目的为传播更多信息,如内容不适请及时通知我们。

相关热点

  随着科技的不断发展,人工智能技术已经渗透到了我们生活的方方面面,清明节是中华民族的春祭大节,扫墓祭祖是清明的重要内容之一。清明扫墓,即为“墓祭”,谓之对祖先的“...
智能AI
  随着小米SU7发布会的临近,小米再次重磅出击,雷军今日发文称小米在智能驾驶领域投入巨大,目前研发团队已超过1000人,预计年底突破1500人。配置专用的测试车,智驾路面测试...
汽车

相关推荐

1
3