欢迎进入广州市力涛电子产品有限公司官网
Language:   English

新闻资讯

AI大模型落地终端,AI PC驱动PC行业新增长

作者: 时间:2024-03-07 10:49:05 阅读:271

1.大模型最佳载体,AI PC为PC行业发展提供新动力  

1.1数据安全和高成本阻碍大模型普及,AI大模型落地端侧势不可挡 

AI大模型在云端运行存在数据泄露、传输延迟、云端运营成本越来越高等诸多问题,阻碍大模型的商业化应用。在数据安全方面,以ChatGPT为例,根据Cyberhaven的统计,每个使用ChatGPT的公司每周向ChatGPT泄露数百次机密材料,而ChatGPT正在将这些材料纳入其公开的知识库并进行共享。在云端大模型运行成本方面,生成式AI大模型的参数量以数十、数百亿计,只有云端服务器可以满足模型训练、优化、推理的需求,而随着用户量及使用请求的逐渐增多,云端尝试的运营成本越来越高。

混合AI指终端和云端协同工作,在适当的场景和时间下分配AI计算的工作负载,以提供更好的体验,并高效利用资源,有助于缓解大模型运行成本以及提高数据安全性。


7e2fe03d-c0ea-47cd-aee2-79a80fde7750.png


1.2 AI PC:大模型的最佳载体

AI PC主要是指可以运行人工智能,配备整合NPU处理器的个人电脑。具有存储容量大、计算能力强、交互模态以及承载场景丰富的优势。此外,AI大模型目前覆盖的应用场景与PC高度重合,因此AI PC被称为“大模型的最佳载体”。

AI PC的特征为:拥有本地部署的大模型与个性化本地知识库组合构成的个人大模型,第一交互入口为个人智能体,可实现自然语言交互,AI PC将通过内嵌AI计算单元的方式提供混合AI算力,还可以依靠开放生态来满足不同场景的需求。在满足生产力提升的同时,通过本地数据存储和隐私及数据保护协议来保护个人隐私和数据安全。

fd16dccf-6206-45a8-9538-38c121857f65.png

资料来源:半导体产业纵横,IDC

1.3 关键硬件设施处理器已准备就绪

2023.10 苹果M3系列:首批采用业界领先 3 纳米工艺打造的个人电脑芯片,中央处理器搭载的高性能核心和高能效核心比 M1 中的相应核心分别快 30% 和 50%,神经网络引擎也比 M1 系列芯片上的快 60%。此外,新版媒体处理引擎现在支持 AV1 解码。

2023.10 高通骁龙X Elite:骁龙X Elite专为AI打造,支持在终端侧运行超过130亿参数的生成式AI模型,凭借快达竞品4.5倍的AI处理速度,其将继续扩大高通在AI领域的领先优势,每秒算力达到45 TOPS。采用定制的集成高通Oryon CPU,性能达到竞品两倍,而功耗仅为竞品的1/3。

2023.12 AMD锐龙8040:锐龙8040采用X86架构,在特定型号的芯片内集成Ryzen AI NPU,AI处理性能比之前的AMD型号高1.6倍,拥有16 TOPS的AI算力。预计从2024年第一季度开始,包括宏碁、华硕、戴尔、惠普、联想和雷蛇在内的领先OEM厂商将广泛提供搭载该系列处理器的产品。

2023.12 英特尔酷睿Ultra:Meteor Lake基于Chiplet架构,采用了全新的制程工艺及3D封装技术,并对CPU、GPU内核进行了大幅升级,同时还加入了面向AI的NPU内核,使得整体芯片可带来34 TOPS的整体AI算力,可以支持200亿大模型在终端侧运行。已有数十家PC制造商正在使用Meteor Lake,戴尔科技、微软、联想集团等公司的笔记本电脑都将采用该产品。

7bd8274c-f2bf-40c0-aa21-7664cc8488af.png


1.4 AI PC仍处于AI Ready阶段,商用领域将成为主要需求来源

IDC将AI PC的发展划分为AI Ready、AI On两阶段:AI Ready是指PC芯片计算架构的升级,集成了NPU计算单元的CPU陆续推向市场,以更高的能效比实现计算速度的提升,并在运行过程中具备更高的稳定性和可靠性,但尚未搭载AI大模型;AI On阶段具有完整的AI PC核心特征,并且在核心场景提供划时代的AI创新体验,成为每一个人的个人AI助理。目前AI PC市场整体处于AI Ready阶段并开始向AI On过渡,大多数AI PC搭载轻量级的AI应用以及微软Copilot按钮,联想内置大模型的AI PC预计2024年9月发布。

根据Canalys预测,兼容AI的个人电脑有望在2025年渗透率达到37%,2027年兼容AI个人电脑约占所有个人电脑出货量的60%,未来AI PC的主要需求来源为商用领域,到2027年将有59%的需求来自商用领域。

1.5 AI PC为PC行业发展提供新动力

在AI PC的推动下,PC产业生态将从应用为本转向以人为本,从应用驱动转变为意图驱动。AI PC产业生态中,个人智能体将成为第一入口,在大模型与应用生态的支持下,准确理解用户指令,给出恰当的反馈,跨应用进行调度,进而完成相对复杂的任务。模型、应用、算力厂商都需要围绕AI PC(终端)形态下新的以人为本的需求做出改变,在研发工作中对AI的高效运行予以充分的考量,以适应AI PC新时代。用户不再是行业变革的被动接受方,而将成为主动参与者和创造者。PC终端厂商和用户直接连接,因此,终端厂商将成为PC产业生态的核心中枢。

AI PC将为PC行业注入新的增长活力。IDC预测,中国PC市场将因AI PC的到来,结束负增长,在未来5年中保持稳定的增长态势。台式机、笔记本电脑市场总规模将从2023年的3900万台增至2027年的5000万台以上,增幅接近28%,而其中AI笔记本和台式机的占比将从2023年的8.1%提升到2027年的84.6%。

image.png

2.AI PC促进底层硬件技术升级

2.1处理器

2.1.1处理器:“CPU+GPU+NPU”异构方案

为大模型的本地运行需要强大的处理能力,离不开AI专用算力。因此,目前的AI PC通用计算架构开始采用“CPU+GPU+NPU”的异构方案,嵌入AI加速器——端侧神经网络处理单元NPU。CPU用来运行较小的工作负载并实现低延迟,NPU则专门针对神经网络工作负责进行优化,GPU用于需要并行吞吐量的大型工作负载,三种芯片结合,就能实现更快速、更高效率的边缘AI模型推理。

英特尔于2023年12月首次推出内置NPU的PC处理器。相比于GPU,NPU能够更低功耗、更高效率地执行大模型任务。根据英特尔以Stable Diffusion文本解码器、Unet、VAE三个步骤做的测试,如果全部放置在CPU上,所花费的时间为43秒。如果全部跑在GPU上,耗时仅14.5秒,功耗是37W,而如果说将部分步骤放置在NPU其他的在CPU,那么耗时为20.7秒,功耗更是只有20W。

image.png

2.1.2处理器:各大厂商NPU算力仍需提升,高通优势显著

微软宣布其AI PC的最低算力为40 TOPS,目前市场上的Intel Meteor Lake(34 TOPS)和AMD Ryzen 8040(39 TOPS)都未能满足这一标准。除了装有专用显卡的笔记本之外,目前只有搭载高通Snapdragon X Elite(45 TOPS)的笔记本才能达到这一性能要求。据预期,2024年下半年推出的AMD Ryzen 8050“Strix Point”和Intel Core Ultra 200“Lunar Lake”这两款新型主流超极本处理器,也将符合微软的规定。

高通X Elite在高通AI引擎下算力达到75TOPS,而在其他场景当中算力为45TOPS,可以在端侧离线状态运行130亿参数的大模型,而运行70亿参数的大预言模型时,每秒钟可以生成30个token。

image.png

2.1.3处理器:X86仍占主要地位,ARM架构有望冲击更多市场份额

从市占率角度,Arm架构在PC领域相比主流的x86架构仍有一定差距,但是得益于Arm的低成本、低功耗、日益加强的性能和系统通用性以及海量终端设备生态,未来有巨大的市场增长潜力。在过去2年,全球范围内,Arm架构PC的市场份额从2020年的1.4%增长至2022年的12.8%, 蚕食x86 PC的部分市场。随着AI开始与终端结合,受益于AI需求定制化、专有化特点,ARM充分发挥其优势成为全平台主流架构。

国内AI PC处理器相关企业有(1)CPU:海光信息、龙芯中科;(2)GPU:景嘉微;(3)NPU:国科微、北京君正、瑞芯微、九联科技。

image.png


2.2内存

2.2.1 AI PC拉升DRAM需求

2022-2023年受消费电子市场萎靡以及下游厂商库存高居不下的影响,DRAM价格长期下滑。但随着2023年上游存储厂商减产、缩减资本开支,同时2023年底消费电子市场开始复苏,DRAM价格开始回升。

在PC DRAM需求方面:1、AI PC促进PC出货量上升,进而提高DRAM出货量;2、受运行AI大模型需求影响,对内存芯片的存储容量要求有所提升,微软目前针对AI PC的内存要求是DRAM的基本需求为16GB起步,集邦咨询预计2024年DRAM平均容量预计增长12.4%。因此内存容量大的DDR5、LPDDR5/x等高世代DRAM产品渗透率提升,提高PC单机搭载的DRAM产品价值量;3、同时对数据传输速率的高要求也促进DRAM配套产品SPD、CKD等接口芯片的技术迭代。

image.png

2.2.2 内存:AI PC拉升DRAM需求,内存三巨头提升DDR5产能

DDR5:

DRAM巨头三星、SK海力士从2023年Q4开始计划提升DDR5产能。结合市场需求以及头部厂商供给情况,预

计到2024年中,DDR5渗透率将达到50%,下半年将进一步提升;同时DDR5接口芯片SPD、CKD也将会受益。

image.png

aa52d2af-c52d-45ed-919f-aded001cd3f4.png

LPDDR5:

根据集邦咨询的数据,2024年LPDDR5在PC DRAM需求占比达到30%-35%,未来将受到AI PC的CPU厂商的
规格支援,从而拉高LPDDR导入比重再提升。国内长鑫存储在2023年11月推出国内首款LPDDR5。

e9479d07-ca75-4e90-8a22-0ee202c0d600.png

2.3 AIPC的散热模组可能会有全新方案

散热能力是高算力芯片的一个主要瓶颈,随着搭载在AI PC上的模型规格不断提升,NPU性能释放可能会更加激进,相较于传统PC,AIPC可能会给出全新的散热解决方案。液冷技术占比可能会有所上升,IDC预测到2024年,超过75%的PC将采用液冷散热技术。此外,散热芯片可能凭借其静音、轻薄、功耗低等优势,在将来可能成为PC轻薄本的主要散热手段。

image.png

3.

image.png

联系我们

QQ:

手机:

电话: 0086-20-22625106

邮箱: tina.dai@lettersemi.com

地址:中国广东省广州市番禺区迎宾路555号天安科技园创新大厦708