随着今年 AI PC 话题越来越火热,NVIDIA 这几个月可说动作频频,继 5 月初称搭载 NVIDIA RTX 显示卡的电脑为 Premium AI PC 之后,稍早在官方部落格中,再次展现实测效能是怎么碾压其他家 AI PC,就是要让所有用户了解到 NVIDIA RTX 领先有多大,而且不只是桌面版显卡,连笔记本 GPU 也一样。
NVIDIA 再次展示 RTX 40 系列的 AI 效能碾压 AI PC,RTX 笔记本也全胜
NVIDIA 在官方博客中,分享一篇解码 RTX AI PC 和工作站 AI 效能的文章,内容不断强调更高的 AI 效能,将会为用户省下大把时间和金钱。
NVIDIA 表示,近期有许多 Copilot+ PC 亮相,其 NPU 可以提供最高 40TOPS(高通),但他们只能完成一些轻量级的 AI 辅助任务。
AMD 最近推出的Ryzen AI 300可到50TOPS,Intel Lunar Lake也有到48TOPS。 虽然高了一点,但跟英伟达 RTX 系列还是有相当一大段差距。
现今很多生成式AI要求更高,而RTX GPU的效能能够满足更多任务,以最强的RTX 4090为例,可提供超过1,300 TOPS。
下图是 RTX 40 系列桌面显卡的 AI 效能,就算是最低阶的 RTX 4060,也有最高 242 TOPS:
RTX 笔记本 GPU 也一样,RTX 4090 Laptop GPU 可提供最高 686 TOPS,最低阶的 RTX 4050 Laptop GPU 也有 194 TOPS:
当然,TOPS 并不能代表实际AI任务差距就这么大,NVIDIA也有分享 Jan.ai 的实测结果,并跟AMD Ryzen 9 8945HS比较。
如果使用TensorRT-LLM,NVIDI RTX 4090每秒可提供高达170.63 tokens,相较于AMD的11.57 tokens,高出非常多,达到15倍。 就算是没有 TensorRT-LLM 也快 8.7 倍:
虽然这样比不太公平,但跟同样是笔记本的RTX 4070 Laptop GPU相比,NVIDIA还是领先最高达4.45倍。
更值得注意的是,这张图表还有提供eGPU的测试成绩,使用RTX 4090也能获得最高9.07倍的提升。
这也代表说,对于现有笔记本,其实也能考虑使用eGPU,一样能获得巨大的AI效能提升,不用重买一台AI PC。
NVIDIA 最后也说到:「无论是游戏还是生成式 AI,速度都是制胜关键。 每秒兆次运算 (TOPS)、每秒图片生成数、每秒生成 tokens 数量以及批次大小,都是衡量效能优劣的重要指标。」
在这部视频中,NVIDIA 还有跟 Apple M3 Max、M3 Pro 比较图片生成速度,RTX 4070、RTX 4090 都大胜: