有CPU，也有GPU，在过去的一年中，每个科技公司都在谈论NPU（神经处理单元）。 如果你不知道前两个是什么，那么第三个可能会让你更加困惑，以及为什么整个科技行业都在赞扬神经处理单元的好处。 正如你猜到的那样，这一切都归因于围绕 AI 进行的热潮。 然而，科技公司在解释这些NPU的作用时，或为什么消费者应该关心NPU这方面做得很糟糕。
每个人都想要分一杯 AI 的羹。 谷歌 在本月的 I/O 开发者大会上提到「AI」一词超过 120 次，展现了新 AI 应用和助手的无限可能，几乎让主持人陶醉不已。 在最近的 Build 大会上，Microsoft 全力介绍了其新的基于 ARM 的 Copilot+ PC，该 PC 使用 Qualcomm Snapdragon X Elite 和 X Plus。 无论哪种 CPU，两者都将提供具有 45 TOPS（每秒万亿次运算）的 NPU。 这意味着什么？ 嗯，新的PC应该能够支持设备上的AI。 然而，当你想到这一点时，这正是 Microsoft 和 Intel 去年年底用承诺的「AI PC」。
如果你今年购买了搭载Intel Core Ultra芯片的新笔记本电脑，并期待着设备上的AI，你可能对接下来的内容有些不高兴。 Microsoft 说，只有 Copilot+ PC 才能使用基于 AI 的功能，例如 Recall「因为运行它们的芯片」。
然而，当知名爆料者 Albacore 声称他们可以在另一台基于 ARM64 的 PC 上运行 Recall 而不依赖 NPU 时，出现了一些争议。 新款笔记本电脑尚未上市，但我们需要拭目以待，看看新 AI 功能会对神经处理器造成多大压力。
但是，如果你真的对 NPU 的发展感到好奇，以及为什么从 Apple 到 Intel 再到小型 PC 初创公司都在谈论它们，我们为你准备了一个简单的说明。
解释 NPU 和「TOPS」
首先，我们应该快速介绍一下普通个人电脑的运算能力。 CPU 或「中央处理单元」本质上是计算机的「大脑」，处理用户的大部分任务。 GPU 或「图形处理单元」更专门用于处理需要大量数据的任务，例如算绘 3D 物体或玩电玩游戏。 GPU 可以是 PC 内部的独立单元，也可以整合在 CPU 本身中。
从这个意义上说，NPU在其专门性方面更接近于GPU，但你不会在中央或图形处理单元之外找到单独的神经处理器，至少目前如此。 它是一种专门设计用于处理机器学习算法特定的数学计算而设计的处理器。 这些任务是「并行」处理的，这意味着它会将请求分解为更小的任务，然后同时处理它们。 它经过专门设计，可以在不利用任何其他系统处理器的情况下处理神经网络的巨大需求。
衡量NPU速度的标准是 TOPS，即每秒万亿次操作。 目前，这是大型科技公司相互比较神经处理能力的唯一方式。 这也是一种非常简化的比较处理速度的方法。 CPU和GPU提供许多不同的比较点，从核心数量和类型到一般频率速度或teraflops，即使这样也无法触及涉及芯片架构的复杂性。 Qualcomm 解释说，TOPS 只是一个结合了神经处理器的速度和准确性的简单数学方程式。
也许有一天，我们会像CPU或GPU一样详细地审视NPU，但那可能只有在我们度过当前的AI热潮之后才会出现。 即便如此，所有这些处理器的划分都不是一成不变的。 还有一种称为 GPNPU 的概念，它基本上是 GPU 和 NPU 能力的结合。 很快，我们需要将小型 AI 能力个人电脑与能够处理数百甚至数千 TOPS 的大型个人电脑区分开来。
NPU 多年来一直存在于手机和 PC 上
早在大多数人或公司关心之前，手机就已经在使用NPU了。 谷歌 早在 Pixel 2 时就谈到了 NPU 和 AI 功能。 华为和华硕在 2017 年的 Mate 10 和 2018 年的 Zenphone 5 等手机上首次推出了 NPU。 当时，这两家公司试图推广这些设备的 AI 能力，尽管客户和评论对其功能的怀疑态度比今天要大得多。
事实上，今天的NPU比六、八年前要强大得多，但如果你没有注意的话，大多数这些设备的神经处理能力可能已经被你忽略了。
早在 2023 年之前，电脑芯片就已经配备了神经处理器。 例如，苹果的M系列CPU（该公司专有的基于ARC的芯片）早在2020年就已经支持神经功能。 M1 芯片拥有 11 TOPS，M2 和 M3 分别拥有 15.8 和 19 TOPS。 直到配备 M4 芯片的新 iPad Pro 2024，苹果才决定夸耀其最新神经引擎的 38 TOPS 速度。 那么，哪些 iPad Pro AI 应用程序真正利用了这项新功能呢？ 说实话，并不多。 也许我们会在之后的 WWDC 2024 上看到更多，但我们拭目以待。
当前对NPU的痴迷部分是硬件，部分是炒作
NPU 背后的想法是，是它应该能够减轻 CPU 或 GPU 运行设备上 AI 的负担，允许用户运行 AI 程序，无论是 AI 艺术生成器还是聊天机器人，而不会降低 PC 的速度。 问题是，我们现在都在找那个能够利用增强的 AI 功能的真正 AI 程序。
在过去的一年中，从各大芯片制造商了解到的事是，硬件制造商觉得，他们第一次在软件需求上超越了软件需求。 很长一段时间以来，情况正好相反。 软件制造商会突破消费类硬件的极限，迫使芯片制造商迎头赶上。
但自2023年以来，我们只看到了一些能够在设备上运行的边缘AI应用程序。 Qualcomm 或Intel 芯片 AI 功能的大多数展示通常都涉及运行 Zoom 背景模糊功能。 最近，我们看到公司在Audacity等现有应用程序中或在OBS Studio上使用实时字幕，使用AI音乐生成器模型Riffusion对其NPU进行基准测试。 当然，你可以找到一些在设备上运行聊天机器人的应用程序，但功能较弱、细微差别较少的 LLM 并不能像能让所有人跑去购买最新的智能手机或「AI PC」的杀手级应用程序。
相反，我们只能在 Pixel 手机上使用 Gemini Nano 等相对简单的应用程序，例如文字和音频摘要。 谷歌 最小的 AI 版本将出现在 Pixel 8 和 Pixel 8a 上。 三星曾经专属于 Galaxy S24 的 AI 功能已经下放到较旧的手机，并且应该很快就会应用于该公司的可穿戴设备。 我们还没有对旧设备上这些 AI 功能的速度进行基准测试，但它确实表明，早在 2021 年的旧设备就已经拥有足够的神经处理能力。
