为什么要用GPU来训练神经网络而不是CPU?

许多现代神经网络的实现基于GPU，GPU最初是为图形应用而开发的专用硬件组件。所以神经网络收益于游戏产业的发展。

中央处理器（central processing unit，简称CPU）作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。CPU自产生以来，在逻辑结构、运行效率以及功能外延上取得了巨大发展。

CPU出现于大规模集成电路时代，处理器架构设计的迭代更新以及集成电路工艺的不断提升促使其不断发展完善。从最初专用于数学计算到广泛应用于通用计算。

从4位到8位、16位、32位处理器，最后到64位处理器，从各厂商互不兼容到不同指令集架构规范的出现，CPU 自诞生以来一直在飞速发展。

冯诺依曼体系结构是现代计算机的基础。在该体系结构下，程序和数据统一存储，指令和数据需要从同一存储空间存取，经由同一总线传输，无法重叠执行。根据冯诺依曼体系，CPU的工作分为以下 5 个阶段：取指令阶段、指令译码阶段、执行指令阶段、访存取数和结果写回。

算力的原因，神经网络本质是进行大量的运算，GPU的原理很契合这个使用场景，本身GPU的主要用途就是进行繁琐的单一运算，而CPU主要用于通用运算，需要根据不同场景来改变运算逻辑，从这点来说，CPU的效率其实没有GPU高。这也是为什么挖矿用GPU而不是CPU。现在在移动终端上，根据GPU衍生了新的模块，叫NPU，专门用来处理神经网络计算，苹果的A系列，华为麒麟都集成了NPU。