为什么GPU可以提升深度学习算法

矩阵运算

GPU最初是为 图形应用而开发的硬件。如:在游戏渲染中,显卡需要执行大量的 图形运算,包括 矩阵运算。

深度学习中的算法,也需要做大量的 矩阵运算(如:卷积神经网络)。

也就是说,深度学习算法 与 图形算法 相似,GPU既然可以提升图形运算(如渲染大型游戏),当然也可以提升 深度学习算法

多核并行

GPU电路 比 CPU 更加简单,只有 取指令、指令译码、ALU 以及执行这些计算需要的寄存器和缓存
所以,可以在一个 GPU 里面,有多个这样并行的 处理单元 来实现计算,就好像 CPU 里面的多核 CPU 一

多线程并行

不需要实现 多线程 计算,因为 GPU 的运算是天然并行的

高带宽

CPU更擅长于快速获取少量的内存,GPU则更擅长于获取大量的内存。
目前,最好的CPU大约能达到50GB/s的内存带宽,而最好的GPU能达到750GB/s的内存带宽。
因此,在内存方面,计算操作越复杂,GPU对CPU的优势就越明显。

感谢:
https://blog.csdn.net/qyf__123/article/details/100147909