为什么跑AI往往用GPU而不是CPU？

小欧

今天，人工智能（AI）已经在各个领域遍地开花，无论身处哪个行业，使用AI来帮助获取业务洞察，并建立竞争优势，已经非常常见。

不过一个有趣的现象是，在用户采购AI基础设施时，几乎所有厂商都会强调其支持GPU的能力，并且支持的GPU数量越多，就代表其AI性能越强大。

例如，在介绍今年新推出的戴尔易安信PowerEdge XE8545服务器时，会特别强调这款4U服务器支持4个NVIDIA A100GP，专门面向人工智能、分析和高级计算等工作负载。

那么问题来了，为什么是GPU而不是CPU？

GPU难道不是我们日常使用的电脑里的，用于提高游戏性能或设计图形所需的图形处理单元吗，为什么在AI方面，我们计算机里的“大脑”（CPU）反而很少提及呢？

一、为什么AI需要GPU

要了解为什么GPU更适合AI，我们就要从GPU的诞生说起。

图形处理单元 (GPU) 最初开发用于生成计算机图形，是具有专用内存的专用处理器，通常执行渲染图形所需的浮点运算。

从GPU的诞生我们可以看到，GPU是专为计算机开发的，旨在提高它们处理3D图形的能力。这种特性决定了GPU仅用于参与任务或应用程序代码的某些部分，而不是整个过程。因此，GPU通常有较多的内核，用于处理频繁且彼此独立的简单计算。

而CPU又被称为通用处理器，因为它几乎可以运行任何类型的计算。不过CPU通常只有几个内核，即使是服务器专用的CPU也不过几十个内核，与GPU动辄成百上千个内核相比完全不是一个数量级。

CPU和GPU内核对比

但这并不意味着CPU不够好，CPU内核虽然更少，但比数千个GPU内核更强大。例如同时处理操作系统、处理电子表格、播放高清视频、提取大型zip文件，这些是GPU根本无法完成的。

说到这里，你该明白GPU和CPU的区别了吧。总结一下，CPU最擅长按顺序处理单个更复杂的计算，而GPU更擅长并行处理多个但更简单的计算。

至于为什么AI需要的GPU，答案也很明显了，因为训练AI模型的过程需要同时对所有数据样本执行几乎相同的操作，而GPU的架构设计具有快速同时处理多个任务所需的并行处理能力。

不过要注意的是，尽管GPU非常适合于AI模型算法，但并不意味着GPU在所有情况下都适用：

1、规模较小的训练

CPU完全可以执行训练AI模型所需的算法，特别是如果数据集规模相对较小，可以使用CPU避免高昂的前期成本。

2、非并行算法

本质上，GPU是为图形处理而设计的，因此当某个AI模型算法并不是并行算法时，CPU就是更好的选择。某些涉及逻辑或密集内存要求的AI算法也是CPU的强项。

二、GPU与AI计算

在的AI计算，都在抢购GPU。英伟达也因此赚得盆满钵满。为什么会这样呢？

原因很简单，因为AI计算和图形计算一样，也包含了大量的高强度并行计算任务。
深度学习是目前最主流的人工智能算法。从过程来看，包括训练（training）和推理（inference）两个环节。

添加图片注释，不超过 140 字（可选）

在训练环节，通过投喂大量的数据，训练出一个复杂的神经网络模型。在推理环节，利用训练好的模型，使用大量数据推理出各种结论。

训练环节由于涉及海量的训练数据，以及复杂的深度神经网络结构，所以需要的计算规模非常庞大，对芯片的算力性能要求比较高。而推理环节，对简单指定的重复计算和低延迟的要求很高。

它们所采用的具体算法，包括矩阵相乘、卷积、循环层、梯度运算等，分解为大量并行任务，可以有效缩短任务完成的时间。

GPU凭借自身强悍的并行计算能力以及内存带宽，可以很好地应对训练和推理任务，已经成为业界在深度学习领域的首选解决方案。

目前，大部分企业的AI训练，采用的是英伟达的GPU集群。如果进行合理优化，一块GPU卡，可以提供相当于数十其至上百台CPU服务器的算力。

三、AI与算力

AI与算力是当今社会科技进步的两大驱动力，它们的融合与创新正推动着各个行业的发展，引领我们进入一个全新的智能时代。

算力，作为AI技术的基石，为AI提供了强大的计算能力和数据处理能力。随着技术的不断进步，算力的提升使得AI模型能够处理更大规模的数据，实现更复杂的算法，从而提升AI的性能和准确度。

算力的发展，使得AI在图像识别、语音识别、自然语言处理等领域取得了巨大的突破，为我们的生活带来了诸多便利。

而AI的崛起，也反过来促进了算力的发展。随着AI应用领域的不断拓展，对于算力的需求也日益增长。为了满足这种需求，人们不断研发新的芯片、算法和架构，推动算力的不断提升。

同时，AI技术的发展也催生了一系列新的应用场景，如自动驾驶、智能家居、智能医疗等，这些应用都需要强大的算力支持，从而推动了算力技术的不断突破和创新。

AI与算力的结合，正在推动各行各业的发展。

在制造业中，AI与算力技术可以帮助企业实现智能制造、智能供应链等，提高生产效率和产品质量。

在医疗领域，AI与算力技术可以帮助医生实现精准诊断、个性化治疗等，提高医疗水平和患者满意度。

在金融领域，AI与算力技术可以帮助银行、保险等机构实现风险评估、智能投顾等，提高金融服务的智能化水平。

总之，AI与算力是当今科技进步的重要驱动力，它们的融合与创新正推动着我们进入一个全新的智能时代。在未来的发展中，我们需要不断关注技术趋势、加强人才培养、加强监管和规范，推动AI与算力技术的健康发展，为人类创造更加美好的未来。

小欧

为什么AI计算一定要用GPU？
随着人工智能技术的飞速发展，特别是像ChatGPT这样的自然语言处理模型的大热，GPU（图形处理器）成为了市场上的抢手货。顶级GPU的价格飙升，甚至可以达到数万美元，而GPU制造商英伟达的市场估值也因此飙升至惊人的2万亿美元以上。那么，为什么AI计算一定要用GPU呢？GPU与CPU又有什么不同呢？

首先，我们来了解一下GPU是什么。GPU，全称为图形处理器，最初的设计目的是为了加速图形渲染任务，例如在游戏中创建复杂的图像和动画效果。GPU的并行处理能力使其可以同时处理多个计算任务，而这一点在AI计算中显得尤为重要。

与CPU（中央处理器）相比，GPU的架构更适合处理大规模并行计算任务。CPU是一种通用处理器，设计用来顺序执行一系列的指令，适合处理复杂的逻辑运算和串行计算任务。而GPU则拥有大量的核心，可以同时处理多个简单的计算任务，这种并行计算的能力使得GPU在处理大规模数据集和复杂算法时具有显著优势。

在AI领域，尤其是在深度学习中，模型训练和数据推理往往涉及到大量的矩阵运算和浮点数计算。这些计算任务具有高度的并行性，可以通过GPU进行加速。通过使用GPU，AI研究人员可以大大缩短模型训练的时间，提高计算效率，从而加速研究和应用的进展。

此外，GPU在硬件层面也进行了针对AI计算的优化。例如，GPU配备了高速的内存接口和专门的计算单元，可以更有效地处理AI算法中的大规模数据。这些硬件优化使得GPU在AI计算中表现出色，成为AI领域不可或缺的计算工具。

当然，这并不意味着CPU会被GPU完全取代。CPU仍然在处理逻辑运算、系统控制和串行计算任务等方面发挥着重要作用。在AI计算中，CPU和GPU往往协同工作，共同构成一个强大的计算系统。

综上所述，GPU之所以在AI计算中占据重要地位，主要是因为其强大的并行计算能力和针对AI计算的硬件优化。尽管CPU仍然是计算系统的核心组件，但GPU的出现大大提高了AI计算的效率，为人工智能的快速发展提供了强有力的支持。因此，对于需要大规模并行计算任务的AI应用来说，使用GPU进行加速已经成为了一种必要的选择。

好了，今天的文章分享到这就结束了，要是喜欢的朋友，请点个关注哦！--我是简搭(jabdp)，我为自己“带盐”，感谢大家关注。

小欧

Gpu核心多适合大量独立而简单的计算，Cpu运算能力强大，但是核心数目远远不足。一个是几十个核心，一个是几千个核心。