吾看书

大白话详解gpt：从“能说会道”到背后的“硬核装备”（第4页）

残差连接：就像“传送带”，把上一步的结果直接传到下一步，避免“信息丢失”（比如分析好的“我和苹果的关系”，不会在计算过程中被忘掉）。

- 多层堆叠：相当于“多道工序”

一层解码器只能处理简单的句子，比如“我吃饭”；处理复杂句子（比如“昨天我和朋友在市中心的餐厅吃了一顿美味的火锅，还点了两杯奶茶”），就需要多层解码器——每一层处理一个“复杂度”：第一层处理单个词，第二层处理词与词的关系，第三层处理短语，第四层处理句子结构……直到最后一层，输出“完整理解后的数字信号”。

简单说，GPT的架构图就是“一条多层的数字加工流水线”，每一层都有明确的分工，从“拆词”到“理解关系”再到“转化数字”，一步步把人类语言变成AI能懂的“密码”。你不用记住复杂的术语，只要知道“它靠多层结构实现了对语言的深度理解”就行。

四、GPT的“动力源泉”：背后的芯片不是“小电脑”，是“超级计算机”

GPT这么聪明，靠的不是“手机芯片”，而是一群“超级芯片”——没有这些芯片，GPT连“一句话都算不出来”。就像汽车需要发动机，GPT需要芯片提供“计算动力”。咱们先搞懂一个核心：GPT的“计算量”有多恐怖？

训练一次GPT-3，需要处理1750亿个参数，还要“读”几百TB的数据（相当于几百万部电影的容量），计算量相当于“全人类一起算几百年的数学题”——普通电脑的CPU（比如你家电脑的i5、i7）根本扛不住，必须用专门的“AI芯片”。目前GPT用的芯片主要有四种，咱们一个个说，用“工地干活”来比喻，一看就懂：

1. GPU：“主力工人”，负责大部分“体力活”

GPU的全称是“图形处理器”，以前主要用来玩游戏、画3D图，现在成了AI训练的“主力”。为什么？因为它擅长“并行计算”——就像工地上的“流水线工人”，能同时干很多一样的活。

- 怎么干活：训练GPT时，需要同时处理几百万个“词向量”（把词变成数字），还要计算它们之间的关系。CPU一次只能处理几个，GPU一次能处理几千个——比如NVIDIA的A100 GPU，一次能处理上万个数据，效率是CPU的几十倍甚至上百倍。

小主，这个章节后面还有哦，请点击下一页继续阅读，后面更精彩！

- GPT用的GPU：OpenAI训练GPT-3和GPT-4时，主要用的是NVIDIA的Tesla系列GPU，比如V100和A100。这些GPU不是你买的游戏卡（比如RTX 4090），而是“服务器级GPU”——体积比普通显卡大，算力更强，价格也贵得离谱：一块A100要十几万，训练GPT-3需要几千块，光GPU成本就几个亿。

- 比喻：如果把训练GPT比作“盖一栋100层的大楼”，GPU就是“搬砖、砌墙的主力工人”，虽然干的是基础活，但没有它们，大楼根本盖不起来。

2. TPU：“专业技工”，擅长干“特定活”

TPU的全称是“张量处理单元”，是Google专门为AI设计的芯片，就像工地上那些有特殊技能的专业技工，比如电工、焊工。虽然不是盖楼的主力，但在特定任务上，他们的专业性无可替代。

TPU主要是为了解决AI计算里最常见的“矩阵运算”而生的。在训练GPT时，要处理海量的词向量，这些词向量之间的关系计算，很多都是通过矩阵运算完成的，比如把两个数字矩阵相乘。TPU的架构针对矩阵运算做了特别优化，效率比普通GPU和CPU高很多。就像普通工人搬砖可能很厉害，但要是让他们接电线、焊管道，就比不上专业的电工和焊工。

Google的TPU芯片有好几代，像第一代TPU就已经能在某些AI任务上比GPU快15 - 30倍，还更省电。OpenAI在训练GPT模型时，虽然主要用的是NVIDIA的GPU，但也会搭配TPU来处理一些对矩阵运算要求极高的部分，让整个训练过程更高效。简单来说，TPU就是训练GPT时的“专业辅助”，在关键环节发挥着不可或缺的作用 。

3. FPGA：“万能工匠”，灵活定制“小工具”