作家 | ZeR0剪辑 | 漠影

在本年的云计算打算产业嘉会AWS re:Invent上，亚马逊云科技（AWS）稀有识公布了遍及对于硬件基础才能及芯片的细节信息，包括自研处事器CPU Graviton系列、自研AI芯片Trainium系列、AI超等处事器、最大AI处事器集群等。

这场开诚布公的共享，既让咱们窥得这家大家最大云计算打算巨头深厚的硬件基立功底，也让咱们饱览了从CPU研发战略、先进封装、后面供电、AI芯片脉动阵列到芯片互连、AI聚集的多样底层时刻革命。尤其是对于云计算打算基础才能、数据中心芯片遐想从业者而言，其中有好多值得细品的教学和念念路。

大会时间，亚马逊云科技计算打算与聚集副总裁Dave Brown还与智东西等少数媒体进一步就基础才能与芯片研发的战略和细节进行交流。他告诉智东西，Trainium3基本上扫数遐想皆会围绕生成式AI，AWS已败露Trainium3是其首款接管3nm工艺的芯片，算力上一代的2倍、功耗责怪40%，但面前线路时刻细节可能为前锋早。他还剧透说亚马逊云科技展望来岁会缓缓发布更多细节。

一、CPU遐想理念：不为基准测试而造芯

亚马逊云科技的自研处事器CPU和AI芯片均已在其数据中心落地，被许多闻明IT企业接管。连苹果皆是其座上宾，在构建Apple Intelligence等AI处事的背后用到了Graviton3、Inferentia2、Trainium2等亚马逊云科技自研芯片。

据Dave Brown共享，亚马逊云科技数据中心里用到的处事器CPU中，往时两年有卓绝50%的新增CPU容量是其自研处事器CPU芯片Gravtion。大家最大购物节之一亚马逊Prime Day有卓绝25万个Graviton CPU支捏操作。

在2018年，亚马逊云科技看到Arm中枢发展变快，萌发了结合这种时刻弧线与亚马逊云科技客户需求开发一个定制通用处理器的念头。Graviton由此降生，其推出和落地也带来了Arm芯片实在参加数据中心的时刻。

今天，Graviton被险些每个亚马逊云科技客户平时使用。90%的前1000个Amazon EC2客户皆运转使用Graviton。

Graviton4是现时最刚烈的亚马逊云科技自研处事器CPU，每个中枢提供30%更多的计算打算才智，vCPU数目和内存是上一代的3倍，尤其适用于大型数据库、复杂分析等条目最高的企业责任负载。

Dave Brown强调说，在遐想芯瞬息，亚马逊云科技不是奔着赢得基准测试，而是专注于本体责任负载性能。

在他看来，业界热衷于优化基准测试，就像是“通过100米短跑来查验马拉松”。本体责任负载的活动与整洁的基准测试截然不符，它们是杂沓词语的、不可预测的，真是责任负载遭受的问题可能与微基准测试全皆不同。

比如，表面上，Graviton3的性能比Graviton2提高了30%，但测试Nginx时性能培植多达60%，因为亚马逊云科技极大减少了分支造作预测。Graviton4也访佛，微基准测试分数比上一代提高了25%，运行真是MySQL责任负载的进展则足足提高了40%。

当代CPU就像一个复杂的汇编管谈，前端获取息争码指示，后端实践指示。

在评估性能时，亚马逊云科技会调查不同责任负载对CPU微架构的压力，比如责任负载是否对前端停摆明锐，前端停摆受分支数目、分支见识或指示等身分的影响，或者后端停顿受L1、L2和L3缓存中的数据以及指示窗口大小的影响。

对于每一代的Graviton，客户皆不错不详地切换到最新的实例类型，独立即看到更好的性能。

在安全性上，亚马逊云科技还加密了Graviton4与Nitro之间的PCIe链路，作念到更极致的全经由安全看管。

二、高性能芯片遐想的环节黑科技：先进封装与后面供电

几年前，封装还很不详，基本上是一种封装单个芯片并将其勾通到主板的顺序。但当今这个决议变得先进好多。你不错把先进封装联想成用一种叫作念中介层（interposer）的极度开导把几个芯片勾通在一个封装里。

中介层自身本体上是一个Chiplet，它动作一个微型主板，提供了勾通芯片的才智，其带宽是普通PCB主板的10倍。

Graviton3和Graviton4皆接管了先进封装时刻。Graviton4有7个Chiplet，中间大芯片是计算打算中枢，外围更小的芯片作念一些事情，比如允许芯片访谒内存和系统总线的其他部分。通过分裂计算打算中枢，亚马逊云科技有用地将Graviton4的中枢数目加多50%。

这种顺序对Graviton十分有匡助，但引入AI芯片遐想中会遭受一些挑战。

2018年，看到加快器实例和深度学习趋势后，亚马逊云科技决定构建AI芯片。其首款自研AI芯片是2019年的Inferentia，能够切实责怪微型推理责任负载的资本，比如亚马逊Alexa通过迁徙到Inferentia检朴了遍及资金。

2022年，亚马逊云科技推出了其首款自研AI查验芯片Trainium1，并杀青可将在Trainium1上运行的责任负载检朴约50%。

亚马逊云科技高档副总裁Peter DeSantis在re:Invent大会现场展示了Trainium2的封装，内部有两颗计算打算芯片比肩放在中间。其计算打算die的晶体管数目是Trainium1计算打算die的2.2倍。

想在一个系统上得到最多的计算打算和内存，要用先进的封装或制造时刻来制造大芯片。Trainium2上便是这么作念的。但这遭受了第一个工程极限——芯片制造有尺寸限制，在800平方毫米掌握。

每个计算打算芯片掌握的两颗芯片是HBM内存堆栈，每个计算打算芯片Chiplet通过CoWoS-S/R封装与两个HBM堆栈通讯。通过堆叠芯片，可将更多内存装入疏导区域，从而减少花消、开释的能量。

那为什么不可把封装作念得更大呢？这便是第二个限制地点。

今天的封装本体上被限制在最大芯片尺寸的3倍掌握。假如将计算打算芯片和HBM取出，不错看到中间层，底下有用来勾通芯片和中介器的微凸点。

这是亚马逊云科技旗下Annapurna芯片团队制作的一张图片。他们沿着紫色的线仔细切出了芯片的横截面，然后用显微镜从侧面放大图像。左上角是计算打算芯片，掌握有HBM模块，HBM模块层皆位于一个薄的一语气晶圆上。芯片和中间层顶部之间的电勾通十分小，每个大致是100μm，比细盐粒还小。

而要让芯片保捏踏实勾通，就必须得限制封装大小。

同期，Trainium2还引入了后面供电，把电源线挪到晶圆后面，以减少布线拥塞。

半导体哄骗轻细电荷的存在或不存在来存储和处理信息，当芯片遭受电压下落时，它们赓续得恭候到供电系统挽回。芯片在完成计算打算任务需要提供遍及的能量，为了在低电压下传输扫数的能量，需要使用大电线，减少电路传输长度，从而来幸免所谓的电压下落。

三、打造最强AI硬件猛兽，背后的时刻秘方

查验更大的模子，需要构建更好的AI基础才能、更刚烈的处事器集群。这条目有更好的AI芯片和AI聚集。

在re:Invent大会上，亚马逊云科技戒备公布了几个重磅AI硬件居品。

一是亚马逊和Anthropic正在合作构建的Project Rainier，一个领有数十万颗Trainium2芯片的超等处事器集群。这个集群将具备Anthropic面前用于查验其当先的Claude模子的集群5倍的计算打算才智。

二是能查验和部署天下上最大模子的Trainum2超等处事器。它勾通了4个计算打算节点，集成了64个Trainium2芯片，将峰值算力膨大至83.2PFLOPS，稀薄算力更是高至332.8PFLOPS，将单个实例的计算打算、内存和聚集性能提高4倍。

三是亚马逊云科技迄今作念机器学习查验最高能效的处事器——Trainium2处事器。一个Trainium2处事器容纳有16个Trainium2芯片，可在单个计算打算节点提供20.8PFLOPS的计算打算才智。由Trainium2芯片提供支捏的Amazon EC2 Trn2实例也认真可用，可提供比现时GPU驱动的实例向上30%~40%的性价比。

这些Trainium2芯片通过超快的NeuronLink互连时刻勾通在沿途。

在芯片遐想上，Dave Brown教练了CPU、GPU、NPU三类芯片微架构的不同。

CPU针对遍及复杂逻辑的快速实践，每个缓存对应戒指引擎和实践引擎。

GPU主要用于数据并行，戒指单位较少，实践单位多。其运算过程会波及一些数据在缓存和HBM内存之间的倒换。

为了减少无效的内存占用，亚马逊云科技Trainium芯片接管的是脉动阵列（Systolic Arrays）架构，与谷歌TPU如出一辙，平直传递计算打算终端，能够责怪内存带宽需求。

在生态建造上，亚马逊云科技提供了一个其自研AI芯片的专用编译讲话新Neuron Kernel接口（NKI），用于浮浅开发者平直对其AI芯片进行深度调试，从而更充分地挖掘芯片性能。

单芯片的性能强，在本体落地中或然管用。要赈济起业界最大的大模子查验和推理，必须能够提高遍及芯片互连时的系统级算力哄骗率。

亚马逊云科技自研的NeuronLink芯片到芯片互连时刻可将多个Trainium2处事器组合成一个逻辑处事器，带宽为2TB/s，蔓延为1μs。

与传统高速聚集左券聚集不同的是，NeuronLink处事器不错平直访谒相互的内存，从而创造出一台“超等处事器”。

Peter DeSantis也花时候科普了一下为什么大模子推理越来越进击，以及它对AI基础才能提议了怎样的新条目。

大模子推理有两种责任负载——预填充（prefill）和token生成。预填充是输入编码，其中处理教导和其他模子输入，为token生成作念准备。这个过程需要遍及的计算打算资源来将输入调换成传递给下一个程度的数据结构。完成后，计算打算出的数据结构将被传递给第二个推理责任负载，由它生成token。

Token生成的意旨之处在于，模子按律例生成每个token，一次一个。这对AI基础才能提议了十分不同的条目，每次生成token时，必须从内存中读取通盘模子，因此会对内存总线产生遍及需求，但它只使用小数的计算打算，险些与预填充责任负载全皆违抗。

这些责任量相反对AI基础才能意味着什么呢？一朝token运转生成，只需要以卓绝东谈主类阅读速率的速率生成它们。这不是很快，但当模子越来越多地用于agentic责任流，在参加责任流的下一步之前，需要生成通盘反馈。是以当今客户关爱的是快速预填充和快速token生成。

对实在快速推理的渴慕，意味着AI推理责任负载也寻求使用最刚烈的AI处事器。这两种不同责任负荷是互补的。预填充需要更多的计算打算，token生成需要更多的内存带宽，是以在兼并个刚烈的AI处事器上运行它们不错匡助杀青出色的性能和成果。

这就讲解了亚马逊云科技力推自研AI处事器及集群的中枢驱能源。

四、怎样构建AI聚集？10p10u架构、定制光纤电缆及插头、搀杂式路由左券

云聚集需要快速膨大以允洽增长，亚马逊云科技每天向大家数据中心添加数千台处事器。但AI的膨大速率更快。

据Peter DeSantis共享，亚马逊云科技的云聚集在可靠性方面依然作念到99.999%。AI责任负载对规模、速率、可靠性的条目更甚。淌若AI聚集资格了蓦然的故障，通盘集群的查验过程可能会蔓延，导致资源闲置和查验时候延长。

如安在云聚集的革命基础上构建一个AI聚集呢？亚马逊云科技打造了10p10u聚集。

10p10u的物理架构与传统CLOS聚集架构区别不大，亮点是杀青了10Pbps传输带宽、10μs聚集蔓延，连起来后构成可用于查验的超等集群。

下图展示了亚马逊云科技在不同聚集结构中安设的聚集数目，其中10p10u在往时12个月已安设卓绝300万条。

结构如下图所示，接管简化的无电缆机箱遐想，左侧是8张Nitro卡，右侧是两颗Trainium2加快器。

遍及的光缆参加机架，要构建这么的密聚集集结构，需要十分精准的互连交换机，并要布置复杂性大大加多的挑战。

针对布线复杂问题，亚马逊云科技研制了一些极度的光纤电缆、光纤插头，并针对超大规模集群打造了一种全新聚集路由左券。

其中一个革命是开发了一个定制的光纤电缆Fiber optical trunk cable。不错把它当成一根超等电缆，它将16根零丁的光纤电缆组合成一个坚固的勾通器，能够大大简化拼装过程，摒除勾通造作的风险。

使用骨干勾通器将在AI机架上的安设时候镌汰了54%，况且作念到看起来更整洁了。

还有定制光纤插头——Firefly Optic Plug。

这个奥密的低资本开导就像一个微型信号反射器，支捏在机架到达数据中心之前进行全面测试和考证聚集勾通。这意味着处事器到达时，不会摧折任何时候调试、布线。

此外，即使是轻细的灰尘颗粒，也会显赫责怪完整性并形成聚集性能问题。而Firefly Optic Plug具有双重保护密封功能，可防患灰尘颗粒参加光纤勾通。

临了一个挑战是提供更高的聚集可靠性。

亚马逊云科技对光链路的可靠性作念了好多优化，将失败率责怪到0.002以下。

AI汇辘集最大的故障着手是光链路。光链路是微型激光模块，在电缆上发送和吸收光信号。这些失败不可能被全皆摒除，因此需要斟酌怎样减少失败的影响。

每个聚集交换机皆需要数据来告诉它们怎样路由数据包。在AI汇辘集，这个舆图可能需要斟酌数十万条旅途。每次光链路出现故障，映射就需要更新。

怎样快速而可靠地作念到这一丝？最不详的顺序是荟萃责罚映射。

优化聚集听起来很眩惑东谈主，但当聚集规模弘大时，中央戒指就会成为瓶颈。检测故障会很艰难，交换机更新可能十分平缓，况且中央戒指器是单点故障。这便是为什么大型聚集赓续使用BGP和OSPF等左券去中心化的原因。

关系词去中心化的决议也不圆善。在大型汇辘集，当链路出现故障时，聚集交换机需要破耗遍实时候进行合营，并为聚集找到新的最优映射。

也便是说，在面对超大规模集群组网时，荟萃式和散播式的传统路由左券皆濒临挑战。

濒临次优选拔时，则需要开辟一条新的谈路。对此，亚马逊云科技研发了一种全新的搀杂式聚集路由左券SIDR（Scalable Intent Driven Routing），通过将荟萃式和散播式戒指的上风相结合，能在很短时候内重新运筹帷幄聚集旅途，为超大规模集群提供更好的快速故障检测、反馈和规复才智。

SIDR不错不详理会成让中央议论者将聚集判辨成一个结构，这个结构不错下推到汇辘集的扫数交换机。这么它们看到故障时，就能作念出快速、自主的决定。 终端，SIDR能在1秒内反馈故障，况且在亚马逊云科技聚集上作念到比其他替代顺序快10倍。其他聚集可能还在重新计算打算道路，10p10u聚集依然规复责任了。

结语：云大厂自研芯片的风向标

动作在自研芯片落地上最顺利的云计算打算大厂之一，亚马逊云科技的芯片遐想教学、自研芯片对云业务的本体影响、迭代与革命标的一直备受瞩目。在秉承智东西等媒体采访时间，Dave Brown也追念了亚马逊云科技自研芯片的一些环节上风，包括资本低、规模大、落地快、踏实可靠等。

资本上，淌若采用Trainium2可将资本较H100责怪50%，那么这对客户大约是很有眩惑力的点。

规模上，亚马逊云科技的规模确保其芯片能够正常运行，会在推出Trainium前作念遍及测试，确保芯片一朝推出就一定会顺利，不会出现硬件需要惊怖的情况。

规模大还意味着更容易得到所需的产能。Dave Brown提到亚马逊云科技与英特尔、台积电等企业的合作凯旋，觉得台积电到好意思国凤凰城投资建厂是理智之选。亚马逊云科技奋力于杀青供应链多元化，是台积电的最大客户之一，也一直与英特尔细巧合作，相互匡助进行遐想革命，展望不会受蛊卦层变动的影响。

落地上，亚马逊云科技有稀奇团队，负责立即能将芯片放到处事器中，中间不存在一两个月的迟延延误，因此能镌汰落地时候，有富饶好的芯片来支捏客户进行大讲话模子的查验。

还有完整的居品组合和可靠处事。亚马逊云科技提供不单是是芯片，还包括存储、Kubernetes处事器、API、安全、聚集等，这么丰富的组合拳是其他供应商难以提供的。在踏实性上，亚马逊云科技相似具备上风，在实时会诊和修补遭受的问题、确保处事不受影响方面依然深得云处事客户的信任。

生成式AI波澜鞭策下流阛阓对更高性能、高性价比、生动可定制的AI基础才能提议了强需求。而亚马逊云科技在AI基础才能底层时刻与工程上的探索与革命体育游戏app平台，正为业界提供一个既能允洽客户业务需求、责怪系统复杂性又能提高供应链话语权的出色参考范本。