在人工智能时代，对以数据为核心的工作负载的需求不断上升，这使得现代服务器遭遇了史无前例的挑战。如何确保计算能力和内存带宽的匹配，已经成为一个迫切需要解决的问题。人工智能、高性能计算以及实时分析等行业，都依赖于那些能够以极快速度传输数据的内存子系统，以防止出现性能瓶颈。人工智能、高性能计算以及实时分析等领域的快速发展，对内存子系统的数据传输速度提出了极高的要求，任何微小的延迟都可能导致系统性能出现瓶颈。
与此同时，一种创新型的内存技术——MRDIMM 突然崭露头角，在业界迅速引发了广泛关注。人们不禁要问，这种技术是否有望成为人工智能存储领域的下一颗耀眼明星？它又将如何对内存市场产生重大的、深远的效应？
01MRDIMM新型内存出世
MRDIMM 的问世并非一蹴而就，其源头可追溯至 DDR4 时代的 LRDIMM（减载双列直插内存模块）。LRDIMM 的设计理念旨在降低服务器内存总线的负担，并且提高内存的工作频率和容量。相较于传统服务器内存模块RDIMM仅使用RCD（寄存时钟驱动器）技术，LRDIMM在技术上进行了突破，巧妙地引入了DB（数据缓冲器）这一新功能。这种独特的设计不仅有效减轻了主板上信号的负担，而且还为采用更大容量的内存芯片提供了可能，从而大大提升了系统的内存存储空间。
在DDR4这一代产品中，JEDEC对LRDIMM架构展开了多轮深入的讨论。经过一番激烈的角逐，最终，我国澜起科技公司提出的“1+9”方案——即一颗RCD芯片搭配九颗DB芯片——成功脱颖而出，被正式确立为DDR4 LRDIMM的国际标准。这一成就极具重要性，须知当时在全球范围内，只有IDT（后为日本瑞萨电子所并购）、Rambus以及澜起科技这三家企业在RCD及DB芯片套片的生产上具备相应能力。或许正是得益于这样的机遇以及澜起科技卓越的研发实力，该公司在2021年顺利成为JEDEC董事会的一员，从而在行业中的话语权得到了进一步的增强。
步入DDR5时代，LRDIMM的构架转变为“一颗RCD加十颗DB”。但DDR5内存模块的容量显著提升，导致LRDIMM在性价比方面的优势逐渐减弱，其在服务器内存市场的份额也并不理想。在这样的背景下，MRDIMM应运而生。该产品采用了与LRDIMM相仿的“1+10”技术设计，即集成了1颗MRCD（多路复用寄存时钟驱动器）芯片以及10颗MDB（多路复用数据缓冲器）芯片，从而有效提升了内存带宽，满足了现代服务器对内存带宽持续增长的需求。
CPU核心的数量和速度持续增长，对内存的读写速度提出了更高要求。MRDIMM技术通过并行操作两个内存通道，成功提升了数据传输效率，相较于传统的DDR5 DIMM，其数据吞吐量有了显著提升。换句话说，MRDIMM相当于将两个DDR5 DIMM合并使用，为主机提供了双倍的数据传输速度。将两个速度均为4400MT/s的DDR5内存条进行搭配，其输出速度可以达到8800MT/s。目前市场上，第一代MRDIMM的传输速度已经达到了8800MT/s，而第二代产品更是突破了12800MT/s的极限。尽管预计后续几代产品的运行速度将显著提高，其中第三代产品预计速度可达17600MT/s，然而，这样的产品可能要到2030年之后才能正式推出，研发任务仍然艰巨且漫长。
值得指出的是，英特尔与SK hynix以及瑞萨展开了合作，共同研发了一种基于MRDIMM理念的 DIMM 产品，即多路复用器组合等级（MCR）DIMM。与此同时，AMD也在加紧筹备推出类似的产品，即HBDIMM。然而，截至目前，尚未有公开资料对MCR DIMM与HBDIMM进行详细的对比分析。
此外，TFF高尺寸MRDIMM模块拥有显著特点，无需额外物理插槽即可提升内存存储空间。这种模块体积较大，能够装入更多的内存芯片，但仅限于2U及以上规格的服务器架构。得益于其更快速、更高效的数据传输性能，MRDIMM为面向未来的服务器设计提供了坚实的支撑，帮助其应对高性能计算的需求。
02“运力”成为AI发展最大瓶颈
最近几年，服务器CPU技术的进步显现出一种显著特点：CPU制造商持续提升内核数量，核心数量呈现出指数式的上升。英特尔和AMD最新推出的CPU，其核心数量已经达到了数十个甚至上百个。而且，自2012年以来，数据中心服务器的内存对于速度和容量的需求每年都以超过十倍的速度在增长，并且增长势头丝毫没有减弱的迹象。在过去十年间，"算力"与"存力"均实现了空前的提升。
然而，“内存墙”现象成为阻碍系统性能进步的关键障碍。传统内存RDIMM的传输带宽增长缓慢，无法与CPU核心数量呈指数级增长的速率相匹配。这便是AMD与英特尔在主流处理器上选择DDR5内存的其中一个关键原因。因此，DDR5市场迎来了迅猛的发展阶段。
若此类状况持续发展，一旦CPU核心数突破某个临界点，便会引发带宽分配短缺的困境，进而使CPU无法充分利用增加核心数所带来的性能提升，从而严重限制系统的性能均衡，“内存墙”的不利影响将愈发明显。
在美光与英特尔共同进行的测试过程中，研究人员选取了英特尔Hibench基准测试套件中的2.4TB数据集，以此作为测试材料。结果显示，在内存容量一致的前提下，MRDIMM的运算效能比RDIMM提升了1.2倍；而当采用容量翻倍的TFF MRDIMM时，其运算效能进一步提升了1.7倍，同时内存与存储之间的数据迁移量也减少了10倍。
在AI 推理方面，MRDIMM 同样表现出色。以Meta Llama 3 8B大模型为例，在内存容量一致的情况下，采用MRDIMM技术后，词元处理能力提升了31%，延迟减少了24%，首个词元生成时间缩短了13%，CPU的使用效率提高了26%，末级缓存（LLC）的延迟也下降了20%。
MRDIMM 基于DDR5的物理与电气规范，实现了内存技术的重大进展，成功扩充了CPU单核心的带宽与存储空间，显著减轻了在大型计算时代“内存墙”对系统性能的束缚，对于提高内存密集型计算的效率具有显著价值。伴随AI产业的迅猛增长，DDR5内存接口芯片的需求量和市场渗透率显著增加。随着兼容MRDIMM技术的服务器处理器的推出，第二代的MRDIMM模块有望在高端计算和人工智能等领域成为首选配置。
03行业巨头推出相关产品
在此情况下，处理器和存储设备巨头开始布局相关产品。
在处理器领域，英特尔于2024年9月发布了至强6系列高性能核处理器，该处理器针对高性能计算和人工智能等对计算能力要求极高的工作负载进行了专门设计。它搭载了多达128个性能核心，并在PCIe通道、L3缓存等关键性能指标上实现了多项升级。尤为引人注目的是，该处理器引入了新型内存技术MRDIMM。独立测试结果显示，采用MRDIMM技术的至强6系列处理器，与采用传统RDIMM技术的同款系统相比，其性能显著提高了33%。
AMD 同样展现出了竞争的决心，其即将推出的基于 “Zen 6” 架构的 EPYC 霄龙系列服务器处理器，将转投至全新的 SP7 和 SP8 平台，此举意味着它们将告别目前所依赖的 SP5 和 SP6 平台（前者支持12条内存通道，后者则支持6条）。新平台搭载的SP7型号将推出配备16条和12条内存通道的两种版本，旨在满足更高级别的内存带宽需求，并更有效地支撑多核心处理器的运行。同时，"Zen 6"系列的EPYC处理器将实现MRDIMM内存条的支持功能，预计其传输速度将达到12800MT/s或更高。
在存储领域，2024年7月，美光公司宣布其MRDIMM产品已进入样品阶段。这款内存产品标志着美光MRDIMM系列的首个成员，并且能够与英特尔的至强6系列处理器实现兼容。
在 2024 年的 10 月，Rambus 公司推出了适用于 12800MT/s 速度等级的 MRDIMM 的 MRCD 和 MDB 芯片，同时发布了与之相匹配的第二代 DDR5 服务器电源管理集成电路（PMIC）。Rambus透露，他们研发的第二代DDR5服务器PMIC产品，针对DDR5 RDIMM 8000和MRDIMM 12800进行了优化设计，该产品在低电压环境中能够输出极高的电流，旨在支撑更快的内存传输速度，并允许每根内存条搭载更多的DRAM和逻辑芯片。
2024年11月，瑞萨电子首次发布了针对第二代DDR5多容量双列直插式内存模块（MRDIMM）的全面内存接口芯片组解决方案。瑞萨电子透露，与第一代MRDIMM相比，这些新产品的内存带宽实现了1.35倍的提升，预计将在2025年实现大规模生产。瑞萨公司精心设计并推出了三款创新的核心部件，分别是RRG50120型第二代多路复用寄存时钟驱动器（MRCD）、RRG51020型第二代多路复用数据缓冲器（MDB）以及RRG53220型第二代电源管理集成电路（PMIC）。此外，瑞萨公司大规模生产温度传感器（TS）以及串行存在检测（SPD）集线器解决方案，这些产品旨在满足各种服务器与客户端的 DIMM 需求，涵盖了行业标准中的下一代 MRDIMM，并为此类设备提供了全方位的芯片组解决方案。
近期，Cadence发布了业内首个12800MT/s DDR5 MRDIMM内存的知识产权系统解决方案。该方案由高性能控制器与PHY物理层两大模块组成，采用台积电N3制程技术制造，并且已经与采用美光1-gamma制程的DRAM以及澜起公司第二代DDR5 MRDIMM接口芯片所生产的MRDIMM内存条实现了配套兼容性的验证。
SK 海力士在台积电北美技术论坛上展出，共有三款针对高端服务器市场的MRDIMM产品，其传输速度高达12800MT/s。这些产品包括：一款标准版型，基于1c nm DRAM技术，其容量最高可达64GB；另一款虽然采用传统板型，但基于较老制程，容量上限为96GB；而采用更高版型的产品，其容量上限更是可以提升至256GB。
国内企业已逐步开始在该技术领域进行布局。在众多企业中，澜起科技的进展尤为迅速。凭借前期精心的战略规划和持续不断的研发投入，澜起科技已于去年成功研发出时钟发生器芯片的量产版本。澜起科技更是全球仅有的两家能够提供第一代MRCD/MDB芯片的供应商之一，其产品MRDIMM也已经开始在行业内进行规模化的试用。然而，其他公司的进展相对较慢，例如德明利公司表示，目前尚未开始MRDIMM相关产品的研发布局，他们只是持续关注并探索新技术和新产品形态。
04MRDIMM与HBM或将在AI领域并存
第二子代MRDIMM的数据传输速度高达12800MT/s，这一速度相较于第一子代增长了45%，更是第三子代RDIMM（其支持速度为6400MT/s）的两倍。这样的性能提升无疑将显著增强系统效能。在那些对内存带宽有较高需求的高性能计算和人工智能等应用场景中，MRDIMM有望成为首选的主内存解决方案。此外，未来将会有更多服务器CPU平台加入对第二子代MRDIMM的支持行列，其中不乏ARM架构的CPU平台，这一举措将有助于丰富MRDIMM的生态系统，进而促进MRDIMM在行业中的普及率提高，并刺激MRCD/MDB芯片需求的增长。
与HBM相比，MRDIMM在容量更大、性价比更高以及扩展性更强等方面展现出明显优势。展望未来，这两种技术有望共同成为人工智能及高性能计算领域内存解决方案的主流，进而加速内存市场的创新步伐。不过，DRAM内存模组，包括DRAM和MRDIMM，它是服务器的主内存部分。这一部分与HBM的使用场景并不相同，各自拥有各自独立的市场领域。它们都将从AI产业的进步中获益，彼此之间并不存在竞争或相互替代的关系。
