一方面，由于“存储-计算分离”的机制，数据需要在存储器与计算单元之间频繁传输，这也就使得大量资源在数据传输过程中被浪费。英特尔的研究指出，当半导体工艺达到7纳米级别时，数据传输的功耗高达35皮焦耳每比特，这一比例占据了总功耗的63.7%。数据传输过程中产生的能耗损失日益加剧，这一现象制约了芯片进步的步伐与效能，进而催生了所谓的“功耗瓶颈”问题。
另一方面，在过去的二十年里，设备的计算能力实现了十万倍的飞跃，存储设备的存储容量也大幅增加，然而，通信带宽的增长却仅有三十倍，这极大地制约了计算效率的提升。这就像两个原本相邻的小村庄迅速发展成为繁华的大都市，但连接两地的道路却仅仅从一条车道拓宽至两条车道，这对两地之间的物流和人流造成了极大的阻碍。
在上述背景下，众多科研工作者及行业工程师们着手开拓新的研究方向，致力于攻克“存储瓶颈”与“能耗限制”难题，减少因不必要数据迁移而产生的成本，并努力提高计算效能。存算一体技术，即Processing-In-Memory或Compute-in-Memory，是在这一背景下应运而生的。它的核心思想是在存储器本身或其周边区域进行计算，从而突破传统“计算—存储—传输”过程中的瓶颈。
业界对存算一体的首次尝试始于上世纪90年代，当时加州大学伯克利分校的IRAM团队与伊利诺伊大学的FlexRAM团队等，基于DRAM/Flash等传统存储器技术，开展了“近存计算”的实验。然而，由于工艺和集成度的限制，这些尝试并未在业界产生深远的影响。2015年左右，摩尔定律即将走到尽头，微缩化与制程技术的提升变得越来越困难。在此背景下，一度被搁置的存算一体技术重新引起了广泛关注。此外，新型存储器的出现也为存算一体技术的发展带来了新的机遇。2017年，在微处理器领域的顶级会议上，英伟达、英特尔、微软、三星以及加州大学圣塔芭芭拉分校等机构纷纷展示了他们的存算一体系统原型。
近年来，在存算一体芯片的研究领域，已取得显著成就。众多知名企业如IBM、三星、SK海力士等传统半导体巨头，以及学术机构如斯坦福大学、普林斯顿大学，以及我国清华大学、北京大学和中国科学院微电子研究所等，均位于世界研究前沿。在众多研究团队的共同努力下，存算一体技术正从基础研究向产业化阶段稳步过渡。
2021年年末，达摩院成功研制出全球首颗采用DRAM技术的3D键合堆叠式存算一体AI芯片，该芯片在特定AI应用场景下，性能实现了超过10倍的提升，能效比更是提高了300倍。进入2022年，SK海力士推出了基于PIM技术的首款产品——GDDR6-AiM的样品。三星推出的HBM3 Icebolt技术运用了近存计算架构，借助12层10nm级动态随机存储器的叠加，成功达到了6.4Gbps的处理速度以及819GB/s的带宽水平。在2023年，后摩智能推出了我国首颗集存储与计算于一体的智能驾驶芯片鸿途™H30，该芯片在功耗仅为35W的前提下，其最高物理算力能够达到256TOPS。
啃下一块“硬骨头”
尽管存算一体技术被看作是继CPU、GPU架构之后的算力架构“第三股力量”，然而，它在现实应用中仍面临诸多挑战，而且其适用的场景和范围相对较为狭窄。
北京航空航天大学集成电路科学与工程学院的康旺、寇竞、赵巍胜在论文《存算一体芯片发展现状、趋势与挑战》中指出，在终端设备方面，关键在于实现多模态信息的极低能耗处理。目前，感存算一体芯片的设计方案多聚焦于单一模态（例如听觉、视觉、触觉等）的信号处理，然而，智能体对环境的感知与判断通常需要综合多模态数据进行分析。
相较于仅针对特定场景的单模态数据操作，多模态信息处理需应对数据整合、算法构建、计算能力、数据标记、应用兼容以及隐私保护等多重复杂难题，尤其是智能驾驶和智能安防等领域，对数据处理的时效性要求尤为严格。
在数据处理的流程中，排序算法扮演着至关重要的角色，它能够高效地对大量候选内容进行排序，筛选出最为相关的部分进行处理。在诸如大语言模型的训练、机器人路径规划以及强化学习搜索等众多应用场景中，对多个决策或行动的优劣进行快速评估并加以排序，这一步骤不仅是不可或缺的，而且往往耗时颇多。然而，排序过程面临诸多挑战，如逻辑上复杂、操作上非线性、数据访问的不规律性，以及缺乏普遍适用且高效的硬件排序工具等。这些障碍使得国际主流的存算一体架构在处理大数据排序问题上束手无策，进而使得其实际应用范围受限，仅限于特定场景。同时，这也对人工智能计算硬件的下一代发展造成了一定的限制。
北京大学集成电路学院人工智能研究院的陶耀宇研究员在接受芯师爷等媒体的访问时指出，排序问题之所以在CIM技术发展中一直难以攻克，根本原因在于其具有“非结构化”和“控制密集”的计算特点，这一点与目前以内存内线性加速为核心理念的PIM设计理念之间存在着本质上的冲突。若成功破解排序在存算一体技术中的关键障碍，这不仅代表着一个工程挑战的胜利，同时也标志着CIM向通用智能计算平台的转变迈出了重要的一步。
面对这个难题，全球众多科研机构正积极探索解决方案，其中不乏北京大学的研究团队。近期，该团队在该领域取得了显著进展，成功实现了国际上首个基于存算一体技术的高效排序硬件架构。这表明，北京大学的研究团队成功攻克了传统计算架构在处理复杂非线性排序任务时效率低下的难题，从而为增强现实智能、大型语言模型、自动驾驶、智能交通系统以及智慧城市建设等领域提供了更加高效的计算能力支撑。
排序计算在人工智能领域极为常见、应用广泛、基础性强，且处理难度极高。这一关键问题的解决，标志着存算一体技术从仅适用于特定应用，迈向了能够支持更广泛通用计算的新阶段。此举为人工智能相关任务提供了全链条的底层硬件架构支撑。北京大学人工智能研究院的陶耀宇研究员，作为论文的通讯作者，如是阐述。
该成果系北京大学集成电路学院的杨玉超教授及其人工智能研究院的陶耀宇研究员带领的团队所取得，并已成功在国际顶尖学术期刊《自然∙电子》上予以发表。
据调查，科研团队致力于解决排序难题，他们以“数据现场排序”为首要原则，成功在存算融合的架构中解决了众多技术难关，显著提高了排序的效率和能源利用率。这一成果的四大主要突破包括：
首先，成功研发了一套基于创新存内阵列结构的高效并行比较技术；其次，创新性地运用了“忆阻器阵列”，打造了低延迟且多通道的硬件级并行排序电路；再者，在算法与架构协同方面，针对人工智能任务进行了优化，并确保了对现有矩阵计算的兼容性；最后，实现了从器件到电路再到系统级别的完全自主技术栈集成。
北京大学集成电路学院博士生、论文的首位作者余连风指出，排序过程主要涉及比较操作，这要求精确执行“条件判定”与“数据转移”两个步骤。在涉及复杂应用场景时，还需对众多因素的优先级进行细致的比较，故而排序的算法逻辑显得尤为繁复。在进行常规排序流程时，必须构建能够执行多级‘比较-选择’功能的比较器模块，然而，传统的存算一体结构主要针对‘乘加’、‘累加’等基础运算，对于此类复杂的计算任务难以胜任。为此，我们团队的研究成果成功攻克了这一挑战，并创新性地提出了一种无需比较器的存算一体排序架构设计。
科研团队实测数据显示，该硬件方案在典型排序任务上的速度提升了超过15倍，面积效率更是提升了超过32倍，显示出处理百万级数据元素排序任务的强大并行处理能力，且功耗仅为传统CPU或GPU处理器的十分之一。在人工智能推理领域，该方案在动态稀疏度条件下，推理响应速度可提升70%以上，尤其适合那些对实时性要求极高的任务环境。
存算一体芯片成功突破了排序与信息处理的难题，其应用范围广泛，涵盖了人工智能和元宇宙计算等多个领域，例如可穿戴设备、移动设备、智能驾驶以及数据中心等。陶耀宇研究员指出，根据初步的评估，若这项技术能在智能终端、工业控制、数据中心等关键应用场景中得到普及，那么在边缘AI芯片市场中就能产生数百亿的年产值，显著增强传统算力系统的效能。尤为关键的是，在社会各个领域，这项技术有望促进新一代智慧交通、智慧医疗、智能制造以及数字政府系统的更加高效运作，充分挖掘数据潜力，从而助力新型生产力的生成。
值得一提的是，在产业发展的经济价值之外，北京大学团队在存算一体芯片领域的突破还具有重大的战略意义。该科研团队指出，这一成果不仅代表了技术层面的重大突破，还成功攻克了存算一体化排序加速这一“硬骨头”难题，实现了面向人工智能基础操作的硬件加速领域的突破，为我国建设科技强国、实现高水平科技自立自强提供了新的算力支撑。
此前，北京航空航天大学集成电路科学与工程学院的康旺、寇竞、赵巍胜在发表的论文《存算一体芯片发展现状、趋势与挑战》中，强调了发展此类芯片对于我国具有极为重要的战略价值。文中提到，首先，存算一体芯片凭借其架构上的创新，成功突破了当前CPU与GPU所面临的“存储墙”和“功耗墙”两大瓶颈，预示着它有望成为后摩尔时代芯片技术发展的主流趋势；其次，借助存算一体计算架构与先进封装集成技术的协同进步，我们能够在一定程度上绕开国外在先进工艺封装方面的领先优势。现有研究表明，在28nm工艺水平上，存算一体芯片的性能已经能够与7nm数字芯片相媲美。鉴于此，我国若要突破国外对先进工艺的封锁，实现芯片产业的“弯道超车”，发展存算一体芯片至关重要。此外，值得注意的是，截至目前，全球范围内尚未形成统一且完善的存算一体芯片产业体系和技术路线。因此，抓住存算一体芯片的先机，我们应积极促进存算一体技术及新型存储器相关技术的研发进程，在理论、材料、工艺、架构、电路等多个领域实现关键性的突破和革命性的进步。这样做将有助于我国打破现有的算力瓶颈和来自外部的商业限制，抢占人工智能算力领域的制高点，为人工智能技术的新一轮革命奠定坚实的算力基础。
参考资料：
北京航空航天大学下属的集成电路科学与工程学院，其研究成果涉及《关于存算一体芯片的当前发展状况、未来走向及所面临难题》的探讨。
