完整正文查看文章目录
云能资讯
FULL ARTICLE

完整正文和相关阅读同页呈现。

阅读方式
单栏正文
顺序
标题、正文、相关文章
云能资讯 · 资料整理

美光研究的近 GPU NAND 闪存技术,旨在提升 AI 模型处理能力

美光正在研究一种名为“近 GPU NAND”的高耐久性 NAND 闪存模块,计划将其部署在靠近 GPU 的位置。该方案允许 GPU 直接访问数百 GB 的存储池,有望解决大型语言模型(LLM)推理受限于显存容量的问题,并为处理非低延迟/高带宽工作负载提供折中方案。

云能资讯 · 资料整理

美光正在研究一种将 NAND 闪存进一步靠近 GPU 的技术,这种产品被称为“近 GPU NAND”。该技术的应用目标是支撑更大规模的 AI 模型运行。具体而言,此项研究旨在解决存储密度和耐久性之间的权衡问题。

从功能定位上看,这种“近 GPU NAND”可被视为位于显存和普通存储之间的一个高速缓冲层。它特别适合用于运行更大规模的 AI 大语言模型(LLM)。该方案的核心优势在于其部署方式:它可以让 GPU 直接访问一个包含数百 GB 的 NAND 存储池,而这个存储池可以直接放置在 GPU 封装内部或 PCB 上,其工作机制类似于 HBM 或 GDDR7 等现有高速内存解决方案。

这种架构的引入,预示着大型语言模型(LLM)推理过程将不再仅仅受限于显存本身的容量限制。这为AI计算领域提供了一个新的扩展维度,即通过增加可直接访问的高速存储池来支持更庞大的模型运行。

在技术特性上,与传统的 TLC 或 QLC NAND 相比,“近 GPU NAND”的重点并非追求最高的存储密度,而是着重于提升其I/O速度和带宽。这表明该模块的设计目标是优化数据传输效率,以满足AI工作负载对吞吐量的要求。

从技术实现的角度看,美光正在研究高耐久性 NAND 闪存模块,并计划将其部署在距离 GPU 更近的位置。这种物理上的靠近,极大地缩短了数据访问路径,从而提升了整体系统的性能潜力。

该方案的适用范围被界定为处理非低延迟/高带宽工作负载的场景,这提供了一个比纯粹依赖超高速显存更具弹性的存储扩展选项。它在系统架构中扮演了关键的中间层角色。

背景分析方面,随着AI模型规模的持续增大,对内存和存储容量的需求呈指数级增长。传统的计算架构往往需要在极高的带宽(如HBM)和巨大的低成本存储(如DRAM/NAND)之间进行取舍。“近 GPU NAND”正是试图在这一鸿沟中找到一个可行的折衷点。

时间线方面,目前公开资料显示美光正在研究此项技术。虽然具体的商业化时间表尚未给出,但其概念的提出和研究进展本身就标志着存储计算一体化领域的一个重要探索方向。

读者提示:对于关注AI硬件架构的专业人士而言,理解“近 GPU NAND”如何改变了模型推理的瓶颈点至关重要。它代表了一种从单纯堆叠带宽到优化数据层级访问的新思路。

信息来源

本文基于上述公开资料整理,未使用来源页面的图片、视频或嵌入媒体。