内存分配技术发展（技术干货内存计算技术）

RRAM 是最常用的方法，因为通过将欧姆定律应用于一系列电阻器很容易使用，但它仍然存在依赖 RRAM 的问题。编程和电阻之间的关系是非线性的，这需要做更多的工作才能在 RRAM 存储器中为市场制作可行的计算电路。所以只是一个想法，具体方案还在研究中。

NOR闪存具有更传统的字线/位线结构。它既是电阻性的，也是电容性的。通常，存储单元是一个被开启或关闭的晶体管。但是，如果它是部分导电的，它可以用作电阻器。电阻取决于存储单元（电容器）的浮栅上的电荷量。一直运行时，电池将导通至其最大容量。在这个过程中，它根本不导通，但是，它可以被部分编程。有一个问题是你不能精确控制电子的数量。而且，对任何数字的响应都会随着工艺和温度等变量的变化而变化。

两家公司正在研究这种方法。由于收购了 SST，Microchip 拥有自己的 memBrain 阵列，而 Mythic 是一家初创公司，致力于使用闪存计算的推理引擎。两家公司都表示，他们正在使用广泛的校准技术来应对这种变化。

另一个问题是，闪存电池会随着时间的推移失去电子。电子会四处流动，这就引出了一个有趣的话题：在这种类型的内存阵列上，数据的保留和持久性会是怎样的。

从应用角度看，要看是用在云计算还是边缘推理引擎。在边缘，它可以在设备的整个生命周期中执行某些固定的推理功能。因此，如果有足够多的数组，那么您将首次加载权重并且不再需要对其进行编程（除非您进行更新），因为闪存是非易失性的。尽管您仍然需要移动激活，但无需移动权重，权重将永久存储在数组中。这表明数据耐久性（在累积损坏将电子泄漏加速到不可接受的水平之前可以对设备进行编程的次数）并不重要，它只需要编程一次。

相比之下，在云应用程序中，设备很可能作为通用计算资源共享，因此这需要为每个新应用程序重新编程。这意味着电池寿命在云中变得更加重要。Mythic 声称有 10K 的写入周期，并观察到即使每天重新编程，也能持续 10 年以上。

如果为它设置一个模拟值并在单元格中使用一个模拟值，那么理论上每个电子都很重要。但是，如果有足够的电子迁移，则需要刷新存储单元，或者以某种方式补偿电子变化。因为今天相同的模拟输入将产生与一年前不同的结果。校准电路还可以处理一些老化问题。然而，对于数据保留，Mythic 表示他们会定期更新存储在闪存中的重量值。这将使持久性成为主要的磨损机制，而不是数据保留。Microchip 表示其数据保留时间待定，但它可能会每季度或每年对设备进行重新编程以恢复设备。

所以他们需要大量高质量的ADC和DAC，才能将信噪比(SNR)保持在准确推理的范围内，这是设计工作的重点。Mythic 声称他们提供了一种新颖的 ADC，以便 Microchip 可以共享它以减少所需的数量。尽管 ADC 确实会消耗能量，但它也大大降低了整个系统的消耗。

这个想法来自普林斯顿大学 Hot Chips 的一次讲座。根据定义，SRAM 是一个双稳态单元。所以不能处于中间状态，这个应该怎么处理呢？而 DAC 和 ADC 在面积和功耗方面比阵列需要更正。

这个问题的重点归结为如何模拟的问题。他们解释说，这种方法使用不止一位线进行计算。由于单位仍然是数字值，因此需要几条位线来执行计算。位线可以分裂，不同的组进行不同的乘法。下图说明了这一点。

图 5. 位线

一次有 8 个输入，因此对输入向量进行切片，并进行几次连续的乘法运算，得到最终结果。位线电荷沉积在电容器上。准备好读取时，会读出电荷并将其发送到 ADC 以转换回数字域。它们的基本单元结构如下：

图 6. 位单元

这些电容器可能会影响芯片尺寸问题，但他们表示可以使用电池上方的金属。当然，一个单元现在比标准的 6T SRAM 单元大 80%（即使没有电容器），但他们说他们的整体电路仍然比基于标准数字实现所需的电路小得多。此外，由于它们的基本阵列操作仍然是数字形式，它们对噪声和变化不太敏感，这意味着它们的 ADC 可以更简单，功耗更低。

图 7. 芯片尺寸

这个想法是指不使用大量的功率来获取 DRAM 内容，并以某种方式将计算纳入 CPU 或其他计算结构中，并直接在 DRAM die 上运行，这就是 UPMEM 所做的。一个简单的处理器是建立在 DRAM 芯片上的，该架构也不会与 Xeon 芯片竞争，他们称之为“内存处理”或 PIM。

图 8. PIM 芯片

他们不是将数据带入计算，而是将计算带入数据。运行时由 DRAM 芯片中的 CPU 执行。也就是说，不需要将数据移动到DRAM芯片之外的任何位置，只需将计算结果发送回主机系统即可。此外，由于 ML 计算通常涉及大量缩减，因此计算所需的数据更少。尽管这确实需要对 DRAM 进行一些小的改动，但它们并没有改变制造工艺。在这种情况下，一个标准的 DRAM 模块将为分布式计算提供多种机会。同时，使用该函数编写程序也变得复杂。

他们说，使用 PIM 卸载的服务器将消耗两倍于连接到没有 PIM 的 DRAM 模块的标准服务器的功率。然而，凭借 20 倍的吞吐量，它仍然为他们提供了 10 倍的能效优势。此外，这种方法可以帮助防御侧信道安全攻击。因此，最初包含在一个或多个 CPU 中的一组计算线程流向 DRAM。因此，有必要检查所有 DRAM 并以某种方式找出线程在哪里，但这将是一项艰巨的任务。

人们早就认识到“内存墙”的问题，但为什么近两年才提出内存计算？因此，我们必须分析其上涨背后的推动力。

第一个动机是基于神经网络的人工智能的兴起，特别是希望人工智能可以在移动和嵌入式设备中普及。因此，具有高能效比的内存计算备受关注。此外，神经网络对计算精度的误差具有很高的容忍度。因此，内存计算的模拟计算中引入的错误通常是可以接受的。也就是说内存计算和人工智能是很好的合作伙伴。

第二个动机是新的记忆。对于内存计算，内存特性往往决定了内存计算的效率。因此，新的内存改进往往会推动内存计算的发展。例如，最近流行的 ReRAM 使用电阻调制来存储数据，因此每个位的读出使用电流信号而不是传统的电荷信号。如此一来，电流的累加是很自然的操作（直接将几条电流组合起来就可以实现电流的总和，甚至不需要额外的电路）。也就是说，ReRAM 非常适合内存计算。从内存提升的角度来看，新的内存也愿意追赶AT潮流。所以，

用于内存计算的芯片产品预计有两种形式。第一种形式是作为具有计算功能的内存IP出售的。这样的内存IP可以是传统的SRAM，也可以是eFlash、ReRAM、MRAM、PCM等新型内存。

第二种形式是直接基于内存计算构建AI加速芯片。例如，Mythic 计划制作基于闪存的 PCIe 加速卡，即通过 PCIe 接口与主 CPU 访问数据。重量数据存储在 Mythic 内存芯片上，这样当数据发送到 Mythic IPU 时，可以直接读出计算结果。这样就省去了读取权重数据的动作。

图 9. Mythic 是 Pcie 加速器

内存计算将对AI芯片市场产生怎样的影响？首先，我们看到内存计算使用的是模拟计算，所以它的精度会受到低信噪比的影响。通常精度上限在 8 位左右，只能进行定点计算，不能进行浮点计算。所以内存计算不适合对计算精度要求高的AI训练市场。也就是说，内存计算的主战场是AI推理市场。比如更适合嵌入式人工智能，对能效要求不高，精度要求不高。事实上，内存计算其实最适合需要大内存的场合。例如，在物联网和其他场景中固有地需要闪存，所以如果能把内存计算加到flash上​就很合适了。但是，在大型存储内存中引入内存计算可能并不合适。基于此分析，我们认为内存计算未来可能成为嵌入式人工智能（如智能物联网）的重要组成部分。

随着人工智能和新内存的兴起，内存计算也成为了新的热点。基于内存的独特特性，结合内存中的模拟计算，大大减少了AI中的内存读写操作。虽然内存中的计算精度受限于模拟计算，但它也适用于最追求能效的嵌入式AI应用，可以接受一定的精度损失。

关于内存计算技术的常见问题

1. 为什么我们需要内存计算？内存计算提供了超快的性能（快了数千倍）和永无止境的数据量规模，并简化了对越来越多的数据源的访问。

2. 记忆中是什么意思？与将数据存储在磁盘或 SSD 上的数据库相比，内存数据库是一种专门构建的数据库，主要依赖内存进行数据存储。... 由于所有数据都在主内存中专门存储和管理，因此存在因进程或服务器故障而丢失的风险。

3. 内存计算是如何工作的？内存计算意味着使用一种中间件软件，它允许将数据存储在 RAM 中，跨计算机集群，并并行处理。考虑通常存储在集中式数据库中的操作数据集，您现在可以将其存储在跨多台计算机的“连接”RAM 中。

4. SAP HANA 中的内存计算是什么？内存数据库意味着来自源系统的所有数据都存储在 RAM 内存中。在传统的数据库系统中，所有数据都存储在硬盘中。它可以更快地访问多核 CPU 的数据，以进行信息处理和分析。

5. 数据是如何存储在内存中的？通常，内存被描述为一种存储设施，可以通过使用地址来存储和检索数据。这是准确但不完整的。计算机内存是一种机制，如果您为其提供地址，它会为您提供您之前使用该地址存储的数据。

6.什么是内存数据处理？内存处理是对完全在计算机内存（例如，RAM）中的数据采取行动的做法。... 由于存储表现为一个大的、单一的 RAM 分配，因此可以一次处理大型数据集，而不是处理仅适合单台计算机 RAM 的数据集。

7.什么是内存数据库处理，它有什么优势？使用内存数据库的系统与传统数据库系统相比的主要优势是：它的性能速度。... 源数据以压缩格式加载到系统内存中。因此，内存处理减少了访问数据的磁盘寻道时间，并简化了处理查询所涉及的工作。

8.什么是大数据计算？大数据计算是一种新兴的多维信息挖掘数据科学范式，用于在大规模基础设施上进行科学发现和业务分析。... 大数据的特点是 5V，如数量、速度、多样性、准确性和价值。