Cache结构的低功耗可重构技术研究

1 Cache低功耗相关研究
    Cache平均访问功耗是Cache性能表现的一个重要因素。Cache平均访问功耗由Cache命中时的访问功耗、失效时的访问功耗和失效率三者决定。失效时的访问功耗又包括两部分：一部分是Cache失效时Cache电路的功耗，另一部分则是下一级存储系统的访问功耗。因此降低Cache功耗可以从三个方面考虑：一是降低Cache的失效率，二是降低Cache访问能量，三是降低主存访问能量。
    为了达到低功耗的目的，对Cache结构做了一些改进：Phase—lookup Cache结构，应用两级查询的机制，即先访问tag array，只有命中的那一路data才会在第二相去访问，这样就降低了组相联Cache中数据array部分的功耗，但增加了Cache访问的时间；Way predictive组相联Cache结构，在默认情况下只访问一个tag array和一个data array，只有在默认访问失效时才会去访问其他的tag和data array，这种方法也以增加Cache访问时间的代价来换取低功耗；伪组相联Cache结构，是具有多个命中时间的Cache结构，Cache中的每一路可以被顺序读取，从而可以比传统的同时读取结构节省一部分功耗；另外还有基于压缩方法方面的研究，针对高频值的局部性，在读写Cache的过程中，对高频出现的数据值进行压缩存储，用较少存储空间保存编码后的数据，在一定程度上减少了Cache的访问功耗。
    低功耗可重构的Cache研究在最近几年得到关注，通过改变Cache的结构参数，不管是用硬件实现还是用软件实现，针对不同的程序来配置优化的Cache结构，尽可能地关闭不使用的Cache，兼顾了系统的性能和功耗。Cache的结构参数很多，主要的参数有容量大小、相联度、块大小、替换算法、写回策略等。一般而言，系统中的Cache替换算法和写策略是固定的，如果改变也可以在软件层面上实现。所以主要关注Cache的硬件结构是否可重构，仅研究其中几个参数(如Cache容量、块大小和相联度)对访问功耗的影响。在设计芯片之前可以使用CAD工具来确定对命中时间和功耗的影响。CACTI程序是一个可以评估CMOS微处理器各种Cache结构访问时间和功耗的CAD工具。对于一个给定的最小特征值，可以改变Cache容量、相联度和读／写端口的数目，以估计各种情况的Cache命中时间和功耗。可重构Cache结构需要综合考虑Cache的命中率、平均访问时间和访问能量等性能，合理选择Cache的配置参数。

2 可重构Cache的体系结构
    要实现可重构Cache，首先Cache的结构要支持运行过程中的动态划分，其次要有检测Cache命中率的硬件或者软件机制，并且有相应的动态配置算法。
2．1 可重构Cache系统设计
    文献提出了一种可重构的数据Cache结构。该Cache的数据区被平均分为4个子分区(subarray)，每个子分区又分为4组。在Cache访问时，只有一个子分区打开，其他子分区的线路不被激活，从而节省了功耗。图1给出了整个Cache体系结构及功能模块。

    与传统Cache结构相比，图1中增加了Cache配置动态选择器(Cache Configuration Dynamic Selector， CCDS)，CCDS用来更新内部状态机，并决定合适的Cache配置。通过配置CCDS，可以使整个子阵列无效，或者使有效子阵列中的某些路无效。对于无效的子阵列或者路，局部自选线(Local Word Line)、预充电(Precharge)和读出放大器(Sense Amplifier)都无激励。通过这些改进使得传统的固定划分的Cache具备了动态配置能力。
    改进后的Cache外在表现为一个虚拟的两级Cache：Ll／L2。这种分级方式同传统的L1／L2两级Cache结构不同，L1 Cache由激活的不同子分区以及子分区内不同的路数构成，未激活的部分为L2，在L1未命中时激活以进行访问，L1和L2在物理实现上表现为同一级。Cache的地址划分仍为三部分：标志位、索引位和块内地址。图2给出了Cache的地址划分情况，可分为块地址(Block Address)和块内偏移(Block offset)。块地址可以进一步分为标志字段(Tag)和索引字段(Index)。其中Tag的后两位SS用来做子分区的选择位。访问Cache时，首先访问L1，当L1命中时就直接返回，只有在L1访问失效时才会将所有数据区打开。对不同的应用程序，L1和L2大小的划分不同，其访闽时间和运行功耗也会有较大差异。

2．2 动态重构算法
    在程序运行过程中，通过软件监测自动选择优化的Cache结构。一般采用启发式算法，即根据程序过去执行的状况预测未来的运行情况，并为其配置相应的优化结构。重构流程是：在程序运行的时候，CPU按固定的时间间隔检查一系列的硬件计数器；这些计数器记录上一时间段内的Cache缺失率和分支跳转的发生频率，如果改变的程度超过设定阈值则进入重构过程，否则程序继续运行。
    图3是可重构算法的状态图。RESET为程序开始运行时的初始状态；UNSTABLE为非稳定状态，该状态下进行结构的搜索与重构；STABLE为选择好优化的Cache结构进入稳定运行的状态；TRANSl，TRANS2为状态相互切换时的中间状态。图4是在UNSTABLE状态下的搜索流程。首先根据统计将各种配置的Cache结构按照失效率进行排序。进入重构搜索状态后，如果引起重构的原因是失效率的上升，则沿着排序表开始，朝失效率降低的方向依次搜索新的Cache结构。如果引起重构的原因是程序分支频率的改变，则需要搜索所有的Cache结构。

2．3 可重构Cache中问题
    (1)数据重名问题
    Cache中的数据重名问题是指主存中同一地址的数据同时出现在Cache中两个不同的位置。实地址Cache中本来不存在数字重名问题，但引入可重构概念的同时，也带来了数据重名问题。解决这一问题的简单办法是在Cache重构的时候让Cache中的内容全部无效，需要写回的内容都进行写回。但这样会导致Cache性能下降，特别是在Cache重构比较频繁的时候。但是如果动态重构的指令片段较大，则影响比较小。
    (2)映射错误问题
    Cache在重构时，其组数量会变化，从而导致需要比较的Tag位的数量也发生变化，这会导致映射错误的出现。为了保证处于任何一种状态的时候都有足够的Tag来做比较，按照Tag位最长的一种配置来保存Cache地址结构，也就是组数量最少的情况。这样做虽然会增加一些无用的比较，但却能避免刷新Cache带来的性能损失。

结 论
    本文在传统Cache结构的基础上分析了一种可重构Cache的体系结构及其动态重构的配置算法，指出了可重构Cache可能会遇到的问题。通过对传统Cache结构的改进，在嵌入式处理器上实现Cache可重构技术，这对嵌入式处理器的存储器体系结构功耗优化有着重要意义。可重构Cache的设计方法具有非常好的低功耗潜力，也是目前计算机体系结构方面的研究热点之一。