SK 海力士把目光投向了H3存储技术。他们想把HBM和HBF的优势给组合起来，以此提高AI推理的能效。为了实现这个目标，SK海力士给HBM和HBF做了差异化的安排：把HBF当成HBM的二级扩展，用它来存储只读数据，剩下的才交给HBM。这个设计能同时增加带宽和容量，给大规模的LLM推理提供了高效的方案。 具体到硬件结构上，SK海力士把GPU和HBM的Base Die给连在了一起。HBM的Base Die内部集成了控制器，还加上了一个延迟隐藏缓冲，负责处理和HBF系统之间的交互。这个缓冲让HBF的读写延迟得到了缓解，进一步提升了整体的访问速度。 H3架构最适合处理那些只读数据量特别大的场景，比如LLM推理中用的共享预计算键值缓存。测试结果显示，用了H3之后，单位功耗的吞吐量提高了2.69倍，明显比单纯用HBM划算得多。IT之家方面给出的数据也证明了这一点：和传统的系统相比，H3在处理海量只读数据时的成本效益特别高。SK海力士这次提出的混合存储架构，为AI算力时代的发展提供了一种新的思路。