DeepSeek-R1 背后关节——多头潜在看重力机制（MLA）开yun体育网，目下也能草率移植到其他模子了！

况兼只需原始数据的 0.3%~0.6%。

这项有计划由复旦大学、华东师范大学、上海 AI Lab 等筹谋建议，复旦汲引邱锡鹏（Moss 大模子技俩放心东说念主）也在作家名单之列。

他们建议了MHA2MLA这种数据高效的微调措施，使基于 MHA（多头看重力）的大讲话模子（LLMs）省略胜仗出动到 MLA 架构。

以 Llama2-7B 为例，MHA2MLA 在裁汰推理老本（如减少 KV 缓存大小 92.19%）的同期，能将性能亏本戒指在较小范围（如 LongBench 性能仅着落 0.5%）。

具体咋回事，底下咱们接着看。

掌捏 DeepSeek 中枢诀要

多头看重力 MHA（Multi-Head Attention）是 Transformer 架构中的一个中枢组件，允许模子同期关爱输入的不同部分，每个看重力头王人零丁时学习输入序列中的不同特征。

可是，跟着序列长度的增长，键值（Key-Value，KV）缓存的大小也会线性增多，这给模子带来了权贵的内存包袱。

为了惩办 MHA 在高狡计老本和 KV 缓存方面的局限性，DeepSeek 构陷性地引入了多头潜在看重力机制 MLA。

绵薄说，MLA 最大鼎新之处在于：

讹诈低秩筹谋压缩键值时期，减少了推理时的 KV 缓存，从而在保持性能的同期权贵裁汰内存占用。

这一时期也被视为 DeepSeek-V3、DeepSeek-R1 等当红炸子鸡模子背后的关节。

而目下，为了进一步裁汰其他 LLMs 的推理老本，有计划东说念主员开荒了一种能将选拔 MHA 的模子快速适配 MLA 架构的措施——MHA2MLA。

这一数据微调措施包含两个关节部分：

partial-RoPE，即从对看重力分数孝顺较小的查询和键的维度中移除旋转位置镶嵌（RoPE）；

低秩肖似，基于预训练的键和值参数引入筹谋奇异值领悟（SVD）肖似。

先说第一个。Transformer 架构中，RoPE（旋转位置编码，Rotary Position Embedding )   通过旋转操作将位置信息融入查询向量 Q 和键向量 K ，匡助模子捕捉序诸君置联系。

但有计划发现，在狡计看重力分数时，并非通盘维度的 RoPE 对后果孝顺换取。

换句话说，即使去除那些对看重力分数影响较小的部分维度的 RoPE，表面上不会对模子浮现高下文的才能形成关节影响。

基于此，有计划东说念主员通过狡计敏锐度方向来细目哪些维度的 RoPE 孝顺较小。

具体而言，关于每个维度，狡计 RoPE 变化时看重力分数的变化经由。一朝变化经由低于特定阈值的维度，即被判定为对看重力分数孝顺小。在后续狡计中，这些维度将不再应用 RoPE。

最终实考讲明，partial-RoPE 这一政策在不权贵影响模子性能的前提下，减少了狡计量。

再说低秩肖似政策。

该措施基于预训练的键和值参数，引入筹谋奇异值领悟（SVD）肖似。

SVD 是一种矩阵领悟时期，通过对键值矩阵进行 SVD 领悟，不错用低秩矩阵肖似原始矩阵，从而减少参数数目。

具体终了中，有计划东说念主员领先索要预训练模子中的键和值参数矩阵，对这些矩阵进行筹谋 SVD 领悟；然后左证模子的性能和压缩需求，构建低秩肖似矩阵，用这些低秩肖似矩阵替代原始的键值矩阵参与后续狡计。

最终后果涌现，此举有用裁汰了模子推理时的狡计量和内存占用。

性能真的不变，将 Llama2 KV 缓存减少 90% 以上

实际措施也考证了 MHA2MLA 措施的有用性。

能在权贵裁汰推理老本的同期，保持致使进步模子性能。

有计划东说念主员选取了用 MHA 或 GQA 事前训练的不同畛域（135M-7B）的 LLMs，然后树立了对照组。

一组是基于传统 MHA 的原始模子，用于顺利对比 MHA2MLA 措施在换取任务和数据集上的性能发扬；另一组是选拔分组查询看重力（GQA）的模子，GQA 看成 MHA 的变体，在一定经由上优化了狡计老本，将其与 MHA2MLA 对比，能更昭彰地展现 MHA2MLA 的上风。

在评估其学问性推理才能的六个基准测试中，有计划发现：

与原始 LLMs 性能比较，四个基础模子的性能变化极小，135M 模子性能着落 0.25%，360M、1B7 和 7B 模子辞别有 0.03% 、0.03% 和 0.37% 的性能进步或保持。

这标明微调数据未权贵影响原模子性能，MHA2MLA 能有用终了架构搬动，况兼微调数据仅需预训练数据的 0.3%-0.6%。

致使，较大模子在出动到 MLA 架构时性能着落更少，这确认这一措施对畛域更大的模子更有用。

此外，在长文本生成才能评估中，以 LongBench 为基准，MHA2MLA 比较训练后量化措施，在压缩率和精度均衡上发扬出色。

当 dkv=16 时，MHA2MLA 可终了 87.5% 的压缩率，精度亏本仅 3%；与 4-bit 量化联接后，压缩率可达 92.19%（dkv=64 + Int4HQQ）和 96.87%（dkv=16 + Int4HQQ），精度亏本辞别为 -0.5% 和 -3.2%，优于通盘 2-bit 量化的基线模子。

这也反应了 MHA2MLA 措施省略与量化时期细致兼容。

空洞以上实际，不错看到以 Llama2-7B 为例，MHA2MLA 在裁汰推理老本（如减少 KV 缓存大小 92.19%）的同期，能将性能亏本戒指在较小范围（如 LongBench 性能仅着落 0.5%）。

不外，论文也提到了有计划局限性。

受狡计资源截止，未在更大、更种种化的开源大讲话模子上考证 MHA2MLA；且由于 Deepseek 未开源 MLA 的张量并行推理框架，难以探索大于 7B 的模子。

下一步，有计划东说念主员计算在更多模子上进行考证。

感酷好的童鞋不错检察原论文 ~

论文：

https://arxiv.org/abs/2502.14837

代码：

https://github.com/JT-Ushio/MHA2MLA开yun体育网