DeepSeek发布创新注意力机制NSA，继续推荐AI软件应用

股海方舟 / 02月18日 23:48 发布

DeepSeek 发布新论文，提出了新的注意力机制 ——NSA（Native Sparse Attention），是一种面向硬件且支持原生训练的稀疏注意力机制，专为超快长上下文训练与推理设计。

NSA架构在通用基准测试中达到了全注意力的性能，长上下文评估中的建模能力更胜一筹，推理能力得到增强，同时计算延迟显著降低，在64K长文本场景下，NSA实现解码速度提升11.6倍、前向传播9倍加速、反向传播6倍加速。

我们此前提出AI应用规模化的两大基石——降本&降延时，如今均迎来重大突破，DeepSeek让大模型部署和推理成本下降了一个数量级，此次提出的NSA架构将让大模型的推理速度提升一个数量级。AI应用或将迎来全面爆发的黄金时代，我们继续推荐AI软件应用。

相关标的：用友网络、金蝶国际、虹软科技、新致软件、迈富时、鼎捷数智、合合信息、软通动力、金山办公、博思软件、顶点软件

。

（【西部计算机】DeepSeek发布创新注意力机制NSA，推理速度大幅提高）

赞(11) | 评论 (13) 02月18日 23:48 来自网站举报

取消发布

推荐关注更多