计算机行业定期报告:Deepseek发布全新注意力机制NSA
股票资讯
阅读:2
2025-02-23 17:12:19
评论:0
投资要点:
Deepseek发布全新注意力机制NSA
NSA(硬件优化稀疏注意力机制)由Deepseek、北京大学和华盛顿大学联合提出,旨在解决传统注意力机制在长上下文、多轮对话等场景下的性能瓶颈。其创新性在于通过**三并行分支架构**(Token压缩、Token选择、滑动窗口)结合可学习门控机制,动态平衡全局与局部注意力:压缩分支粗粒度捕捉全局信息,选择分支筛选关键稀疏单元以减少计算量,滑动窗口则保留局部语法与语义连贯性;硬件层面基于Triton框架优化内存访问,通过组共享KV数据、高带宽HBM与片上SRAM协同计算,显著提升稀疏计算效率。该技术实现了推理速度与精度的平衡,适用于大语言模型加速、长文档理解等需要高效长程依赖建模的场景。
本周AI数据更新:
海外应用看,20250214-20250220期间,Chatgpt下载量逐步回升,Gemini、Perplexity和Claude整体保持稳定。
国内应用看,20250214-20250220期间,Deepseek下载量稍有回落,Kimi、通义、星火、文心一言整体保持稳定,腾讯元宝接入Deepseek后下载量显著提升,现已超过30万次/日。
风险提示
市场需求不及预期,人工智能技术发展不及预期,政策发布不及预期等。
声明
本站内容源自互联网,如有内容侵犯了您的权益,请联系删除相关内容。 本站不提供任何金融服务,站内链接均来自开放网络,本站力求但不保证数据的完全准确,由此引起的一切法律责任均与本站无关,请自行识别判断,谨慎投资。