DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

573次阅读
没有评论

DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

API同步降价5折起

编辑部 发自 凹非寺

量子位 | 公众号 QbitAI

刚发V3.1“最终版”,DeepSeek最新模型又来了!

DeepSeek-V3.2-Exp刚刚官宣上线,不仅引入了新的注意力机制——DeepSeek Sparse Attention

开源了更高效的TileLang版本GPU算子

DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

目前,官方App、网页端、小程序均已同步更新,同时还有API大减价:5折起

DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

这波DeepSeek国庆大礼包,属实有点惊喜了。

新注意力机制

DeepSeek-V3.2-Exp基于上周刚更新的DeepSeek-V3.1-Terminus打造,核心创新是引入了DeepSeek Sparse Attention(DSA)稀疏注意力机制

DSA首次实现了细粒度注意力机制,能在几乎不影响模型输出效果的前提下,实现长文本和推理效率大幅提升。

DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

与前不久更新的DeepSeek-V3.1-Terminus对比,在各领域公开测评集上,DeepSeek-V3.2-Exp和V3.1-Terminus基本持平。

V3.1-Terminus是在 DeepSeek-V3.1基础上的一个强化版本,在稳定性、工具调用能力、语言一致性、错误修正等方面进行迭代改进。

DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

另外,论文提到,使用DSA的模型在处理128K长上下文时,推理成本显著低于DeepSeek-V3.1-Terminus,尤其在解码阶段。

DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

TileLang & CUDA双版本算子开源

DeepSeek还表示,在新模型研发过程中,需要设计和实现很多新的GPU算子。

他们使用高级语言TileLang进行快速原型开发,并在最后阶段,以TileLang作为精度基线,逐步使用底层语言实现更高效的版本

因此,V3.2开源的主要算子包括TileLang和CUDA两种版本。

DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

官方还附上一句:

我们建议社区在进行研究性实验时,使用基于TileLang的版本以方便调试和快速迭代。

官方API的价格也顺势来了个5折起,新价格即刻生效。

这还等什么…朋友们国庆整起来吧。

指路↓

HuggingFace:
https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
ModelScope:
https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.2-Exp
论文:
https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf

One More Thing

除了DeepSeek-V3.2之外,据说智谱的GLM-4.6也在路上了。

DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

从下拉菜单可以看到,他们已经把GLM-4.5标成了“上一代旗舰模型”。

下午还刚在GitHub上刷到这张“国庆是休息日,请给我们关注的同学一点时间”的图:

DeepSeek新模型上线!引入DSA新稀疏注意力,还又狙了CUDA一枪

好好好,为了放假,都打算在节前卷了是吧(手动狗头)。

— 完 —

版权所有,未经授权不得以任何形式转载及使用,违者必究。

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 0
评论(没有评论)

文心AIGC

2025 年 9 月
1234567
891011121314
15161718192021
22232425262728
2930  
文心AIGC
文心AIGC
人工智能ChatGPT,AIGC指利用人工智能技术来生成内容,其中包括文字、语音、代码、图像、视频、机器人动作等等。被认为是继PGC、UGC之后的新型内容创作方式。AIGC作为元宇宙的新方向,近几年迭代速度呈现指数级爆发,谷歌、Meta、百度等平台型巨头持续布局
文章搜索
热门文章
最新评论
王光卫博客 王光卫博客 用户思维很有必要对用户进行数据分析
王光卫博客 王光卫博客 我们活得居然不如AI,唉
王光卫博客 王光卫博客 这又得开始存钱了
王光卫博客 王光卫博客 正在找能理解中国古汉语的AI :cry:
□惊叹号!! □惊叹号!! 可以领券
热评文章