| 广告联系 | 繁体版 | 手机版 | 微信 | 微博 | 搜索:
欢迎您 游客 | 登录 | 免费注册 | 忘记了密码 | 社交账号注册或登录

首页

温哥华资讯

温哥华地产

温哥华教育

温哥华财税

新移民/招聘

黄页/二手

旅游

DeepSeek一句话让中国芯片集体暴涨?

QR Code
请用微信 扫一扫 扫描上面的二维码,然后点击页面右上角的 ... 图标,然后点击 发送给朋友分享到朋友圈,谢谢!
这种块级(而不是全张量级)的缩放,让MXFP8既保留了8 bit位宽,又把可用动态范围扩展了几十倍。




△来源:英伟达技术博客


而这里的“缩放因子”也是包含8个bit,其中包含符号位、指数位和尾数位,开发者可以自行将这8个bit分配给这三种不同的位。

其中符号位只区分有无,若有则占一个bit,无则不占用,而UE8M0中的U表示的就是无符号(有符号可表示为S或省略不写)。

E和M则分别表示指数位和尾数位分配到的bit数,E8M0指的就是8个bit全都分配给了指数位。

其他常用的格式还有E4M3、E5M2(缩放引子外的本体部分也常采用这两种)等,它们均包含符号位,其余7个bit在指数和尾数位之间分配。




DeepSeek之前开源的5.6k星标项目FP8 GEMM内核DeepGEMM就已经支持UE8M0,不过这个项目主要是适配英伟达芯片和CUDA生态。




那么,采用这种全指数表示缩放因子的方式,有什么好处呢?

首先,由于UE8M0不含尾数与符号位,处理器在根据缩放因子对数据进行复原时,只需要乘以对应的2的幂,也就是移动一下指数位,而不需要浮点乘法、规格化或舍入逻辑,缩短了时钟关键路径。

并且UE8M0的动态范围覆盖2^(−127)到2^128,其指数表可轻松容纳这一跨度,为后续块缩放提供充足空间。

另外UE8M0还能解决单尺度FP8无法同时顾及大/小值,导致溢出或被压成0的问题,将UE8M0作为分块的尺度后,错误率曲线从整张曲线下降到一条远低水平的横线,在保持8 bit张量精度的同时大幅减少信息损失。
点个赞吧!您的鼓励让我们进步     无评论不新闻,发表一下您的意见吧
注:
  • 新闻来源于其它媒体,内容不代表本站立场!
  • 在此页阅读全文
    猜您喜欢:
    您可能也喜欢:
    我来说两句:
    评论:
    安全校验码:
    请在此处输入图片中的数字
    The Captcha image
    Terms & Conditions    Privacy Policy    Political ADs    Activities Agreement    Contact Us    Sitemap    

    加西网为北美中文网传媒集团旗下网站

    页面生成: 0.0304 秒 and 5 DB Queries in 0.0012 秒