| 廣告聯系 | 簡體版 | 手機版 | 微信 | 微博 | 搜索:
歡迎您 游客 | 登錄 | 免費注冊 | 忘記了密碼 | 社交賬號注冊或登錄

首頁

溫哥華資訊

溫哥華地產

溫哥華教育

溫哥華財稅

新移民/招聘

黃頁/二手

旅游

DeepSeek一句話讓中國芯片集體暴漲?


請用微信 掃一掃 掃描上面的二維碼,然後點擊頁面右上角的 ... 圖標,然後點擊 發送給朋友分享到朋友圈,謝謝!
這種塊級(而不是全張量級)的縮放,讓MXFP8既保留了8 bit位寬,又把可用動態范圍擴展了幾十倍。




△來源:英偉達技術博客


而這裡的“縮放因子”也是包含8個bit,其中包含符號位、指數位和尾數位,開發者可以自行將這8個bit分配給這三種不同的位。

其中符號位只區分有無,若有則占一個bit,無則不占用,而UE8M0中的U表示的就是無符號(有符號可表示為S或省略不寫)。

E和M則分別表示指數位和尾數位分配到的bit數,E8M0指的就是8個bit全都分配給了指數位。

其他常用的格式還有E4M3、E5M2(縮放引子外的本體部分也常采用這兩種)等,它們均包含符號位,其余7個bit在指數和尾數位之間分配。




DeepSeek之前開源的5.6k星標項目FP8 GEMM內核DeepGEMM就已經支持UE8M0,不過這個項目主要是適配英偉達芯片和CUDA生態。




那麼,采用這種全指數表示縮放因子的方式,有什麼好處呢?

首先,由於UE8M0不含尾數與符號位,處理器在根據縮放因子對數據進行復原時,只需要乘以對應的2的冪,也就是移動一下指數位,而不需要浮點乘法、規格化或舍入邏輯,縮短了時鍾關鍵路徑。

並且UE8M0的動態范圍覆蓋2^(−127)到2^128,其指數表可輕松容納這一跨度,為後續塊縮放提供充足空間。

另外UE8M0還能解決單尺度FP8無法同時顧及大/小值,導致溢出或被壓成0的問題,將UE8M0作為分塊的尺度後,錯誤率曲線從整張曲線下降到一條遠低水平的橫線,在保持8 bit張量精度的同時大幅減少信息損失。
覺得新聞不錯,請點個贊吧     這條新聞還沒有人評論喔,等著您的高見呢
注:
  • 新聞來源於其它媒體,內容不代表本站立場!
  • 在此頁閱讀全文
    猜您喜歡:
    您可能也喜歡:
    我來說兩句:
    評論:
    安全校驗碼:
    請在此處輸入圖片中的數字
    The Captcha image
    Terms & Conditions    Privacy Policy    Political ADs    Activities Agreement    Contact Us    Sitemap    

    加西網為北美中文網傳媒集團旗下網站

    頁面生成: 0.0567 秒 and 5 DB Queries in 0.0013 秒