| 廣告聯系 | 簡體版 | 手機版 | 微信 | 微博 | 搜索:
歡迎您 游客 | 登錄 | 免費注冊 | 忘記了密碼 | 社交賬號注冊或登錄

首頁

溫哥華資訊

溫哥華地產

溫哥華教育

溫哥華財稅

新移民/招聘

黃頁/二手

旅游

OpenAI塌房!Scaling law原作曝bug 萬億算力白燒


請用微信 掃一掃 掃描上面的二維碼,然後點擊頁面右上角的 ... 圖標,然後點擊 發送給朋友分享到朋友圈,謝謝!
DeepMind研究員深夜爆料:OpenAI的Scaling Law原始論文竟有致命bug!全球AI白白燒掉萬億算力,GPT-3其實嚴重「虛胖」。


OpenAI誤導了整個AI圈好幾年!

過去五年,整個AI行業都被Scaling Law推著往前沖。


奧特曼堅信AGI的底氣就來自這條曲線。

現在,有人站出來說:這條曲線,一開始就錯了。

不是事後諸葛。說這話的,是當年就在OpenAI做大模型優化的研究員Diogo Almeida。

剛剛,他發出一篇博客,標題冷得發指——《Scaling Laws, Honestly》。

開頭一句直接把話說死:最初那版scaling law是錯的,因為存在一個bug。



傳送門:https://www.completeskeptic.com/p/scaling-laws-honestly


DeepMind那位以擴散模型封神的Sander Dieleman,轉頭就在推特上把它頂了上去,說這是一段有意思的LLM往事:

原始scaling law因為一個bug而錯了,大概率害得業界在一堆「體量過大、訓練不足」的模型上,白白燒掉了海量算力。




一個bug,燒掉兩年。

當bug被撕開,我們看到的,不僅是算力的黑洞,更是一條被語言本身重塑的、遠比想象中更深刻的智能邊界。



Scaling Law竟是LLM版「地心說」

2020年,OpenAI給出結論:在固定的算力預算下,你應該優先把模型做大,而不是拿更多數據去喂它。

用公式說,最優參數量正比於算力的0.73次方——參數,是那個更該猛沖的變量。
1     已經有 1 人參與評論了, 我也來說幾句吧
上一頁123456下一頁
注:
  • 新聞來源於其它媒體,內容不代表本站立場!
  • 在此頁閱讀全文
    猜您喜歡:
    您可能也喜歡:
    共有 1 人參與評論    (其它新聞評論)
    評論1 游客 [辛.香.氏.說] 2026-07-05 11:09
    They are using the worst efficient and laziest ways to build AI ecosystems by pouring huge investments on computing capacities. That was not creative but was making it bigger by piling up high performance chips. Of course, that worked for a while but could not last long. At the end of the day, investments must be paid by revenues with profits. Lots of investments have rushed into AI infrastructures by far but now warning calls become louder than ever for AI sustainability.
    上一頁1下一頁
    我來說兩句:
    評論:
    安全校驗碼:
    請在此處輸入圖片中的數字
    The Captcha image
      大家正在圍觀
    列治文沉船 失聯華人船長家人發聲
    52歲蘇有朋給所有男星提了個醒:臉
    西溫"樹沒了"事件 豪宅區鄰裡大戰
    正式官宣!霍啟山傳喜訊,讓香港四
    大溫重大利好 聯邦百億投向這港口
    大溫警方開槍擊斃熊媽媽 引發眾怒
    BC這工作時薪大漲55% 正招聘40人
    昨晚大溫夜空又開掛了!北極光刷屏
    雖敗猶榮!加國男足止步世界杯16強
    男子釣魚被它咬一口 結果差點喪命
      同類熱門新聞
    斯坦福AI時代:我的同學,ChatGPT
    拒絕上學門診:那些被當作問題"解
    高考699分女孩報清華卻被網暴,到
    蔣方舟:請清華教授停止對我的網暴
    被推著去"賽課"的年輕老師,獲得一
    15分鍾一局的王者榮耀,成了數學博
    OpenAI塌房!Scaling law原作曝bug
    網紅直播時被警方當場帶走!國際大
    六常委同調做一事 王滬寧學習兩次
    拯救無數人的著名心理治療師,自殺
      隨時閱讀新聞

    加西網微信

    大溫優惠小紅書

    溫哥華地產中心微信

    Android: 加西網
    Terms & Conditions    Privacy Policy    Political ADs    Activities Agreement    Contact Us    Sitemap    

    加西網為北美中文網傳媒集團旗下網站

    頁面生成: 0.0216 秒 and 6 DB Queries in 0.0020 秒