| Contact Us | CHT | Mobile | Wechat | Weibo | Search:
Welcome Visitors | 登录 | 免费注册 | 忘记了密码 | 社交账号注册或登录

Home
温哥华资讯
Realty
Education
Finance
Immigrants
Yellow Page
Travel
故事 | 移民 | 留学 | 八卦 | 娱乐 | 投资 | 旅游
就业 | 健康 | 文艺 | 情感 | 科技 | 华人 | 海归 		温西 | 西温 | 本那比 | 列治文 | 白石 | 市中心
温东 | 北温 | 高贵林 | 北素里 | 素里 | 满地宝 		大温 | 玩乐 | 吃喝 | 社团 | 汽车 | 贴图
生活 | 房屋 | 亲子 | 摄影 | 原创 | 投资 		专栏 | 视频
群组 | 图库
生活资讯 专栏 中国新闻

辛顿历史性首访中国 再次警告:AI就像一只幼虎
QR Code
请用微信 扫一扫 扫描上面的二维码，然后点击页面右上角的 ... 图标，然后点击 发送给朋友 或 分享到朋友圈，谢谢！
2025-07-26 | Contributed by: DeepTech深科技 | 转到微信 | 有0人参与评论 | 字体: 放大 缩小 | 收藏 | Printer Friendly Page
1985 年，辛顿做了个小模型，尝试结合这两种理论，以解释人们如何理解词汇。他给每个词设置多个不同特征，记录数字特征来预测下一个词，过程中不存储句子而是生成句子并不断预测下一个词。


“相关联性的知识，取决于不同的词的特征与语义特征是如何进行互动的。”辛顿表示。

他接下来提到了推动语言模型发展的几个关键节点。




10 年后，人们沿用此模式建模并扩大规模，成为自然语言真实模拟。20 年后，计算语言学家们终于开始接受并使用“特征向量”（嵌入）技术。

而到了三十年后，谷歌发明了 Transformer 架构，紧接着 OpenAI 向世界展示了基于该架构的大语言模型所具备的强大能力。

如今的大语言模型可视为 1985 年微型语言模型的后代，使用更多词输入、更多层神经元结构，建立更复杂特征交互模式。



选举遭历史性惨败,党内逼宫,日执政联盟岌岌可危
特朗普:即将与哈佛达成"令人难以置信历史性"协议
美媒:欧盟激进扩军或酿成"历史性错误"

大语言模型理解问题方式和人类类似，都是将词语转换成能够相互良好配合的特征向量来实现这种理解的，而且大语言模型是真正能够“理解”它们自己所说的话的。

辛顿将“词语”视作多维度乐高积木。我们拥有的不是几种，而是大约十万种不同类型的“乐高积木”。


每一块的形状都不是固定不变，而词语的含义（名字）只是大致告诉你它的“形状”。



辛顿在此前的演讲中就用过这个比喻，他当时的解释更加细致：

“词语”的上面还有“小手”。当你改变词的“形状”时，“小手”的形状也会随之改变。这些词语与词语之间，就是通过“握手”来优化意思理解，类似蛋白质组合氨基酸产生有意义内容。

当词语进入模型，它们在这个高维空间里带着各自初始的、大致的形状，身上还布满了小手。当信息在网络的层级间向上传递时，你就在不断地调整这些词的“形状”和它们“小手”的形状，试图为每个词找到最合适的形态，让它们彼此之间都能完美地“握手”。
点个赞吧！您的鼓励让我们进步     无评论不新闻，发表一下您的意见吧
Prev Page123456Next Page
Note:
  • 新闻来源于其它媒体，内容不代表本站立场！
    		•  _VIEW_NEWS_FULL
    _RELATED_NEWS:
    _RELATED_NEWS_MORE:
    _POSTMYCOMMENT:
    Comment:
    Security Code:
    Please input the number which is shown on the following picture
    The Captcha image
      _TODAYMOSTREAD
    华裔宝马受损 大温道路坑洼谁之责
    78岁丁佩谈李小龙离世当天细节,癫
    大温邻里因这纠纷多年 遇害夫妇曝
    无语！开着8万的车在温哥华做这事
    鲜为人知 大温隐密雨林公园要开放
    难民酒店花了11亿!卡尼终于叫停了
    加国华裔女子揭秘如何7年还清房贷
    加拿大免税食品大盘点 购物更划算
    车熄火被列车撞击 大温女死里逃生
    懵了 加国华裔房贷重组遭遇大失误
      _TOPIC_MOSTREAD
    亮剑:李云龙能舍命救张大彪,为什
    iPhone倒逼eSIM在中国回归,落地可
    C位换人了,顶尖华人人才或统治AI
    豆瓣评分8.0,史上收视率最高的台
    雅下工程令世界惊叹,但它的意义仍
    山西人爱午睡这事儿,全网还没说清
    许家印是中共"燃烧弹" 接下来会更
    印度悄悄换了一种同中国打交道的
    中国脱口秀真正的"泥潭",是不敢说
    翁帆嫁大自己54岁的杨振宁,是因为
      随时阅读新闻

    加西网微信
    大温优惠小红书

    温哥华地产中心微信
    Android: 加西网
    Terms & Conditions    Privacy Policy    Political ADs    Activities Agreement    Contact Us    Sitemap    

    加西网为北美中文网传媒集团旗下网站

    Page Generation: 0.0309 Seconds and 5 DB Queries in 0.0019 Seconds