听一遍就会弹!机械手2分钟自学超越人类新手

2026-05-29 | 来源: MIT科技评论 | 转到微信 | 有0人参与评论 | 字体: 放大缩小 | 收藏 | 打印

通过感知他人的行为来模仿运动，是人类的本能。比如，婴儿通过倾听大人的声音来咿呀学语，学徒通过观察师傅的动作来掌握技艺。但这种根植于生物的感知-动作闭环机制，对于机器人而言，却是难以复刻的难题。

近日，南加州大学（USC）的科学家们开发了一只四指机械手，它只需经过 2 分钟的键盘自学练习，听一遍陌生的旋律，就能将其完美演奏出来，完全不依赖乐谱或预设程序的指导。相关论文发表在 Journal of the Royal Society Interface 期刊。

领导这项研究的是 USC 维特比工程学院的弗朗西斯科·瓦莱罗-奎瓦斯 (Francisco Valero-Cuevas) ，他的实验室致力于研究复杂神经肌肉系统（例如人手）的生物力学、神经肌肉控制和临床康复。

这套被称为“音乐家之手”（Musician Hand）的系统，包括由肌腱驱动的四指机械手，以及一套全新的感知学习算法。

机械手采用轻量化 3D 打印结构，四个手指由微型电机控制的肌腱驱动。手指上安装了弹簧，能像人体肌肉张力一样被动回位，确保动作灵活且富有弹性。指尖还包裹了泡沫材料，模拟人类指腹的柔软触感，对在力度敏感的钢琴键盘上演奏较为重要。其内置的神经网络会分析旋律的声音，并将其转化为重现该旋律所需的运动指令。

与依赖大量编程和海量训练数据集的传统机器人不同，这款机械手的训练过程类似于婴儿时期的“咿呀学语”。在 2 分钟的时间里，机械手会在琴键上随机乱按。在乱按的过程中，它的内部算法会记录下什么样的按键动作（力度和时间）会产生什么样的声音（频率和强度）。

经过 2 分钟的训练后，再次听到一段全新的旋律时，系统会将这段声音转化为声谱图，并直接调用之前积累的经验，推导出需要哪些手指动作来重现这段旋律，全程不需要任何试错纠正。

为了验证效果，研究团队专门请两位作曲家创作了三首只使用四个相邻琴键（C4、D4、E4、F4）的简单旋律，每首时长约 20-30 秒，节奏统一在每分钟 90 拍。

团队选择了9 位人类参与者，包括 4 位训练有素的钢琴手（3 位专业演奏者和 1 位业余爱好者，均有钢琴演奏的训练和经验）和 5 位无任何钢琴基础的新手，他们被允许“咿呀学语”5 分钟，然后练习 3 分钟，最后有 1 分钟时间正式演奏。机械手则只经过 2 分钟随机探索，就直接听一遍演奏。研究主要评估了他们在复刻旋律 1（有 37 个音符）上的表现。

结果显示，在音符识别准确率上，机械手达到了 100%，完整复现了三首旋律的所有音符；而新手参与者仅能正确弹出前 2-3 个音符，准确率仅 6%-9%，无法完成完整演奏。专业钢琴演奏者的音符准确率为 92%-100%，一位演奏得完美无缺，其他人在演奏 37 个音符时犯了 1 到 4 个错误。

在力度还原度上，机器人得分 68%，专业演奏者为 78%-100%，略胜一筹；节奏时差方面，机器人控制在 150 毫秒左右，专业演奏者低于 120 毫秒，同样小幅领先。

研究人员还对机械手和 5 位钢琴家弹奏的音乐片段，进行了感知相似性、听觉相似性和节奏相似性的量化。对于所有三个指标，得分为 0 表示无相似性（特征完全不同），0.5 表示中等相似性（有一些共享特征，但在频谱图和短期功率谱上有重大差异），1 表示完全相似（特征相同）。

对于旋律 1，“音乐家之手”在所有三个指标上取得了与四位人类钢琴家相当的相似性得分，两者的得分均在 0.9+ 范围内。