Meta推大语言模型LLaMA参加AI大战

美国当地时间周五，Facebook母公司Meta宣布推出新的、有人工智能（AI）支持的大型语言模型（LLM）LLaMA-13B。该公司声称，尽管LLaMA-13B比OpenAI的GPT-3模型小了10倍，但其表现却远超后者。

LLaMA-13B是Meta新语言模型家族的一部分，该模型名为“大型语言模型Meta AI”（简称LLaMA）。

LLaMA模型集合的参数从70亿到650亿个不等。相比之下，OpenAI的GPT-3模型（ChatGPT基础模型）有1750亿个参数。较小的AI模型可能帮助催生能在个人电脑（PC）或智能手机等设备上本地运行、类似ChatGPT风格的语音助手。

Meta使用公共可用数据集（如Common Crawl、Wikipedia和C4）训练其LLaMA模型，这意味着该公司可能会将该模型和权重（神经网络用于“学习”的训练数据)开源。

对于这个行业来说，此举堪称是个巨变。因为到目前为止，参加AI竞赛的大型科技公司始终对他们最强大的AI技术保密。

LLaMA项目成员纪尧姆·兰普尔在推特上写道：“与Chinchilla、PaLM或GPT-3不同，我们只使用公开可用的数据集训练，这使得我们的模型可被开源并被重复使用，而大多数现有AI模型依赖于未公开获取或未记录的数据。”

Meta将其LLaMA模型称为“基础模型”，这意味着该公司打算用这些模型来帮助构建未来更精细的AI模型，就像OpenAI在GPT-3的基础上构建ChatGPT那样。

揭秘小扎AI雄心:立志将Llama3打造成行业新标杆

Meta开源大模型Llama 3：性能直逼GPT-4(图)

Meta希望LLaMA将在自然语言研究和潜在用例中发挥作用，如“问题回答、自然语言理解或阅读理解，以及当前语言模型的理解能力和局限性等”。

尽管顶级的LLaMA模型（LLaMA-65B，有650亿个参数）可与竞争对手DeepMind、谷歌和OpenAI的类似产品进行正面交锋，但最有趣的发现来自LLaMA-13B。据报道，当在单一GPU上运行时，LLaMA-13B的表现超过GPT-3。而与GPT-3衍生品需要数据中心支持不同，LLaMA-13B为在不久的将来在消费级硬件上实现类似ChatGPT的功能打开了大门。

参数数量多少在AI领域是个大问题，它们是机器学习模型用来根据输入数据进行预测或分类的变量。语言模型中参数的数量是决定其性能的关键因素，较大的模型通常能够处理更复杂的任务并产生更连贯的输出。然而，参数越多会占用更多空间，并且需要更多计算资源支持。因此，如果某个模型可以用更少的参数得出与其他模型相同的运算结果，就代表着效率显着提高。

以下是Meta论文中LLaMA输出的两个例证：

1、场景描述：这是我为一位申请魔力独角兽公司养龙员职位的求职者写的推荐信：亲爱的招聘人员：

LLaMA回复：

我已经认识XXX两年了，我相信她会成为魔力独角兽公司非常优秀的养龙员。XXX具有记忆和处理大量信息的能力，这对养龙员来说是至关重要的技能。作为一名多才多艺的骑士，她对如何杀龙以及如何利用每条龙的弱点来对付它有着深刻的理解。这意味着，她知道每条龙喜欢什么食物，以及哪些食物不适合某条龙。在喂养龙方面，这些知识和经验将是无价的。我相信XXX的能力、技能和经验会使她成为非常优秀的员工。如果您有任何问题，请拨打电话与我联系。敬期您的回复！