Loading...

llama2:Llama 2的能力超越了所有的开源大型模型,700亿参数的模型在推理能力上接近ChatGPT背后的GPT-3.5

AI大模型2个月前发布 阿强
27 0

今年2月,Meta发布了第一版Llama大型语言,这是在ChatGPT发布仅三个月后的一次重要进展。与之前只能用于研究目的的Llama预训练模型不同,新发布的Llama 2具备商业应用的能力。Meta发布了三种参数规模的模型,分别是70亿、130亿和700亿。他们公布了模型训练数据、训练方法以及数据标注等细节,充分展示了Llama 2的实力:在相同的参数规模下,Llama 2的能力超越了所有的开源大型模型;700亿参数的模型在推理能力上接近ChatGPT背后的-3.5,但在编写代码方面还存在较大差距。

llama2官网: https://ai.meta.com/llama/

这里填写表格获取llama2模型:

https://ai.meta.com/resources/models-and-libraries/llama-downloads/

llama2:Llama 2的能力超越了所有的开源大型模型,700亿参数的模型在推理能力上接近ChatGPT背后的GPT-3.5插图

llama2怎么样?

许多开发者对Llama 2进行了测试,基本证实了Meta的说法:“在编写代码的环节,它表现不错”。70亿参数的模型可以在Mac上运行,每秒处理6个字符,比Google发布的PaLM 2中最小的模型“壁虎”慢70%。然而,Google并没有公布“壁虎”的具体参数。

根据Meta公布的信息,Llama 2的训练数据来源于公开数据,总量达到了2万亿个Token(指常用单词、标点符号或数字),比第一代模型增加了40%。此外,Llama 2的上下文长度扩展到了4000个字符,对文本语义的理解更加准确。

类似,Meta还通过人类反馈强化学习(RLHF)机制,利用100万条人类标注了类似ChatGPT的对话应用。这也是过去几个月开源社区微调Llama的常用方法。Meta表示,“大型语言模型的出色撰写能力从根本上是由RLHF驱动的。”

训练Llama 2可能需要巨大的成本。HuggingFace的机器学习科学家内森·兰伯特估计,Llama 2的训练成本可能超过2500万美元,不比三年前训练GPT-3的成本低。他表示,有足够的迹象表明,Meta仍在继续训练更强大的Llama模型。

自去年末ChatGPT的发布以来,它以其富有意义的回复和强大的代码编写能力等功能震撼了世界。许多公司都在努力寻找类似的产品。经过半年多的发展,从大公司到普通程序员,都能借助开源社区实现类似ChatGPT的应用。根据云端开发平台的观察,每个季度使用其服务的项目数量都在翻倍增长。

在诸如Llama等开源大模型的基础上,开发者们还创建了各种开源数据集,如基于人类反馈的强化学习数据集,不断提升开源大模型的能力。

根据加州大学伯克利分校、卡耐基梅隆大学等高校的教授和学生创建的LMSYS Org的评估,过去几个月,开源大模型与之间的差距明显缩小,从191分减少到最近的115分。在赶超的过程中,开源社区甚至领先于大公司,提供了可在电脑和手机上运行的大模型,比早一个多月发布。

随着Meta开源Llama 2,开源大模型社区的实力将进一步增强。Meta表示,第一个不支持商业用途的版本发布后,他们收到了超过10万名研究人员的使用申请,这还不包括直接从网上下载模型的人。

“NVIDIA”的高级人工智能科学家Jim Fan表示:“由于开源许可问题,大公司的人工智能研究人员对第一个版本的Llama持谨慎态度,但我认为现在很多人会加入这个项目(Llama 2)并贡献他们的力量。”他还表示,即使当前Llama 2在编程能力方面还不强,但开源发布后很快会追赶上来。

Llama 2发布的最大开源参数版本(700亿)仍不及三年前训练的GPT-3一半,但效果却优于GPT-3,这是最好的证明之一。

开源的逻辑是,当大型模型达到一定能力后,就扩大了新技术的应用范围,让更多人使用技术,并从广泛应用中改进模型。而闭源公司如OpenAI更注重技术的先进性,在开发强大模型后再推广给更多人。

就像iOS和在手机操作系统领域的竞争一样,开源和闭源的竞争并不都是在同一维度上直接竞争,大型模型领域也会出现类似的分化。

在这种新的竞争格局下,即使是谷歌也没能保持领先的信心。

今年5月,Google一位高级工程师在内部文章中表示,尽管Google在大型模型的质量方面仍略占优势,但开源产品与Google大型模型之间的差距正在以惊人的速度缩小,开源模型的迭代速度更快,用户可以根据不同的业务场景进行定制开发,更有利于保护隐私数据,并且成本更低。

他说:“他们只需要几周时间,就能用100美元和130亿参数的模型做到我们花费1000万美元和540亿参数的模型很难实现的事情。我们没有护城河,OpenAI也没有。”

昨天,Meta在宣布Llama 2开源后解释说,对于当今人工智能模型的发展来说,开源是正确的选择,尤其是在技术迅速发展的生产领域。他们表示,“通过向公众提供人工智能模型,使其惠及所有人,而不仅仅是少数几家大公司。”

在生成式人工智能领域,一场与过去不同的新型竞争正在展开。开源社区凭借开放协作的力量,正以惊人的速度追赶商业巨头们建立的领先优势。而过去习惯于技术封闭和市场垄断的大公司,也在逐步拥抱开源。

    © 版权声明

    相关文章

    暂无评论

    暂无评论...