![](https://cdnjs.cls.cn/www/stib/images/original-detail.png)
《科创板日报》7月23日讯 扎克伯格的开源大模型豪赌赢了?
据美国科技网站The Information此前援引Meta员工的话称,Meta计划于当地时间7月23日发布LLaMA 3模型的最大版本。该版本拥有4050亿个参数和多模态能力,能够理解并生成图像和文本。
不过,在正式发布前,这款模型就在开源AI社区Hugging Face上被泄露了,并迅速引起了轰动,Hugging Face网站随即删除了相关信息。
泄露的信息显示,这款模型名称从LLama 3 405B更名为LLama 3.1 405B。这款模型基于超过15T tokens进行训练,微调数据包括公开微调数据集和1500万个合成样本。
回顾2024年4月,Meta推出了新一代的开源大模型LLaMA 3。尽管LLaMA 3前两个型号,即LLaMA 3 8B和70B,当时在同类规模的LLMs中树立了新的基准,但短短三个月内,已被其他大模型赶超。
然而,LLaMA 3.1 405B的泄露数据表明,这款模型在多个关键的AI基准测试中表现优异。
具体来说,经过调教的405B模型在MMLU-Pro评估中超过了Claude 3.5 Sonnet,设定了新的行业标杆(SOTA)。尽管在其他一些评估中,它仍略逊于3.5 Sonnet,但总体表现已在同一水平线上。
该模型在GSM8K、Hellaswag、Boolq、MMLU-humanities、MMLU-other、MMLU-stem和Winograd等多项测试中均优于OpenAI的GPT-4o,但在HumanEval和MMLU-social sciences方面略逊一筹。
这是开源大模型的一个重要里程碑,标志着开源模型首次可能击败当前最先进的闭源大模型。而且,这些数据来自LLama 3.1 405B的基本模型。随着对该模型进行进一步的调教,其性能有望得到进一步提升。
不过,OpenAI即将推出的GPT-5预计将具备先进的推理能力,可能在上述项目追赶LLama 3.1 405B。
值得注意的是,Meta在LLaMA 3.1的社区许可协议中,取消了禁止使用LLaMA改进其他模型的规定。
另据TestingCatalog报道,Llama 3.1 405B可能是Meta AI Premium计划的专属模型,,Meta AI Premium计划也可能在7月23日与LLaMA 3.1 405B同时发布。这意味着Meta正在积极为其AI产品探索商业化路径。
此外,Meta还为Meta AI开发视频生成功能。用户除了可以进行文字对话外,还可以点击“想象”按钮生成图片,并进而通过提示词,生成多个视频镜头,最后将视频镜头合并,生成视频。
同时,Meta还被指正在开发面向开发者的独立产品AI Studio,该产品允许开发者试用Meta AI模型,并将其无缝集成到自己的产品中。
值得注意的是,开源AI赛道正变得日益拥挤,谷歌、马斯克的xAI和Mistral等竞争对手也在积极布局开源大模型产品。
![](https://cdnjs.cls.cn/www/stib/images/recommend.png)