社交媒体巨头Meta发布了其最强开源人工智能（AI）模型Llama 3.1。扎克伯格称开源是AI未来的方向。
当地时间7月23日，Meta发布了最新开源模型Llama 3.1，包括8B、70B、405B三种参数大小。Meta表示，截至目前，Llama系列所有版本总下载量已超过3亿次。Meta CEO马克·扎克伯格表示，Llama 3.1的出现“将成为行业的转折点”，并发表文章详细介绍了公司的开源AI战略。
今年 4 月，Meta 刚刚发布了 Llama 3。Llama 3.1 在 Llama 3 的基础上进行了大幅更新，能够用八种语言进行对话、编写更高质量的计算机代码，并解决更复杂的数学问题。Llama 3.1 模型已用于驱动聊天机器人 Meta AI，该机器人已加入 Instagram 和 WhatsApp 等应用程序，并拥有独立的网站。
据悉，在超过150个基准测试集中，Llama 3.1 405B版本的表现基本与此前最强的闭源模型GPT-4o和Claude 3.5 Sonnet持平甚至超越，而参数更小的8B和70B模型也与谷歌、Mistral AI、OpenAI等主流相近参数的模型相媲美。
Llama 3.1 405B 版本在基准测试集上取得了优异的成绩。来源：Meta
Llama 3.1 模型背后的训练数据规模也相当惊人，为了在超过 15 万亿个 token 上训练 Llama 3.1 405B 模型，Meta 团队大幅优化了整个训练堆栈，并首次将模型算力拓展到超过 16000 块 NVIDIA H100 GPU。
具体来说，团队依然采用标准的仅解码器的 Transformer 架构，并采用迭代的后训练过程，在每一轮中进行 SFT（监督微调）和 DPO（直接偏好优化）来提升性能。与之前的 Llama 版本相比，团队还增加了用于预训练和后训练的数据数量和质量。
与此同时，Meta 的开源生态也进一步扩大，Llama 3.1 已经在超过 25 家公司的平台上线，包括 Amazon Web Services、Microsoft Azure、Google Cloud、Oracle 等主流云平台。其中，Amazon Web Services、Databricks、NVIDIA 等正在推出全套服务，支持开发者对自己的模型进行微调和训练。
借此机会，Meta 还更新了开源许可证，首次允许开发者使用 Llama 模型的输出来改进其他模型。Meta 表示，团队还将在 Llama 3 中整合图像、视频和语音功能，使模型能够识别图像和视频并支持通过语音进行交互，但该功能仍在开发中。
23日，扎克伯格还为Llama 3.1发表了一篇长文，题为《开源AI是前进之路》，称Llama 3.1是“行业的转折点”。
文章中，扎克伯格将开源模式与开源Linux操作系统进行了比较，称Linux因可定制性、成本效益和安全性而受到欢迎，并最终成为云计算和移动设备操作系统的行业标准。“我相信AI也会以类似的方式发展。”
扎克伯格认为，尽管一些AI公司正在开发领先的闭源模型，但开源AI正在迅速缩小差距，开源模式有利于公司发展：“我们必须确保我们始终能够获得最好的技术，同时不被困在竞争对手的封闭生态系统中，因为竞争对手会限制我们所构建的东西。”扎克伯格还在此特别提到了苹果的“苹果税”，称这是影响Meta的经验。
扎克伯格强调，开源可以促进生态系统的完整发展，让行业内各类模式保持竞争性、高效性和开放性。从更长远的角度看，开源将让人工智能更加安全，让这项技术在整个社会中更加均匀、安全地部署，让系统更加透明，接受广泛的监督。
此外，扎克伯格在接受外媒采访时透露，Meta 已经在开发 Llama 4，Meta 的聊天机器人已经拥有“数亿”用户。他预计除了 Meta 之外，其他公司也会使用 Llama 来训练自己的 AI 模型。扎克伯格还指出，认为“美国在 AI 发展上总能领先中国 5-10 年”是不现实的，在 AI 竞争中封杀中国是一大错误。“美国保持 6-8 个月的领先优势是一个合理的（目标）。”
7月23日，Meta（纳斯达克股票代码：META）收盘报488.69美元/股，上涨0.26%，总市值达1.24万亿美元。Wind数据显示，今年以来Meta股价已累计上涨38.35%。
评论（0）