Meta的Llama 3.1正式发布，包含8B、70B、405B 三个型号

Meta 致力于开放可访问的 AI，发布了 Llama 3.1 405B 等一系列模型，并在模型架构、训练优化、功能改进、安全措施、开放生态等方面取得了重要进展。

重要亮点

• 开放承诺与优势：Meta 坚定致力于开放可访问的 AI，Llama 模型权重可供下载，开发者可按需定制、训练和微调，降低成本，促进全球更多人受益。
• Llama 3.1 405B 的特性：是世界上最大且最具能力的公开基础模型，在多语言翻译、通用知识、数学等方面具备领先能力，扩展了上下文长度，支持多种语言。
• 模型训练与优化：在超 15 万亿令牌上训练，优化训练堆栈，采用标准解码器仅变压器架构，迭代后训练程序，改进数据质量。
• 指令和聊天微调：努力提升模型响应用户指令的能力，确保安全性，通过多轮对齐产生最终聊天模型，平衡数据以保证各方面质量。
• Llama 系统：旨在成为包含多个组件的整体系统，发布了参考系统和新组件，提出 Llama Stack 接口，促进生态系统发展。
• 生态合作与创新：与众多伙伴合作，已有社区基于过往模型的优秀成果，期待 405B 模型带来更多创新，同时注重风险评估和安全措施。