微软开源 140 亿参数小语言 AI 模型 Phi-4

微软于2025年1月8日在Hugging Face平台上开源了其小型语言模型Phi-4。Phi-4是微软2023年推出的小型语言模型系列的第四代产品，拥有140亿参数。该模型基于Transformer架构，采用仅解码器型架构，只关注单词之前的文本，减少了需要处理的数据量，从而降低了推理成本。

Phi-4在多个基准测试中表现优异，甚至超越了参数量更大的Llama 3.3 70B和OpenAI的GPT-4o Mini。在数学竞赛问题中，Phi-4的性能甚至超过了Gemini 1.5 Pro和OpenAI的GPT-4o。其强大的性能主要归功于微软精选了高质量数据集进行训练。此外，Phi-4还采用了直接偏好优化和监督微调两种后训练优化技术来提升输出质量。

Phi-4的主要特点和优势如下：

• 卓越的性能：参数规模仅为14B，但在多个评测基准上表现出色，尤其是在推理和问题解决任务上。
• 优异的推理能力：在GPQA、MATH等基准测试中，Phi-4的得分甚至超过了其教师模型GPT-4o。
• 长上下文处理能力：通过在中期训练中将上下文长度扩展到16,000个Token，Phi-4能够更有效地处理长文本和长距离依赖。
• 多语言支持：训练数据包括了德语、西班牙语、法语、葡萄牙语、意大利语、印地语、日语等多种语言，在翻译、跨语言问答等任务上表现出色。
• 安全性和合规性：开发过程中严格遵循微软的负责任AI原则，注重模型的安全性和道德性，采用严格的数据去重和过滤策略，防止训练数据中包含敏感内容。

Phi-4现已开源并支持商业用途，吸引了大量开发者和AI爱好者的关注。感兴趣的开发者和尝鲜者可以下载、微调和部署该AI模型。