MiniMax发布万亿MoE模型abab 6.5,包含abab 6.5和abab 6.5s两个模型

国内 AI 初创企业 MiniMax正式推出abab 6.5系列模型,包含abab 6.5和abab 6.5s两个模型。万亿MoE模型abab 6.5支持200k tokens的上下文长度,在各类核心能力测试中,开始接近GPT-4、Claude 3 Opus、Gemini 1.5 Pro等世界领先的大语言模型的性能。abab 6.5s跟abab 6.5使用了同样的训练技术和数据,但更高效,支持200k tokens的上下文长度,可1秒处理近3万字的文本。abab 6.5和abab 6.5s会滚动更新到MiniMax旗下的产品中,包括生产力产品海螺AI和MiniMax开放平台上。

MiniMax发布万亿MoE模型abab 6.5,包含abab 6.5和abab 6.5s两个模型

abab 6.5 系列包含两个模型:

  • abab 6.5:包含万亿参数,支持 200k tokens 的上下文长度;

  • abab 6.5s:与 abab 6.5 使用了同样的训练技术和数据,但是更高效,支持 200k tokens 的上下文长度,可以 1 秒内处理近 3 万字的文本。

本文地址:https://www.163264.com/6875

(0)
上一篇 2024年4月16日 下午10:20
下一篇 2024年4月17日 下午6:38

相关推荐