复旦大学 MOSS 大模型今日开源：超 100 万条对话训练数据

MOSS 与 ChatGPT 相比，有哪些主要差异？复旦大学计算机科学技术学院邱锡鹏团队表示，最大差异还是参数规模。ChatGPT 的参数量多达 1750 亿个，而 MOSS 的参数量比其小一个数量级，大约是前者的 1/10 左右。

我们选择百亿规模这样级别的参数，是因为学术界主要是做一些探索性的技术，这个规模也在财力物力承受范围之内。我们认为在这个参数级别上，这些模型也能涌现出一定的智能能力，我们也能赋予它们对话的能力。实验结果证实了我们的猜想，MOSS 模型可以非常顺利地与人类进行聊天互动。

MOSS 可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径，将于后期进行开源。

MOSS 官网地址：https://moss.fastnlp.top/

MOSS 博客主页：https://txsun1997.github.io/blogs/moss.html

开源地址：https://github.com/OpenLMLab/MOSS

MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

局限性：由于模型参数量较小和自回归生成范式，MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容，请谨慎鉴别和使用MOSS生成的内容，请勿将MOSS生成的有害内容传播至互联网。若产生不良后果，由传播者自负。