追赶ChatGPT 中国复旦大学发布模型MOSS
ChatGPT是目前最先进的AI聊天机器人，自2022年11月底发布以来，它的月活跃用户2个月超过1亿，轻松拿到了全球互联网史上用户增长速度的第1。
周一（2月20日），中国复旦大学（Fudan University）自然语言处理实验室邱锡鹏教授团队发布了具备类似ChatGPT能力的语言模型“MOSS”，并面向大众公开邀请内测。
邱锡鹏说：“尽管MOSS还有很大改善空间，但它的问世证明了在开发类似ChatGPT产品的路上，中国科研团队有能力克服技术上的重要挑战”。
自然语言处理是AI领域的最大挑战之一，虽然突破已经出现，但这个月由微软发布的Bing，以及谷歌发布的Bard在测试中不时会出现问题，那复旦大学的MOSS表现如何呢？
对话MOSS，水平如何？
MOSS的基础功能与ChatGPT类似，可以按照用户输入的指令完成各类自然语言处理任务，包括文本生成、文本摘要、翻译、代码生成、闲聊等等。目前，MOSS的使用是免费的。
MOSS和ChatGPT一样，构建的过程包括自然语言基础模型训练，以及理解人类意图的对话能力训练2个阶段。
MOSS 和 ChatGPT 的主要区别在于：
- MOSS的参数数量比ChatGPT少得多。
- MOSS通过与人类和其他人工智能模型交谈来学习，而ChatGPT则通过人类反馈强化学习（RLHF）进行训练。
- MOSS将是开源的，以促进未来的研究，但ChatGPT可能不会。
MOSS的对话水平如何，以下是MOSS生成的一些交谈记录：
在这个例子中，用户首先要求MOSS推荐5部科幻电影，接着要求MOSS生成了1个表格来展示这些电影以及它们的导演，最后要求MOSS在表格中新插入1列来展示这些电影的上映年份。完成这一任务需要语言模型具备强大的多轮交互能力和指令理解能力，MOSS显然在这2方面表现优异。
与ChatGPT类似，MOSS有时也会输出一些事实性错误的例子，比如例子中《黑客帝国》（The Matrix）的导演并不是Thomas Neff，而是沃卓斯基兄弟（姐妹）（The Wachowskis）。
此外，MOSS还具备人类的价值观，当被要求回答不合理的问题时，MOSS会拒绝回答并给出正确的劝导。
据了解，MOSS采用参数量为百亿级的自研模型进行训练。在对话能力训练阶段，OpenAI收集了至少几十万条人类指令，让各行各业的专业标注员写出指令回复，再将它们输入模型基座，以帮助ChatGPT逐步理解各种指令。
复旦团队则采用不同的技术路线，通过让MOSS和人类以及其它AI模型都进行交互，显著提升了学习效率和研发效率，短时间内高效完成了对话能力训练。
研发团队表示，虽然MOSS已经实现了ChatGPT的一些功能，但仍然存在许多限制，由于缺乏高质量的数据、计算资源和模型容量，MOSS仍然远远落后于ChatGPT。
- 由于训练数据中的多语言语料库有限，MOSS在理解和生成英语以外的语言的文本方面表现不佳。团队目前正在开发1个改进版本，以提高其中文语言技能。
- 由于模型容量相对较小，MOSS不包含足够的世界知识。因此，MOSS生成的一些响应可能包含误导性或虚假信息。
- 有时MOSS以迂回的方式执行，甚至未能遵循指示。在这种情况下，用户可能需要重新生成几次或修改prompt，以获得令人满意的回复。团队正在积极提高其遵循指示的能力以及生产力。
- 有时MOSS可能会因prompt生成不道德或有害的反应。用户可通过单击 “不喜欢” 来帮助减少此类行为，团队将在下一个版本中更新模型。
命名源于电影《流浪地球2》
MOSS已进入内测阶段，内测将在使用者许可的情况下获取资料，还将收集使用者的回馈意见，希望借此大幅增强MOSS的对话能力。
不过，周一（2月20日）晚上中国社交媒体上出现截图，显示该平台“服务器流量过载，请明天上午重试”。随后平台官网解释称“计算资源不足以支持如此大的访问量”、并为“给大家造成非常不好的体验和第一印象”而致歉。
上述声明还指出，“尽管我们的对话模型和《流浪地球》中MOSS的能力不能相提并论，但就像过去NLP领域的其他优秀模型一样，作者们都希望使用自己喜欢的影视角色名称命名自己的模型”。
“在完成第一代模型时，正值《流浪地球2》热映，片中的”MOSS“给团队每个人都留下深刻印象，因此便使用这个名称来称呼我们的模型，以表示我们对最前沿AI模型的不懈追求。”
邱锡鹏，复旦大学计算机科学技术学院教授，博士生导师。国家优青获得者，于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，发表 CCF A/B 类论文 70 余篇，获得 ACL 2017 杰出论文奖（CCF A 类）、CCL 2019 最佳论文奖、《中国科学：技术科学》2021 年度高影响力论文奖，有 5 篇论文入选 PaperDigest 发布的 IJCAI/ACL/EMNLP 的最有影响力论文（被引用数进入前当届会议的 20 名）。
您必须登录才能发表评论。