导读:据IT之家报道,复旦大学自然语言处理实验室开发的新版MOSS模型今日正式上线,成为国内首个插件增强的开源对话语言模型。目前,MOSS模型已上线开源,相关代码、数据、模型参数已在Github和Hugging Face等平台开放,供科研人员下载。 据介绍,MOSS是一个支持中…
据IT之家报道,复旦大学自然语言处理实验室开发的新版MOSS模型今日正式上线,成为国内首个插件增强的开源对话语言模型。目前,MOSS模型已上线开源,相关代码、数据、模型参数已在Github和Hugging Face等平台开放,供科研人员下载。
据介绍,MOSS是一个支持中英双语和多种插件的开源对话语言模型,moss-moon系列模型具有160亿参数,在FP16精度下可在单张A100/A800或两张3090显卡运行,在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
MOSS来自复旦大学自然语言处理实验室的邱锡鹏教授团队,名字与《流浪地球》电影中的 AI同名,已发布至公开平台,邀请公众参与内测。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...