问:MOSS是什么,主要有什么作用?
答:MOSS是一个对话式语言模型,它可以为人们的生活提供各种直接或间接的帮助。它可以进行生活常识问答,帮助查询天气、规划行程等;可以辅助高效办公,例如自动处理表格,生成大纲、草稿、翻译等,还掌握金融、医疗、教育等领域专业知识。许多行业正在引入以MOSS为代表的对话式语言模型,比如汽车语音助手、客服等,这些都将产生降本增效的效果。
问:您对MOSS的具体训练过程是怎样的?
答:大模型中参数的本质是海量的矩阵,这些矩阵对输入的文本进行简单、繁重、重复的数字运算,最终得到需要生成的内容。我们可以通过对网络上的语料进行收集、“清洗”,并让大模型从这些语料中学习知识。具体而言,学习过程就是不断“阅读”文本,并调整大模型内部参数,使其对语言的理解不断加深,最终获得某种“智能”,这个过程称为训练。
在搭建MOSS的过程中,我们通过三阶段“阅读”赋予MOSS强大的能力。一是基础知识获取阶段。MOSS通过广泛“阅读”网络上几乎所有的文本,由于巨大的参数量,其足以涵盖海量知识。二是对话能力获取阶段。MOSS通过“阅读”对话数据,学习利用第一阶段获取的知识,以对话的方式回答人类的问题。三是对齐阶段。由于有些回复可能会有误导性,MOSS会根据人类的反馈来抑制生成不符合人类法律和道德伦理的内容,使回答更客观、更理性。
问:MOSS和ChatGPT相比有哪些差异?
答:ChatGPT的训练数据涵盖十分广泛,用户体验良好。MOSS作为学术界的尝试,我们希望通过打造开源对话式的语言模型,向学术界分享更前瞻的理论和工程经验。
问:MOSS是来源于电影《流浪地球2》吗?它的未来目标是什么?
答:MOSS的名字与《流浪地球2》这部电影有关,电影中的人工智能机器人MOSS展现出极强的智能和理性,成为人类的得力助手。我们从对话式语言模型发展中看到了人工智能的巨大潜力,因此起名MOSS,这个名字寄托这我们对人工智能技术未来发展的期待。
未来的MOSS会越来越“聪明”。我们将充分利用火山引擎等平台提供的云端算力和资源,与更多同行开展模型迭代和技术交流,不断探索对话式大模型和大型语言模型的技术前沿,让人工智能技术更好地造福人类社会。
(彭训文、张嘉幸采访整理)