关闭广告

为什么复旦MOSS大模型的中文水平不如英文?

澎湃新闻16343人阅读

·“数据质量的差别是主要瓶颈之一。相较于英文数据,中文数据的开源程度较低,导致中文数据集的规模相对较小。此外,英文作为科研主流语言,在学术界和工业界中得到广泛应用,积累了大量高质量的语料数据,这为英文自然语言处理的研究提供了极大的优势。”
2月20日晚间,复旦大学邱锡鹏教授团队发布国内首个类ChatGPT模型MOSS,引发各界人士参与内测的热情。一个显著的反馈是,MOSS的英文回答水平比中文高,这在公众与ChatGPT的互动中也有类似体现。为何如此?
位于深圳的粤港澳IDEA研究院认知计算与自然语言中心文本生成算法团队负责人王昊对澎湃科技(www.thepaper.cn)表示,“数据质量的差别是主要瓶颈之一。相较于英文数据,中文数据的开源程度较低,导致中文数据集的规模相对较小。此外,英文作为科研主流语言,在学术界和工业界中得到广泛应用,积累了大量高质量的语料数据,这为英文自然语言处理的研究提供了极大的优势。”
MOSS研究团队也坦诚,“MOSS的英文回答水平比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个。”
王昊认为,对于中文来说,高质量无监督语料和指令数据尤其严重不足。因此,中文自然语言处理领域需要更多的投入和努力来积累高质量的数据,并将其开源,以促进中文自然语言处理的发展。
清华大学计算机科学与技术系长聘副教授、聆心智能创始人黄民烈曾制定了全球首个《AI对话系统分级定义》,他在接受澎湃科技(www.thepaper.cn)采访时表示,“从数据和应用的角度来说,中国的科技企业目前来看有比较大的优势。从数据角度来说,国内其实是产出了大量数据的,但数据的准确性和可靠性如果能够提上去,对于模型的学习和生成来说都会帮助很大。”
“而国内的应用场景和市场其实是更加广阔的,在新闻、广告、教育等等领域,而应用市场越广带来的优质数据也会越高,这样其实是能够实现双飞轮的运转,从而加速AIGC领域的成长。”黄民烈接着说道。
2月20日晚,MOSS发布至公开平台(https://moss.fastnlp.top/),邀公众参与内测。当晚,社交媒体上出现截图,显示该平台“服务器流量过载,请明天上午重试”。随后,该平台官网发布一则公告,解释称“计算资源不足以支持如此大的访问量”,“给大家造成非常不好的体验和第一印象”,并致以真诚的歉意。

复旦MOSS团队回应体验“非常不好”:距离ChatGPT还有很长的路。


在公告中,MOSS研究团队称,“MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线,并且实现各种对话能力。”
那么AI对话技术发展到今天经过了哪些关键节点,当下的“技术路线”又是什么?
黄民烈解答道,回顾早期聊天机器人的对话,大部分都是基于规则的,第二代在技术上混合了一些规则和机器学习的方法。到了第三代,就是以Transformer为基本架构的大模型作为技术底座,实际上还是在一个新的神经网络架构下,结合大量的数据和算力优化去做到的,所以技术上有了显著的一些进步。由于对话本身就是在语言处理中最重要也是最难的任务,也就是最近一两年,才因为大模型的发展使得聊天机器人在性能上有接近人类的表现。
复旦大学计算机科学技术学院教授邱锡鹏此前在接受澎湃新闻采访时表示,“GPT-3的In-context learning是一个我觉得有变革性的范式。不再需要调参,给一些提示,就可以去做任务了。这个目前虽然说质量并没有调参的好,但也能达到一个不错的效果,这个会让大模型看起来更加智能。”
什么是In-context learning(上下文学习)?“以前的方式是基于模型参数调整的,比如说要识别猫,然后看模型能不能检测到猫的位置。如果标的不对,再通过误差反过来去调整参数,使得预测和正确位置对应起来。上下文学习则是圈出来猫的位置,然后再给它一张另外的图片,问它猫在哪里?它就能够正确圈出来。这个任务它之前没有见过,但是通过这样的方式就学会了。”邱锡鹏讲解道。
调参极耗费人力和时间成本,尤其是GPT-3这样的超大模型。碳同化系统Carbontracker估计,训练GPT-3一次所需的电量与丹麦126户家庭每年使用的电量相同。而In-context learning可以让一个未经进一步调参的预训练大模型,通过给其恰当的demonstration(示例)学会完成目标任务。
黄民烈也提到上下文理解技术。“ChatGPT最大的特点是通用任务助理,也就是在一个模型之内可以完成如此之多的开放任务,同时它在生成任务、上下文理解、安全伦理方面也有相当好的表现。”总结而言,黄民烈认为,这里面的技术突破是一个技术、工程、数据的综合性工程创新,是一个长期积累从量变到质变的过程。比如从GPT-3到代码,到加instruct,到RL,以及数据和模型之间的飞轮,造成了这些质变。

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

印度突发!已致122人死亡

中国基金报 浏览 7934

陈家东“拍脑袋”搞政绩工程大量烂尾:不调研可行性,选址靠风水师

上游新闻 浏览 10149

乌“反腐之火”烧到防长?俄媒:泽连斯基两难

海外网 浏览 11799

2005→2024!官方晒詹姆斯首次全明星和今天的扣篮对比

直播吧 浏览 9617

香港这一夜,62岁刘德华的“江湖地位”被展现得淋漓尽致

娱乐白名单 浏览 8121

3个月内唐山8名厅官被查后 河北省委启动矿业专项巡视

界面新闻 浏览 52910

古天乐古校长和王凯、韩庚主演的电影《真·三国无双》即将登陆51档。

趣看热点 浏览 24284

天问一号传回首张火星图,即将进入预定环火星轨道

趣看热点 浏览 67414

具俊晔好友到台湾看望大S夫妇 帮忙辟谣嗑药传闻

传媒一班 浏览 13127

借鉴这些日系穿搭 显瘦大方又得体

虎哥说衣不二 浏览 12122

《少年的你》真的是好沉重的一部电影,压抑了一整场

趣看热点 浏览 23702

神奇出租车:用最廉价汽油 为何98万公里不大修?

汽车安利会 浏览 9892

男子自驾长白山天池景区"遇坑":必须回镇上买票坐大巴

上游新闻 浏览 77284

累计交付323.6万辆,大众汽车集团2023销量成绩公布

天天汽车 浏览 9798

迪丽热巴综艺又翻车了!被质疑故意格式化摄像机,诸多行为见人品

缘木不求娱 浏览 10176

斯基拉:国米仍想明夏免签塔雷米,计划向他提供3年合同

懂球帝 浏览 10804

新冠检测“退潮”,第三方医学检测机构步入整合

第一财经资讯 浏览 12623

日航事故的“撤离仙人”,是吹还是黑?

观察者网 浏览 9780

英伟达独霸时代结束?ChatGPT引爆谷歌微软芯片大战,亚马逊也入局

新智元 浏览 15710

夏天的经典单品,“t恤”原来这么百搭,40岁女人也能凹造型

静儿时尚达人 浏览 8078

被问及美方是否寻求逮捕普里戈任 美国务院回应

每日经济新闻 浏览 76246
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1