网易推出的预训练模型“玉言”在CLUE分类榜单中取得巅峰成绩，首次超越人类水平

大家好，我们又见面了啊~本文《网易推出的预训练模型“玉言”在CLUE分类榜单中取得巅峰成绩，首次超越人类水平》的内容中将会涉及到等等。如果你正在学习科技周边相关知识，欢迎关注我，以后会给大家带来更多科技周边相关文章，希望我们能一起进步！下面就开始本文的正式内容~

网易伏羲的“玉言”系列模型在CLUE分类任务排行榜上获得了第一名的成绩，超越了其他模型。这个排行榜包括了AFQMC(文本相似度)、TNEWS(短文本分类)、IFLYTEK(长文本分类)、OCNLI(自然语言推理)、WSC(代词消歧)、CSL(关键词识别)这六个理解任务。此次获得第一名标志着“玉言”系列模型首次超过了人类水平的表现。

CLUE榜单是中文语言理解领域最有影响力的测评基准之一，对学术界和工业界具有重要意义。网易伏羲的“玉言”模型在CLUE分类任务榜中取得了巨大成功，这是该公司在中文文本预训练领域的重要里程碑。值得一提的是，一年前，网易伏羲的“玉言”系列模型也在CLUE推出的中文小样本学习评测榜FewCLUE中取得了第一名的成绩。

"玉言“是网易伏羲自主研发的中文文本预训练大模型系列，这次登顶CLUE分类任务榜单的模型参数达到110亿，结构由深层Encoder和浅层Decoder组成，这种结构可以使得大模型具有优秀理解能力的同时，也有着较为优秀的生成能力。除此之外，Encoder-Decoder结构方便训练任务的设计，不需要复杂的掩码策略。其预训练数据包括网易自有高质量数据、各类百科、新闻、社区问答、wiki、小说等等；网易伏羲对收集到的数据进行去重，清洗，产出了大量高质量数据，并采用这些数据训练模型，使得模型具有良好的泛化性，在各类任务上都有着出色的性能。

网易伏羲在"玉言"模型的训练中采用了多任务训练框架，对模型的Encoder和Decoder进行了训练。为了增强模型的语义表示能力，并使其更好地理解不同长度的文本信息，他们提出了多种预训练策略。

掩码策略：通过使用掩码[MASK]来隐藏句子中的词，以提高模型对词语的语义表示能力。

Word Shift策略旨在通过对中文词语内单字顺序进行打乱，以提升模型对中文词语表达的关注能力和敏感性。通过这种方式，模型可以更好地还原单字的顺序，进而更准确地理解中文词语的含义。这种方法可以增强模型对中文的处理能力，提高其对中文文本的理解水平。

Short Sentence Reorder策略：通过打乱出现在句子中的短句，再让模型还原以提升模型对句子语义的理解；

Word/Sentence Deleted策略：删除句子中的单词或整句后再让模型进行还原，以提升模型对不同长度的文本的语义表示能力；

网易伏羲的大规模预训练相关工作由网易高级副总裁、网易雷火事业群总裁胡志鹏牵头主持，并且入选2022年度浙江省科技计划项目--“尖兵”项目。自研模型规模从最早的一亿参数增长至千亿参数，模型领域从文本拓展到图文、音乐、行为序列等多种模态，积累了丰富的预训练模型训练和工程优化的经验。相关技术也已经应用在网易集团内的文字游戏、智能NPC、文本辅助创作、音乐辅助创作、美术设计、互联网搜索推荐等业务场景，并取得了显著的业务效果。

另外，网易伏羲参与了中国人工智能产业发展联盟组织的大规模预训练模型技术的应用评估方法编写，并且在由中国信息通信研究院、人工智能关键技术和应用评测工业和信息化部重点实验室等机构发起的2022可信AI峰会上，网易伏羲的大模型应用「LOFTER-AI写文」和「傀儡戏-互动式文字游戏」同时入选“2022大规模预训练模型优秀应用案例”，在大模型技术及AI实践领域获行业认可。

网易伏羲作为国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构，未来会在大规模预训练模型领域持续探索，并结合有灵机器人众包能力，引入“人”的决策及数据闭环，进一步提升大模型的能力。

好了，本文到此结束，带大家了解了《网易推出的预训练模型“玉言”在CLUE分类榜单中取得巅峰成绩，首次超越人类水平》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多科技周边知识！