全球最大预训练模型“悟道2.0”发布智源牵头研发

2021-06-03 15:13:02来源：TechWeb

2021北京智源大会举办首日，智源研究院学术副院长、清华大学计算机科学与技术系长聘教授、计算机系副主任唐杰发布全球最大预训练模型“悟道2.0”，该模型规模参数达1.75万亿。“悟道2.0”由智源牵头研发，北京智谱华章科技有限公司(以下简称智谱AI)作为骨干参与，并主要开发了“悟道2.0”的平台应用生态。其中，智源、智谱AI和小冰公司联合开发的虚拟学生华智冰引起了广泛关注。

“悟道2.0”还取得了多项世界级的创新突破，在预训练模型架构、微调算法、高效预训练框架方面实现了原始理论创新，在世界公认的人工智能能力排名榜单上，取得9项能力的领先地位。 “悟道”预训练模型是由唐杰领衔，来自智谱AI、北京智源人工智能研究院、小冰公司等单位的100余位AI科学家团队联合攻关完成。今年3月22日，智源曾发布了“悟道1.0”，2个多月后，悟道进化到2.0。

“悟道2.0”特征：最大、最准、通用、国产

唐杰介绍，“悟道”的定位，从一开始就不止要做“中国第一”，而是瞄向世界顶尖水平，让机器像人一样思考，迈向通用人工智能。

“悟道2.0”参数达到1.75万亿，打破了此前谷歌 Switch Transformer 预训练模型创造的 1.6 万亿参数记录，也超过OpenAI开发的第三代生成式预训练Transformer(GPT-3)10倍，是全球最大预训练模型。而通常AI科学界认为模型参数越大，意味着通用人工智能潜能越强。尤其值得一提是，“悟道2.0”这个世界最大万亿模型，完全基于国产超算 GPU 平台打造。

为什么新一代“全球最大”预训练模型会出现在智源与智谱AI团队?唐杰表示，团队开创的FastMoE技术，打破了国外MoE技术存在的限制瓶颈，是实现“万亿模型”基石的关键。

FastMoE作为首个支持PyTorch框架的MoE系统，具有易用性强、灵活性好、训练速度快的优势，可在不同规模的计算机或集群上支持研究者探索不同的MoE模型在不同领域的应用。相比直接使用PyTorch实现的版本，提速47倍。

FastMoE可以支持NoisyGate、GShard、Swith Transformer等复杂均衡策略，支持不同专家不同模型，目前已基于阿里 PAI 平台，亦在国产神威众核超算平台成功部署。

精准方面，悟道 2.0也取得了亮眼的成绩，在 ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO 等项目都取得了突破，获得了9项任务上的 SOTA。目前悟道2.0在问答、绘画、作诗、视频等任务中都已逼近图灵测试。

大规模预训练模型的参数规模通常远超传统的专用人工智能模型，在算力资源、训练时间等方面消耗巨大。为了提升大规模预训练模型的产业普适性和易用性，悟道团队搭建高效预训练框架，实现了全链路的原创突破或迭代优化，预训练效率大幅提升。

唐杰介绍，悟道 2.0预训练框架具有“五个高效”特点：高效编码、高效模型、高效训练、高效微调、高效推理，它真正面向产业界的应用。悟道 2.0预训练框架还整合了全球最大的中文语料库WuDaoCorpora，包括最大中文文本数据集、多模态数据集与中文对话数据集。

唐杰称悟道完全开源，任何企业、开发者拿到悟道 2.0预训练框架以后，可以非常快地进行部署，然后应用在实际业务中。目前，悟道 2.0已经与美团、小米、快手、360、搜狗、寒武纪、第四范式、推想科技、好未来、小冰科技等达成合作共建模型生态。

联合智谱AI和小冰团队共同打造首位虚拟学生“华智冰”

现场，唐杰还介绍了一位自己的新学生-“华智冰”。

“华智冰”是以悟道为内核，以智谱AI的知识数据双轮驱动框架和小冰公司全球领先的人工智能完备框架为基础开发的虚拟数字人，是中国首个原创的全科虚拟学生。华智冰将师从唐杰，开启在清华大学计算机系知识工程实验室的学习和研究生涯，接受智源、智谱AI和小冰公司的联合培养。

华智冰由三方共同研发打造，同时，智谱AI还为虚拟学生提供了融合知识和数据的双轮驱动人工智能系统，让她具有一定的认知和推理能力。小冰则提供了全球领先的人工智能完备框架，同时负责声音、形象的开发应用。智谱.AI依托清华大学团队十余年在知识智能方面的积累和人才优势，构造了高质量大规模知识图谱，致力于打造可解释、鲁棒、安全可靠、具有推理能力的新一代认知引擎，谈到对新学生华智冰的培养目标，唐杰称，从感知智能向认知智能时代迈进，我们希望这个数字人在多项认知智能上超过人，她不仅仅识别图像，还应该有创造能力。比如可以创造诗、作画，甚至回答一些数学问题。

先来看看华智冰同学的绘画和诗作能力。

因为华智冰是到计算机系学习，唐杰也表示，那她应该还要会编程，下一步给她一个任务，能自动设计出网页的板块或者项目架构设计，还能把里面的代码填满，让代码运行正常等待，这些是我们未来对华智冰的一些期望。当然这个过程中不是一天就来了，是慢慢成长的过程，