当前位置:首页 > 资讯动态 > 正文

志远研究院出版超大规模智能模型武道1.0

时间:2021-04-26 08:52:52   来源:网络  

3月20日,北京致远人工智能研究所召开了智源五岛1.0研究成果会议和大型预训模式交流论坛,发布了超大型智能模型武道1.0。这是我国第一个超大规模的智能模型系统.北京大学、清华大学、全国人大、中国科学院等单位的100多名人工智能科学家在清华大学唐杰教授和志远研究所学术副院长的带领下,共同解决了关键问题,并取得了一些国际领先的人工智能技术突破,形成了大规模的智能模型培训技术体系。训练了汉语、多模、认知和蛋白质预测等一系列模型,以构建我国人工智能的应用基础设施。

北京市科委、中关村管理委员会副主任徐新超在讲话中指出,在十四五期间,北京将依托其在人工智能领域的科技资源和产业发展优势,支持建设志远研究所等世界一流的新研发机构,规划部署人工智能基础研究,加强关键核心技术,推动人工智能率先。

北京支持志远研究所牵头建设超大规模人工智能模型培训平台。这次发布的武道1.0是这个平台的一个重要部分。通过对超大规模信息智能模型和生命模型的研究和开发,可以促进电子信息、生物医学等基础科研范式的转变,加快科学研究的进程。同时,我们将推动创新型企业和个人开发商在大型模型的基础上构建更高层次的智能场景应用,赋予实体经济的智能升级能力,促进高质量的经济发展。

据武道示范技术委员会主任、致远研究院学术副院长唐杰教授介绍,武道1.0提前启动了四大模式的研究和开发:一是以汉语为核心的大规模预培训模式。目前已有26亿个模型参数,具有记忆能力、理解能力、检索能力、数值计算能力、多种语言能力等。它还涵盖了20种主流的汉语自然语言处理任务,如开放域回答、语法修正、情感分析等。该技术能力已与gpt-3相结合,并取得了现有中国发电模式的领先效果。

二是五道文兰,这是一种超大规模的多模态预训练模式,目前性能已达到国际领先水平,在中国开放式多模态测试集AIC-ICC的图像生成描述任务中,得分比皇军高5%,在图文互检任务中,得分比目前最流行的Uniter模型高出20%。五道文兰模型已经向外界开放了API。

第三种是五道文汇报,这是一种面向认知的超大型新型预训练模式,目前,参数标度达到113亿元,在许多任务中,五道文汇报的性能已接近突破图灵测试,通过简单的微调、艾诗、艾画、艾视频制作、图形文本生成、图形文本检索、复杂推理等功能得以实现。

四是五道温溯源,即超大型蛋白质序列预测预训练模型,目前基于100gbuniparc数据库的BERT模型已完成蛋白质训练,并在基因方面完成了基于5~100000人外周血免疫细胞(25~30种细胞)和10000株耐药菌的数据训练,同时建立了训练软件框架,验证了其扩展性。

唐杰教授说,武道1.0已经完成了100亿到1000亿参数的预培训,在多项国际评论中名列世界第一,在一些任务上具有一定的认知能力。目前,智源研究所已经启动了第一阶段的演示应用建设,今年还将发布后续迭代版本,向业界开放。

(温/北京青年报记者雷加)

编辑/张鹏

上一篇:小米平板电脑信息披露摘要,期待已久的产品已经到来

下一篇:最后一页