AI手语数字人华同学(智谱AI供图)
让机器像人一样思考,是很多人工智能(AI)从业者的美好愿景,也是不少投资人看好的赛道。
(资料图片仅供参考)
今年9月,智谱AI宣布获得数亿元人民币B轮融资,本次融资由君联资本和启明创投联合领投,将被用来继续投入到打造高性能千亿级普惠大模型。
启明创投合伙人周志峰表示:“下一个十年,人工智能将走向认知智能,预训练大模型是其核心技术推动力和关键基础设施,让AI吸收更多的知识去理解和思考,最终实现接近人类水平的认知。同时,预训练大模型使得AI从依赖手工调参建模走向可大规模复制的工业化阶段。”
日前,大规模预训练语言模型ChatGPT成功破圈,它可以按照要求写诗、写新闻稿甚至生成代码,使得大模型的创新热潮备受关注。为此,《中国科学报》记者采访了智谱AI总裁王绍兰,请他谈谈未来的AI技术与大模型的发展趋势。
打造国产开源大模型
2020年6月,人工智能公司OpenAI发布了GPT-3语言模型,其千亿参数的规模和强大的语言处理能力给AI界带来了前所未有的震动。今年年初,OpenAI将GPT-3微调为InstructGPT ,减少了不真实的、有偏差的输入。如今,OpenAI又将其进一步升级为ChatGPT,并在线上测试中展现出惊人的语言能力。
遗憾的是,GPT-3 的模型参数不开源,仅以付费 API (应用程序编程接口)的形式提供给海外用户(中国地区不可用),这给研究者对模型的深入探索设立了壁垒。
当前,虽然互联网公司Meta开源了大模型OPT,AI创业公司Hugging Face开源了BLOOM,但用户至少需要一台 A100(80G * 8)服务器才能启动推理,大部分普通研究者仍然被挡在门槛之外。
与此相对是,今年8月,由清华大学知识工程实验室(KEG)与智谱AI共同研发的大规模中英文预训练语言模型GLM-130B正式发布,该模型以开源开放的形式供研究机构或个人免费下载使用。团队在模型量化方面做了大量尝试,用户可以在一台 A100(40G * 8)或V100(32G * 8)服务器上进行推理。
不久前,斯坦福大学基础模型研究中心的负责人Percy Liang等开展了一项研究,对国际上众多大模型进行对比,其中GLM-130B模型在鲁棒性(健壮性)和正确率方面均取得了较好的表现,且该评测仅使用英文任务,GLM-130B可同时支持中英双语。
从2021年12月起,清华大学KEG、PACMAN(并行与分布式计算机系统)、NLP(自然语言处理)等实验室就开始了关于训练千亿参数的稠密模型的讨论。随着工作的推进,研究团队一直没有找到充足、稳定的计算资源用于模型训练。
今年4月,在了解到清华大学KEG实验室的千亿参数GLM模型训练缺少计算资源的情况后,智谱AI决定为这一项目免费提供模型训练所需的算力支持。
经过多方的协调与努力,智谱AI最终租用了近百台A100服务器,为KEG实验室提供了模型训练所需的算力,并致力于将这一研究开源、开放,让研究界和产业界都能超低成本理解大模型、超低成本使用大模型。
“如此规模的算力、以月为单位的租用,其成本对于创业公司来说不是小数目,但公司还是毅然决定为项目提供支持,”王绍兰表示,“我们希望通过这样的方式,能让更多人直接地用上大模型,带动更多人了解和认可大模型。最终,让大模型技术像云计算、大数据一样成为信息化、智能化系统的基础设施,为各行各业赋能。”
大模型赋能的数字人
日前,第二十二届世界杯足球赛正在卡塔尔进行,在相关视频App的世界杯转播报道中,总会有一个熟悉的身影出现在视频节目左下角。
她是智谱AI研发的AI手语数字人华同学,可以为观众提供专业、准确的手语体育赛事解说,向听障人群传递着足球场上的“声音”。
早在北京冬奥会和冬残奥会期间,华同学就曾服务于《北京您早》节目,对“冬奥赛事集锦”和“一起看冬奥”进行手语播报。
“用数字人完成手语播报,不仅降低了冬奥运营成本,还彰显了冬奥的科技创新力。”王绍兰介绍,智谱AI研发的智慧手语系列产品,涵盖手语播报、手语翻译以及手语词典三种应用,满足手语信息播报、实时翻译交流、手语学习等多个场景的需求。
“大规模预训练模型赋能的数字人,体现了智谱AI的社会公益情怀,让科技更有温度。”王绍兰表示,“以千亿级预训练大模型为核心,我们的数字人已经在AI虚拟面试官、虚拟主持人、智能客服、陪聊机器人等场景得到应用。接下来,我们还将继续拓展数字人的应用场景,建立数字人生态合作,加快实现‘数智人’。”
记者获悉,智谱AI基于开源的千亿双语预训练模型GLM,推出了聊天机器人XDAI和chatGLM,让机器模拟人类的思考模式,实现知识具象化的对话系统。
与此同时,在大模型的技术基础之上,智谱AI还提出了Model as a Service(MaaS)的市场理念,即提供模型共训服务、模型授权服务,以及API开放平台等,联合上下游伙伴建设大模型生态。
在生态建设方面,智谱AI与中国计算机学会(CCF)联合发起了CCF-智谱大模型基金,围绕预训练大模型理论、算法、模型、应用等相关研究提供资助,希望通过降低大模型研究的门槛,让每一个计算机领域科研工作者均有机会参与大模型的研究,推进大模型技术和应用的创新落地。
经历时间检验的初心
没有一次成功是偶然的,技术走出实验室并投身到市场应用更是如此。
智谱AI成立于2019年,由清华大学KEG实验室的技术成果转化而来。在智谱AI核心团队中,CEO张鹏毕业于清华大学计算机系,董事长刘德兵是中国工程院院士高文的弟子,王绍兰则是清华大学创新领军博士。
早在2006年,清华大学KEG实验室就启动了科技信息分析引擎ArnetMiner(以下简称AMiner)的相关研究,到真正实现产业化,即智谱AI成立的时候已经过去10多年。当年的研究团队先后获得了国际顶级会议SIGKDD的十年最佳论文(Test-of-Time Award)、国家科学进步奖二等奖、北京市发明专利奖一等奖。
“技术要实现产业化还需要做到洞察市场需求、持续创新推广、赋能产业生态。”王绍兰回忆,“当时仅仅是为了抓取、清洗数据,我们在南京专门成立了分公司,共40多人,从一开始的手工标注,到逐渐建立起技术规则,再到将AI算法灵活应用其中。”
在日复一日的打磨和探索下,如今的AMiner系统收录了全球1亿余位学者、38万机构发表的3.3亿篇论文、1.1亿篇专利、280万个科研项目,并构建了亿级高清知识图谱,涵盖40个学科800万知识概念和11亿条关联关系,每年吸引全球220个国家/地区3000多万独立IP访问。
这些年来,从实验室的技术出发,智谱AI一直保持初心,努力学习。“实现知识与大模型的融合需要产学研强结合,需要打造研究生态、硬件生态、智算生态、应用生态、组织生态。”王绍兰向《中国科学报》透露,“我们希望通过打造支持不同场景、不同方向的智能应用程序的底层人工智能架构,赋能千行百业,‘让机器像人一样思考’将是可以触及的未来。”
热门