预训练模型创业渐入佳境

2月10日，创新工场在京宣布，北京澜舟科技公司已完成近亿元Pre-A轮融资，此次融资由联想创投、斯道资本共同领投，创新工场跟投。本轮融资澜舟科技将主要用于自然语言处理（NLP）核心产品的开发和前瞻性研究。

澜舟科技的新一轮融资，是时下围绕人工智能预训练大模型的创新创业渐入佳境的生动体现。在澜舟科技创始人兼CEO周明看来，当前，无论从预训练模型的重大技术突破，还是国家创新创业的鼓励政策来看，硬核科技创业都展现出蓬勃发展的势头，可谓“硬科技创业正当时”。周明说：“从感知智能到认知智能，这里蕴藏着巨大商机。”

预训练大模型的新进展新趋势，也为资本带来了新赛道。创新工场董事长兼CEO李开复表示：“创新工场挖掘并协助了这个领域的世界级科学家周明博士，从0到1多方位立体赋能孵化了澜舟科技。”

澜舟科技已获得三轮融资。创新工场供图

从大练模型到练大模型

预训练模型（pre-trained model）是前人为了解决问题所创造出来的模型。后人在解决类似问题的时候，无需再从零开始训练一个新模型，而是可以利用此前在类似问题中训练过的模型来解决现有问题。

比如说，如果你想开发自动驾驶汽车的图像识别功能，你可以从零开始构建一个性能优良的图像识别算法模型，但这往往需要花数年的时间；预训练模型则可极大缩短这样的研发周期，你可以利用谷歌公司在ImageNet数据集上训练得到的类似模型，通过调参、完善后，来实现汽车的图像识别功能。

这就好比小说《倚天屠龙记》里的张无忌，在习得内功“九阳真经”之后，再学“乾坤大挪移”、“太极拳”等招式就简单易行、进步神速了。研发预训练模型，就类似小说中的“修炼内功”。

正是因为预训练模型的极大应用潜力，国内外形成了“大练模型”和“练大模型”的热潮。

2020年，OpenAI发布了拥有 1750 亿参数量的预训练模型 GPT-3，它不仅能够写文章、答题、翻译，还具备多轮对话、敲代码、数学计算等能力。

2021年底，麻省理工大学与哥伦比亚大学、哈佛大学、滑铁卢大学的联合研究团队提出了一个可以大规模自动解决、评分和生成大学阶段数学问题的模型，推动人工智能和高等教育结合。

在国内，预训练模型的研发也在加速追赶。

百度公司发布了产业级知识增强大模型 “文心”，并基于“文心”模型形成了产业全景图。其中的跨模态生成模型 ERNIE-ViLG ，首次将图像生成和文本生成统一建模，增强模型的跨模态语义对齐能力，显著提升图文生成效果。

由北京智源人工智能研究院牵头，汇聚清华、北大、人大、中科院和相关企业共同研发的超大规模预训练模型“悟道”也于2021年亮相，该模型从基础性能、有效使用到预训练模型扩展等，提出了一系列创新解决方法，取得了多项国际领先的技术突破。

此外，华为联合鹏程实验室等也发布了“盘古”大模型，阿里巴巴达摩院发布了中文语言模型 PLUG。行业巨头牵引，众多企事业单位参与，有力推动了我国预训练模型研发走向纵深。

“超大规模预训练模型的出现，很可能改变信息产业格局。”清华大学计算机系教授、北京智源人工智能研究院副院长唐杰表示，“继基于数据的互联网时代、基于算力的云计算时代之后，接下来可能将进入基于模型的 AI 时代。”

把模型运用于解决实际问题

预训练模型研究的热潮，也成就了澜舟科技等一批创业企业。

周明是世界级的AI科学家、自然语言处理领域的代表性人物。作为澜舟科技的创始人，周明带领团队于2021年研发出了名为“孟子”的轻量化中文预训练模型。

周明介绍，预训练模型是利用大规模语料库、通过无监督方式训练出的一个大规模的语言模型，根据上下文定义每个词的语义表达，并基于模型做下游的任务，比如说机器翻译，文本生成，问答搜索等。

过去几年，预训练模型在自然语言领域得到非常广泛的重视，各大公司学校都开展了预训练模型的研究，出现了模型越大越好的趋势。

“可是模型越大，训练成本越高，要求机器设备的能力也就越大，这就产生了环保和节能的问题。中小企业可能还会因为硬件制约无法使用。”周明表示，正是基于这样的现实需求，澜舟科技研发的“孟子”模型，实现了用更小的模型规模（10亿参数量）比肩超大模型的性能，并且具备灵活的领域和场景适应能力，有利于快速、低成本地落地现实业务场景。

“很多大公司依赖自身强大的运算能力和大数据能力，不停地推出大模型，澜舟科技作为初创公司，比算力是比不过的，那我们就去比智慧、比算法、比知识。”周明表示。

目前，“孟子”模型已在多个领域成功落地实践，衍生出多项行业领先的产品，涵盖机器翻译、文本生成、行业搜索等领域。

澜舟科技已经与传神公司合作，共同赋能翻译行业，助力企业提高国际语言竞争力。澜舟科技合伙人李京梅介绍，2021年9月澜舟科技和传神合作的第一个基于孟子预训练模型的“任度”翻译引擎正式发布上线， 截至目前澜舟科技已完成了各行业垂直领域20余个翻译模型的开发，覆盖新闻、金融、汽车等领域。

“不久后的未来，双方还会逐步推出以中文为中心的多语言翻译引擎，最终形成以中文为中心的多领域，多语言，甚至多模态的机器翻译体系。”李京梅表示，目前双方的合作翻译引擎会用于传神面向个人译员提供的孪生译员网和面向翻译机构的语联网AI开放平台等。

此外，澜舟科技也与数说故事旗下的容徽公司合作，成功上线发布了第一个合作产品“contentnote智能文案”。同时，澜舟科技也分别与华为云、同花顺等行业企业签署战略合作协议，携手创造“产业+AI”时代的业务价值。

在从科学家到创业者的转变中，周明希望自己能“带领澜舟科技团队，致力于打造以 NLP为核心技术的新一代认知智能平台，帮助从业人员大幅度提高信息获取、搜索、翻译、分析研判、业务预测、报告生成和决策辅助能力”。

资本助力硬科技创业

作为一家基于预训练模型创业的认知智能公司，澜舟科技自成立以来，已经接连获得了3轮融资。此前公司分别完成了由创新工场人工智能工程院和前沿科技基金主导的种子轮和天使轮融资。

“在过去两年，我们进行了世界范围内的技术研究，并看到了‘自监督学习’新技术正在崛起。我们预测，这项技术将把自然语言理解带到下一阶段并超越人类的水平，对于近40年前就投身于自然语言领域的我意义非凡。”李开复表示。

正是这样的投资聚焦，让创新工场再次“下注”澜舟科技。

“创新工场前沿科技基金目标是成为科技创业者的首轮投资人和长期朋友，成立至今已完成多个突破性技术创新项目的布局，未来将持续围绕AI、生命科学、新能源等多个领域，探索深度科技的全球市场。”创新工场执行董事兼前沿科技基金总经理任博冰表示，“我们持续看好周明博士团队在认知智能领域的产业落地。”

李京梅表示，此次澜舟科技获得的Pre-A轮融资，主要会用于产品的研发和NLP前瞻的研究工作，双轨驱动，缺一不可。“一方面澜舟科技致力于打造基于NLP技术在领域应用，产业发展的落地产品，另外一方面我们也会持续NLP的前瞻研究，例如提升模型的可解释性，小样本学习能力，复杂推理能力，真正做到从感知智能到认知智能的突破。”

“澜舟科技拥有世界级科学家周明博士和其带领的团队，一年内获得了从技术突破到商业落地多方面的喜人成绩。”李开复表示，“我们期待澜舟科技一步步成为全球NLP领域的顶尖公司。”

作为澜舟科技Pre-A轮的领投方之一，联想创投总裁、管理合伙人贺志强表示：“联想创投一直寻找科技与产业紧密结合的新机会，旨在带来行业效益大幅度提升。澜舟科技正是有代表性的企业之一。未来，联想创投将支持澜舟科技在企业从感知智能迈进认知智能方面贡献力量。”

另一家澜舟科技Pre-A轮的领投方——斯道资本投资合伙人赵峰也表示：“斯道资本长期关注全球企业IT领域的发展，致力支持能从用户需求出发，坚持技术创造价值，赋能产业升级的企业。”

“近年来，语音等感知智能技术已相对成熟，得益于预训练模型技术的突破，自然语言理解的能力实现了大幅提升，我们相信认知智能将跃上一个新的台阶，”赵峰说。

“从此次澜舟科技再获融资出发，我们可以看到，一方面大环境，包括疫情、互联网寒冬、AI落地不尽如意等问题，导致投资机构从去年开始观望惜投；另一方面，国家鼓励硬核技术创新，很多投资机构开始转向。”周明表示，这需要一个过程，而优质创业团队比较稀缺，所以大家都是采用了优中选优的方式。

“我们此次获得投资还比较顺利，除了我们的技术、人才、团队，也是借助了硬科技投资的东风。”周明说。