「意想改日最佳的形貌即是亲手创造改日。」

01 「范式」创新

故事的开头发生在 2018 年的秋天，北京海淀区。

那一天，10 月 11 日，一个寻常的周四，刘知远像平素一样民俗性地掀开 arXiv 的网页，浏览来自全球各地学者上传的东说念主工智能（AI）范围最新服务。大多时候，arXiv 上的论文质地杂沓不皆，刘知远只粗陋浏览来获取大致信息；但这一天，他却被言语小组所冠名的一篇论文所深深眩惑了。

正本只是点进去瞄一眼，终结越看越沉迷、越看越吃惊，关上电脑后仍久久不行回神，为其中的想想所倾倒。不出所料，他很快发现，这篇论文也引起了国内其他东说念主工智能学者的泛泛怜惜，清华、北大、东说念主大与复旦等高校的教师与学生也在浓烈究诘该服务。

人人都朦胧以为：「这可能是东说念主工智能范围的又一次期间范式创新。」

这个服务，即是自后大名鼎鼎、如今在谷歌学术上已被援用迥殊七万次的 BERT 论文——「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」。

论文畅达：https://arxiv.org/pdf/1810.04805.pdf

在中语的语境中，「范式」并不是一个常见词汇。但在雷峰网看望大模子的过程中，这个词被反复屡次说起，一次是态状 2012 年的深度学习，一次是 2018 年的 BERT，另一次则是 2022 年 ChatGPT 出来前的中国大模子创业地方：「那时人人莫得朝通用东说念主工智能（AGI）的地方去想，但以为可以将大模子作念成一个通用的东说念主工智能范式。」这是后话。

回到 BERT。

总站主要职能是开展青少年校外教育辅导、工作研究、运行指导、骨干培训、统筹协调等工作。经过几个月的准备，海陵区关工委办起校外教育辅导总站及直属分站，使辅导服务向社会拓展，管理服务向基层延伸，指导服务向全区覆盖，护航青少年健康成长。

「范式」一词源于英文单词「paradigm」，意指一个范围的基础体系与架构，如西服、汉服分别是服装范围的两个不同范式，在这两个范式的基础上，服装师可以遐想出万般各样、形貌不一的服装。简而言之，范式代表了底层想路的变革，差别以前与改日。

而 BERT 的「双向预锻练」想路体现了这一后劲。

AI 有三大地方：狡计机视觉（CV）、（NLP）与机器学习（ML），其中 NLP 的终极运筹帷幄是让狡计机领略东说念主类言语。那么，如何判断狡计机已司领略东说念主类言语？BERT 之前的很长一段时辰里，NLP 的接洽想路都是将言语领略拆分红微细的任务地方，如机器翻译、文本对比、语义分析等等，再针对每项任务分别进行 AI 算法的遐想与锻练。比如，刘知远在读博期间（2006-2011）的接洽地方即是 NLP 的一项基础任务，叫「关键词抽取」。

而 BERT 与传统方法的区别在于：传统的统计学习或深度学习是让 AI 算法胜仗学习某个任务（如文本对比）的数据，在学习这些数据前，AI 就像一张白纸，莫得任何基础才调，锻练出来的算法也只可实行一项任务；而 BERT 的预锻练方法是在学习任务数据前，先让 AI 背诵海量的标注数据，十分于张望前先作念了一遍卷子，因此锻练出来的算法在之后的「张望」实战中阐发愈加出色。

BERT 不是第一个经受预锻练方法的言语模子；此前数月，OpenAI 发布的 GPT-1 亦然。但 BERT 的更变之处在于，它用双向锻练的想路冲突了原先预锻练方法对指定任务框架的依赖。

GPT-1 是单向结构，只可从左往右、或从右往左地来学习文本信息，因此锻练出来的算法只可实行一项言语任务，如 GPT-1 擅长文本生成，但不擅长领略；而 BERT 是双向结构，能够同期从左边和右边学习言语表征，并在多个任务的海量未标注数据上学习，因此能同期实行常识问答、迂回文填空、文身手悟等多种言语任务，且在各项任务上的阐发都超越了那时的扫数模子，很快在言语领略巨擘榜单 GLUE 上霸榜第一。

人人都对 BERT 的效果感到震撼，就像回到了 2012 年深度学习初显威力时：

那一年，加拿大多伦多大学锻练 Geoffrey Hinton 带领两个学生，Alex Krizhevsky 与 Ilya Sutskever（现 OpenAI 首席科学家），用深度学习方法锻练出的 AlexNet 横扫寰宇狡计机视觉大赛 ImageNet，将第二名开外的扫数统计学习算法远远甩在背面，「深度学习」一战成名，连接洽 NLP 的学者也在胁制究诘。

比较深度学习，BERT 那时的水花要小得多，但国内的一众 NLP 学者也感到了争分夺秒的急迫。

天然莫得精准统计，但多位学者告诉雷峰网，2012 年深度学习崛起后，无论是接洽照旧落地，视觉都是国内 AI 圈中接洽东说念主数最多、接洽热度最高的地方；从 2012 年到 2018 年，言语范围的变化不如视觉范围那么大，在拥抱深度学习的波浪中也不是至极杰出。

刘知远附庸于清华大学天然言语处理实验室（THUNLP），孙茂松是该实验室的主任。2012 年，孙茂松正好牵头请求国度科技部的 973 猜度打算项目，为了更好地 NLP 的改日期间阶梯，组织了北大、哈工大、中科大自动化所、百度在内的几个单元一说念究诘。人人一致看好深度学习，于是项目到手请求后，THUNLP 也从 2013 年运行转向深度学习。自后，深度学习果然席卷全球。

自此，「勇于自我创新」就成为 THUNLP 的接洽精神。BERT 出来后，刘知远也很快决定转向预锻练方法。他们的想路是用常识图谱的方法抽取出一条条详尽的常识，再注入预锻练言语模子中，以此让模子变得更智能。他们与华为诺亚方舟实验室的刘群、蒋欣合作，很快研发出一个预锻练言语模子，起名「ERNIE」，并投稿到 NLP 顶级学术会议 ACL 2019 上。

孙茂松（左）、刘知远（右）

恰好的是，2018 年百度的 NLP 团队也为 BERT 所震撼，并简直同期完成了一个预锻练言语模子，率先发表在 arXiv 上，且同样起名「ERNIE」。两个团队都是按好意思国动漫片《芝麻街》的扮装定名，因为此前的预锻练模子如 ELMO、BERT 都是《芝麻街》里的扮装。谷歌用了 BERT，他们的运筹帷幄都是对标谷歌，就猜想了一块去。

两个「ERNIE」在部分任务上的性能都超越了 BERT。百度在 arXiv 上的发布在先，THUNLP 与华为合作的论文被秉承在后。为了与百度区分开，刘知远等东说念主便将模子的名字修改了，百度则一直沿用该称谓。自后，百度真金不怕火大模子，中语名叫「文心」，英文名则一直叫「ERNIE」。

不出所料，预锻练连忙成为 NLP 范围的主流方法。同期，部分国际团队也有厉害感觉，连忙跟上 BERT 的双向预锻练方法。2019 年 2 月，OpenAI 发布了 GPT-2。天然 GPT-2 比 GPT-1 的生收效果更好，但在许多言语任务上仍比不外 BERT，因此那时 OpenAI 的声量完全被谷歌压了下去。

皇冠hg86a

但一年半后，历史再一次被刷新：

2020 年 6 月，OpenAI 倏得发布了一个超乎扫数东说念主遐想的接洽服从——参数限制高达 1750 亿的 GPT-3。同是预锻练言语模子，但 GPT-3 的参数目是 BERT 的 500 倍，不仅能作念言语生成，而况在各项言语领略类的任务上也迥殊了 BERT。

扫数东说念主的接洽寰宇不雅都被颠覆了。

02 GPT-3 焚烧

莫得东说念主猜想，预锻练言语模子的参数目被放大后会出现所谓的「智能涌现」。谷歌对于该风物的佐证论文亦然一年后才发表。

BERT 的参数目是 3.4 亿，与 2018 年的扫数言语模子比较都是当之无愧的「大模子」，但人人的怜惜点更多在它的预锻练方法上，根蒂莫得想过像 OpenAI 一样胜仗「堆量」。GPT-3 堆量的步履就像让 AI 模子将扫数这个词藏书楼胜仗死记硬背下来一样。

终结，死记硬背的 GPT-3 不仅领略才调变得相当强，还具备一定的推理才调。乃至在一些未标注的数据与任务上，GPT-3 也能现学现卖，取得可以的终结。

之前的言语小模子在注入常识后，智能水平也会随之辅助，这是人人所能领略的。但 OpenAI 不详了从文本数据中抽取常识的法子，而是完全靠堆参数、让 GPT-3 硬学的「暴力好意思学」则让扫数东说念主都大跌眼镜。甚而有说法称，GPT-3 试验上依然通过了图灵测试。

图灵测试由「东说念主工智能之父」艾伦·图灵在 1950 年冷漠，全球的东说念主工智能发展历经 70 年才初度通过，因此对 AI 圈的冲击相当大。GPT-3 不仅是天然言语处理范围的首要突破，更是 AI 范围的一个里程碑。一时辰，言语智能的究诘达到了空前高度。不啻刘知远等 NLP 学者，信息检索地方的关系东说念主员也在胁制究诘。

更夸张的是，OpenAI 堪称在锻练 GPT-3 时用了一万张显卡。

常常来说，高校科研中，算力诱骗的成本苟简只占一个老师全体科研经费的 20%，领有迥殊 500 张卡即是学术界的土豪级玩家。先前，国表里的 AI 科学家在接洽 NLP 时大多是用单卡，或单机多卡，但 GPT-3 的锻练一共用了一万张卡，折算下来苟简 1200 万好意思金，迥殊 8000 万东说念主民币。

从工程搭建的角度看，锻练 GPT-3 的工程难度亦然前无古东说念主。以 BERT 为例，3.4 亿参数的 BERT 锻练工程量与 1750 亿参数的 GPT-3 锻练工程量比较，就像造玩物车与造飞机的区别。玩物车的工程量不适用于航空飞机，同样，以前言语小模子的锻练常识也不适用于大模子。

GPT-3 对 BERT 的碾压，骨子上是「大限制预锻练言语模子」对「预锻练言语模子」的碾压。

一方面，人人为 GPT-3 欢乐；另一方面，内心又感到极大的落差。在此之前，国内的一众学者大多自我感觉精熟，以为国内团队发表的论文水平与好意思国高校不相迂回；GPT-3 出来后，他们才知说念原来我方与国际顶尖水平还有如斯大的差距。

2020 年夏天的北京五说念口，清华、北大、东说念主大、中科院等高校的狡计机与东说念主工智能学者都在怜惜 GPT-3。尽管那时莫得东说念主能说清 GPT-3 强劲的机理，但直观告诉人人，这是 AI 范围的一个进军分水岭。GPT-3 产生的冲击如斯之大，以至于一些学者决定，无论如何都要接洽大限制预锻练言语模子，简称「大模子」。

刘知远即是其中的一员。那时，接洽大模子最杰出的迫害是算力，刘知远就一边去找清华高性能狡计地方的陈文光、韩文弢等老师合作接洽，想用散播式加快狡计来裁汰大模子的锻练就本，同期也将眼神投向 THUNLP 以外，寻求外界的匡助。

那时，孙茂松在距离清华东门不到一百米的一家新式东说念主工智能研发机构里担任天然言语处理地方的首席科学家，刘知远也在其中担任后生科学家。很天然地，刘知远便猜想了去该机构谈合作。

这个机构，即是如今大名鼎鼎的北京智源东说念主工智能接洽院（BAAI）。

智源大楼外不雅

但那时，智源只是一个成立不外一年半、正在发展设置中的接洽单元。

智源的成立是北京国际创新中心设置蓝图中的一角，由科技部与北京市共同指导成立，肩负东说念主工智能前沿探索的服务。通过「智源学者」、「智源大会」与「青源会」等项目，智源畅达了北京地区约一百位出色的 AI 科学家，与人人建立了缜密琢磨的同期，也重视与智源学者共同寻找 AI 范围的「下一个大事件」。

智源接洽院院长黄铁军告诉雷峰网，智源学者的评比本人就很严格，是以在评比出对应的学者后，智源会向智源学者提供对应的经费赈济，且不要求提交接洽服从；相悖，智源更介怀人人能一说念探索出值得插足的首要 AI 地方。

2019 年 4 月，智源设置了几个首要塞方，包括天然言语处理、机器学习、信息检索等，每个地方都有 5 到 10 位驰名学者皆集究诘。天然言语处理地方有孙茂松、何晓冬、刘知远等等，智能信息检索地方有文继荣、唐杰等等。GPT-3 出来后，几大地方的学者都在究诘 GPT-3，究诘要如何接洽中国的大模子。

在最终达成共鸣之前，智源里面经过了几轮进军究诘。

前两次在北京的雁栖湖：2020 年 7 月是机器学习地方的会，该地方的智源学者认为 GPT-3 是一个大地方，如今言语大模子依然出来，应该接洽视觉大模子，但究诘后以为视觉大模子花费的算力更大，是以莫得付诸行径；8月是信息检索与挖掘地方，文继荣与唐杰等东说念主在会上究诘言语大模子。到 9 月，在智源的院办公会上，刘知远冷漠想接洽通用言语模子。

国庆末端后，10 月 10 日，智源在雁栖湖又召开了一次究诘，邀请不同地方的学者参会，最终在会上达成共鸣，要构成一个攻关团队，在大模子方进取开展合作。

立项后，智源在各个渠说念发出「勇士帖」，邀请对大模子感意思的学者一同接洽，并称「勇士不问出处」。召集令一出，与众学者的宗旨殊途同归，人人纷纭报名。

最先举手的是清华与东说念主大的老师，有刘知远、文继荣、唐杰、黄民烈等东说念主。随后，北大与中科院等高校的学者也暗示感意思，一些智源外部的成员也参与了进来，如那时在阿里巴巴达摩院任职的杨红霞。到临了，智源的大模子项目皆集了约一百东说念主，时任智源副院长的唐杰被委任为项目总负责东说念主。

唐杰

那年 10 月，智源接洽院向时任北京市市长陈吉宁阐发了这个「百东说念主大模子猜度打算」，陈市长很振作地暗示：「这（大模子）是东说念主工智能改日的核爆点，会带来扫数这个词产生生态的旺盛发展。」北京市决定苟且赈济，并为智源批准专项经费购买算力。

事实上，那时好多东说念主还看不清大模子是什么，且大模子的研发需要高尚经费。但在 2020 年 10 月，从学者到智源，从北京市到科技部，人人都达成了一个共鸣，即是全力鞭策中国大模子的研发。过后，多位学者都向雷峰网抒发惊叹：「很奇怪，那时人人都莫得彷徨。」

人人认为，大模子可以作念成一件更大的事情。除了言语大模子，「数目引起质变」的想想概略也能在其他范围产生突破，于是，经过究诘，人人决定「兵分四路」，从四个地方开拓中国的大模子：中语大模子、多模态大模子、阐发大模子与卵白质大模子，轮番由刘知远、文继荣与唐杰带领，其中唐杰负责后两块，十分于「三个团队作念四件事」。

文继荣

2020 年 11 月，小组究诘定名。在顺义春晖园的天然言语处理年会上，孙茂松说，人人都是接洽言语关系的，建议斡旋用「文」字开头。究诘后，四个小组共同以清代真贵《四库全书》的七座皇家藏书楼中的四座进行了定名，轮番为「文源」、「文澜」、「文汇」与「文溯」。

为了暗示人人是一个全体，智源建议起一个斡旋代号，就邀请人人到智源那时位于五说念口的赛尔大厦开会。会上，唐杰提议定名与五说念口关联，因为人人都在五说念口、对五说念口都有很深的心思，于是世东说念主一说念想了几个名字。一场头脑风暴后，东说念主大的宋睿华提议叫「悟说念」，与「五说念」谐音，人人都说好。

「悟说念」即是这样来的。

03 悟说念群星醒目时

皇冠客服飞机：@seo3687

悟说念的初志很义结金兰：追逐 GPT-3，接洽中国的大模子。

那么，什么是「中国的大模子」？

如今国内的大模子数目繁多、种类纷纭，以至于大模子的界说被朦拢化。但在 2020 年，悟说念成员的阐发很聚焦：归根结底，GPT-3 是一个以英文为主的言语大模子，而那时中国莫得，因此，「中国的大模子」起先应该是一个参数目达到 1750 亿或以上、以中语为主的大限制预锻练言语模子。

尽管自后有接洽标明，单一语种的言语大模子也具备一定的其他语种才调，但在中语的语境上，人人发现，用 GPT-3 来科罚许多中语的言语任务时常会出现语义不合、逻辑失误等等问题。一是因为 GPT-3 的锻练语料以英文为主，二是中国的接洽团队无从获知 GPT-3 的防卫锻练参数来精调。是以，无论是出于主不雅照旧客不雅，2020 年，自研国产大模子都是一个无从推拒的选项。

智源立项是在 2020 年 10 月，由于大模子需要大算力，智源也从 10 月份运行苟且插足算力等资源。智源一运行是猜度打算用既有的科研经费购买 300P，陈吉宁市长拍板要苟且赈济，又决定从专项经费中再拨款购买 700P，是以总计是 1000P。但审批与购买算力的经过不竭了一年多，是以悟说念启动初期主要靠租算力。

人人信赖大模子是改日的首要塞方，关系学者也自带部分干粮来参加智源的大模子项目：东说念主力上，各个老师带着各自团队的硕博生加入；资源上，智源算力还未完全到位时，学者们也通过各自的门道获取部分算力。举例，文继荣小组一运行是在东说念主大的机器上锻练多模态大模子，唐杰小组是在阿里云的机器上跑。

天然 GPT-3 的雷声很大，但在那时，像智源这样全力插足大模子的中国团队却未几好意思，悟说念甚而一度被唱衰。唱衰的情理主要有两类：一是大模子的研发十分烧钱，狡计成本动辄上千万；二是大模子非原独创新，只靠堆参数，期间含量不高。但智源照旧「一意孤行」，坚决要探索。

而等他们果真运行接洽后，才发现：OpenAI 并非招摇过市的江湖骗子，大模子的期间门槛也并非只须「堆算力」、「堆参数」。以中语大模子与多模态大模子为例，悟说念之前，全球 AI 在这两块的探索都是一派空缺。加上他们是中国第一批锻练大模子的东说念主，十分于一切重新运行，过程十分挑战。

但也恰是凭借这股一往无前的勇气，半年后，悟说念大模子便取得了飞跃的进展。

悟说念立项两个月后，2020 年 12 月，刘知远、黄民烈与韩文弢带领的文源团队便发布了全球第一个中语开源大模子「CPM」。CPM 的参数目只须 26 亿，与 GPT-3 比较微不及说念，但胜在以中语语料为主。此外，与 2019 年的「ERNIE」比较，CPM 的参数目依然扩大了几百倍，这不仅是工程量的到手，也考据了文源团队锻练中语大模子的想路可行。

黄民烈

文澜与文汇也简直与 CPM 归拢时辰找到解法。文澜算法中枢成员卢志武的「双塔」阶梯在 2020 年 12 月得到考据，文汇的百亿参数大模子在 2021 年 1 月完成。2021 年 3 月，智源将文源的 CPM、文澜基于 3000 万图文数据对锻练的多模态模子 BriVL 1.0、文汇的百亿参数中英双语大模子 GLM-10B 与多模态模子 CogView 1.0 等服从汇在一说念，统称「悟说念 1.0」在 2021 年 3 月进行了发布。

客不雅来说，「悟说念 1.0」并莫得引起太大的摇荡，但在中国广泛对大模子还莫得阐发的时候，悟说念告诉了人人「大模子是什么」，可以写诗、可以问答、可以图文对皆……比之前扫数的 NLP 算法都强劲。

在「悟说念 1.0」的发布会上，智源也初度冷漠「大模子」的主见。智源接洽院院长黄铁军创造了一个金句，他称，连年来，东说念主工智能的发展依然从「大真金不怕火模子」逐渐迈向「真金不怕火大模子」，即：2012 年深度学习起来后，全球出现大量的 AI 小模子，而「真金不怕火大模子」是集约化锻练大模子，遐想更先进的算法、整合更多的数据、汇注大量算力，一个模子能供大量企业使用。

换言之，大模子不仅参数限制大，而况智商要高。此次发布会扫清了外界对智源的质疑，悟说念大模子初露头角。

黄铁军

在唐杰指挥的文汇小组中，达摩院工程师杨红霞与轮回智能鸠合创始东说念主杨植麟是中枢成员。智源莫得末端悟说念成员的接洽解放，杨红霞参与阿里大模子，杨植麟带队轮回智能与华为合作，2021 年 4 月，阿里也发布了 270 亿参数的大模子「PLUG」，华为发布盘古。悟说念不仅成为学者之间的桥梁，也加强了学术界与工业界的合作。

与文源一样，文汇团队也皆集了一批来落拓性能狡计地方的后生科研东说念主才，如陈文光、翟季冬，他们与韩文弢均属于郑纬民院士的团队。对于大模子来说，高性能狡计范围的散播式加快狡计方法对于提魁岸模子的锻练速率、裁汰其锻练就本有着至关进军的真义。在悟说念项目中，高狡计东说念主才也被委以重担。

但对中国的大模子来说，高性能狡计更大的影响力是催生了中国的第一个万亿大模子：「悟说念 2.0」。

2020 年年底，在鞭策悟说念的同期，唐杰、陈文光与杨红霞三个东说念主也在猜度打算另一件事，即是请求堪称「超等狡计应用范围诺贝尔奖」的戈登贝尔奖。

请求戈登贝尔奖的超等狡计机需要知足几个要求：一是请求的超等狡计机必须是寰宇上最大的；二，在该机器上接洽的项目必须把机器跑满；第三，跑出来的项目终结必须有影响力。2021 年 1 月 GLM-10B 完成后，他们就决定在超算上跑大模子。

于是，他们派了 30 多个东说念主去山东青岛海洋实验室的「神威·海洋之光」上跑大模子。去的东说念主中，唐杰与翟季冬的学生是主力，翟季冬因为其在底层算子上作念并行锻练的才调杰出而被唐杰与陈文光拉来合伙，此外还有几个在线上提供赈济的阿里工程师。（阿里亦然国内最早研发大模子的团队之一，关联阿里大模子的发展历史，接待添加作家微信Fiona190913进行雷同）

翟季冬（左一）、韩文弢（右一）

他们将手上网罗的所罕有据都带去了青岛，包括中语、英文与图片等等，混在一说念锻练。因为戈登贝尔奖的要求是将机器跑满，是以他们将模子的参数目扩大到了 174 万亿，莫得对数据进行任何经管。在超算上跑了十天后，他们锻练出几个版块的大模子，每个模子的参数目都达到了百万亿级别。

天然限制大，但运行的成本也极高，超出了简直扫数东说念主的承担范围，于是他们就锻练了一个较为经管的基于 MoE 的模子，参数目 1.75 万亿，比 GPT-3 还大十倍，超越了谷歌 2021 年 4 月发布的 1.6 万亿参数大模子 Switch Transformer，成为那时全球最大的大模子，最终在 2021 年 6 月的智源大会上发布时成为全场焦点，胜仗被视为「悟说念 2.0」的全部，受到了国表里顶尖科技团队的泛泛好评。

智源一时欢乐无两，踏进国际大模子顶尖行列。

除了这个万亿大模子，「悟说念 2.0」试验上还包含了文源团队的两个百亿模子（110 亿参数的中语模子、110 亿参数的中英双语模子）与一个千亿模子（1980 亿参数的中英双语 MoE 模子），统称为「CPM 2.0」；文澜团队的 50 亿参数图文检索大模子 BriVL 2.0——这是中国的第一个多模态大模子，亦然那时寰宇上参数目最大、锻练数据最多的多模态大模子。

文澜之前，学术界接洽多模态的主流阶梯是「单塔」，即 Transformer 有 12 层，看上去像一座塔，同期输入笔墨与图片的 token 进行交互，然后证据笔墨与图片的相似度打分。但在参数目极大的情况下，在线一一比对的服从会相当低。卢志武于是冷漠「双塔」阶梯：

图像先用图像编码器处理，笔墨也先用笔墨编码器处理，两者先不交互，等各自领略了更高端倪的含义后再进行对比学习。如果图文的真义邻近，则双塔的距离近，反之则远。因为他们预先用多机并行的形貌将图像编码，造成一个个高维向量储存起来，是以在用笔墨检索时，只需将笔墨进行编码，不到一秒就能在高维向量中找到匹配的终结。文澜在 2020 年 11 月考据了「双塔」阶梯的可行性，两个月后 OpenAI 发布的 CLIP 架构（DALL·E 的幕后元勋）亦然同样想路。

卢志武

过后，卢志武等东说念主向雷峰网暗示，他们并不认为我方是「跟在别东说念主的屁股背面作念接洽」；无论是中语大模子、多模态大模子照旧万亿大模子等等，悟说念的三个小组都是深入无东说念主区才开辟了一番新寰宇。

为了接洽多模态大模子，卢志武将我方的扫数学生都插足到了文澜中，团队整整一年莫得发表任何学术论文。在高校中，无论对教师照旧学生来说，这都是极大的冒险。

同样，在接洽中语大模子时，由于清寒高质地的中语数据，刘知远与黄民烈的许多学生被派去作念数据标注与清洗。CPM 2.0 的接洽中，文源团队征集的原始数据高达 50TB，清洗后也有 2.6TB，学生在其中插足了大量的时辰与元气心灵。

总的来说，智源与悟说念的一百号东说念主都是济河焚州，「拿我方的劳动生涯在赌」，只是人人没猜想我方果然赌赢了：2021 年 6 月「悟说念 2.0」发布后，智源悟说念成为了中国大模子一面昭着的旗号，悟说念成员成为中国大模子的第一批开拓者。

04 ChatGPT 前夕

试验上，2021 年被称为中国的「大模子元年」：悟说念 2.0 发布后，2021 年 9 月，百度发布了百亿参数模子 PLATO-X；10 月，阿里达摩院发布参数目高达 10 万亿的大模子「M6」……

跟着各大团队的先后考据，尽管大模子的锻练就本居高不下，但在 2021 年就出现了一批诚实的大模子奴隶者。不仅国内，国外也出现巨擘的声息：

悟说念 2.0 发布两周后，谷歌就发表了论文，称言语模子的参数从百亿扩大到千亿后会出现所谓的「智能涌现」；2021 年 8 月，斯坦福大学的李飞飞、Percy Liang 等百位学者更是联名发表了一篇「基础模子」（即大模子）的论文综述，在国际上引起很大摇荡。

但许多悟说念成员知说念，事实上，在 2021 年，果真的国产千亿大模子还未出现。

悟说念 2.0 的千亿模子与万亿模子表层都是一个疏淡架构。天然模子的参数目通过疏淡化扩大，但底座仍然是百亿模子的才调。万亿大模子最终用硬盘拷下来的文献大小约为 20T，需要迥殊 500 张 A100 才能作念推理，是以悟说念团队将文献从山东拷回北京后我方也用不起，只可向工业界怒放。有几家公司拷走了文献，「但猜度拷且归也用不了」。

此外，万亿模子包含中英双语与图片数据，与 GPT-4 的锻练想路一样，表面上是一个「多模态大模子」。但那时，文汇团队莫得科罚一个期间上的问题，即 AI 模子的「灾祸性淡忘」。他们发现，加入图片数据后，万亿大模子会出现「灾祸性淡忘」，文本的才调被收缩，以至于万亿大模子的文本才调还比不上百亿模子 GLM-10B。近期对于 GPT-4 的泄漏信息也自大，GPT-4 与悟说念 2.0 的万亿模子一样，是一个基于 MoE 的模子，参数目苟简为 1.8 万亿。

比较模子才调的突破，万亿模子的更大孝敬是培养了一批果真懂得如何锻练大模子的后生东说念主才。那时，大模子对超算亦然崭新课题，海洋之光上只须浅陋的操作系统，为了锻练大模子，当初被派去青岛的 30 多个东说念主资历了从零到一的开拓过程，从底层算子改起，重写了表层的锻练框架与算法等。

是以，悟说念 2.0 发布后，悟说念的成员愈加执着地要锻练千亿大模子。

2021 年年底，在悟说念的里面会上，唐杰提了几个建议：一是锻练一个千亿模子，二是开发一个文本-视频模子和一个代码生成模子。但每个模子的参数限制都很大，他们算了一笔账，发现完成这些运筹帷幄要 1000 张卡不出错地连气儿跑两个月，锻练就本极高。

那时，智源只须 480 块 A100，把 400 块给了唐杰团队。在这 400 张卡上，唐杰小组研发了 10 亿参数的视频大模子（后升级到 60 亿），还向外界借资源锻练了代码大模子。

悟说念 2.0 受到泛泛怜惜，智源算力不及，鹏城实验室高文院士便邀请唐杰团队在鹏城实验室的 910A 机器上跑，陈文光也向唐杰支援了快要 2000 张华为的 920 显卡。那时，在大模子的锻练上，华为 920 的算子服从只须 A100 的 18%，唐杰团队襄助修改后将算子的服从辅助到了 40% 足下，并锻练出一个 130 亿参数的 CodeGeeX 代码模子，之后华为与唐杰团队的关系十分缜密。

这期间，唐杰小组适配了市面上的万般卡，发现 2000 张 910A 卡不可能短时辰跑出经管的千亿大模子，而 DCU 也需要上万张卡跑两个月才能跑完。临了，唐杰以其创立的智谱 AI 的形式从济南超算上租了 1000 张卡，从底层重构算子，插足 20 多东说念主锻练了 8 个月，才终于在 2022 年 7 月锻练出了千亿大模子——GLM-130B 横空出世。

在唐杰真金不怕火千亿模子与代码生成模子时，黄民烈转去真金不怕火对话大模子，自后发布的 EVA 与百度 PLATO 是国内最早的对话大模子；刘知远在中语大模子的基础上探索可控生成的言语模子，搭建大模子开源框架 OpenBMB……

而在唐杰完成从实验室到大模子创业的同期，中国第一批大模子公司赓续出生：

2021 年6 月，卢志武成立了「智子引擎」，探索多模态大模子的落地；2021 年 11 月，黄民烈创立了「聆心智能」，作念有心扉的超拟东说念主大模子；2022 年 3 月，孙茂松的博士生、文源中枢成员岂凡超创立了深言科技；2022 年 8 月，刘知远创立了「面壁智能」，探索高效锻练的「子民版大模子」……

2023 年，悟说念的影响力越来越大：杨植麟离开轮回智能，创立了「月之暗面」；杨红霞离开阿里达摩院，加入字节当先带队大模子，是字节大模子的中枢成员……

杨红霞（左）、杨植麟（右）

可以说，智源是当之无愧的「中国大模子黄埔军校」。

智源的成立配景是北京 2018 年运行设置新式接洽机构，推动科研机制体制校正，用机动的科研形貌促进北京东说念主工智能的创新。此前，科研管理经过复杂，从立项建议到指南发布再到经费请求、评审通过，周期漫长，难以适合强竞争环境下日月牙异的科研需求。按照这种体制，2020 年 10 月冷漠立项建议，最快也要 2022 年才能崇拜张开大模子接洽。

但在智源的平台上，悟说念团队当即立项，只用了不到五个月就推出了 1.0 版，八个月就完成了 2.0，取得了超卓服从，这无疑得益于其机动创新的科研体系。在大模子的鞭策过程中，智源立项连忙，学者一边建议，智源一边赈济。多位学者告诉雷峰网，他们向智源呈文需要若干机器后，常常几天就能拿到资源，是以项目鞭策地很快。雷峰网

大模子的期间特质决定了其锻练需要海量的狡计资源，而试验资源老是有限的，多个团队竞争资源，智源算力依然掣襟肘见。在悟说念 1.0 与 2.0 的过程中，各小组都需要不同进度地向外「讨」资源、「借」算力。与此同期，大模子也让人人看到新一代 AI 的商用落地远景。为了更好地探索大模子，一些学者就遴荐了离开智源，自主创业。

悟说念各团队基于大模子开发了许多前所未有的应用。比如，刘知远的学生秦禹嘉写了一套措施，用中语大模子调用 Bing 的搜索引擎来往答知乎问题，累计获利了数千个赞；卢志武团队用多模态大模子裁剪短视频，用宫崎骏的电影给歌曲配 MV 画面，在抖音上获利了 150 万的不雅看量……

那时候，尽管群众对大模子的怜惜度不高，但悟说念的成员都对这项新的期间感到无比振作。宋睿华每次出去演讲，给人人先容多模态大模子，都十分欢笑，称大模子是一只强大的大象，「不要把大象关在雪柜里」。

但可惜，2022 年之前，中国的阛阓并不肯意为大模子买单。

2022 年，中国的 AI 全面进入成本隆冬。成立大模子公司后，他们都曾信心满满地出去融资，终结莫得一个投资东说念主欢跃掏钱。

智源悟说念的扫数大模子服从都是开源的。但据宋睿华理会，即使文澜发布后有上千万次的调用，一些感意思的大企业也不肯意付费使用。

2022 年，国内对大模子的阐发仍广泛不及。GLM-130B 完成后，智谱 AI 将其放到 GitHub 上开源，终结许多开发者都不会用，冷漠万般各样的问题，以至于他们开源几个月才积聚了 1000 颗星。

扫数东说念主都知说念大模子很强，扫数东说念主也都知说念需要一个「爆款产物」来呈现大模子的才调，但扫数东说念主都莫得解法。期间上，他们成为了巨东说念主；但在产物上，他们仍然是矬子。

直到 ChatGPT 的出现。雷峰网

05 什么是言语智能？

宋睿华在 2020 年 9 月入职东说念主大，10 月参与悟说念文澜接洽。此前，她在微软小冰担任首席科学家，接洽文本生成，是「小冰写诗」的项目负责东说念主。

2018 年从微软到小冰后，宋睿华运行对阐发智能产交易思，想探索 AI 是如何领略东说念主类言语的。那年夏天，她读了好意思国加州大学圣地亚哥分校阐发科学锻练本杰明·伯根写的一册书，Louder Than Words: The Science of How The Mind Makes Meaning（后译作《咱们赖以糊口的真义》），深受启发。

宋睿华

该书指出，当东说念主类在阅读一册好的作品时，通常会读到停不下来，脑海中浮现出与笔墨相对应的画面；而如果一段笔墨塑造地好，丹青还会在读者的脑海里活机动现。是以，当东说念主类果真领略一段笔墨时，一个进军的阐发应该是可以遐想出一个场景，甚而补充笔墨里莫得的内容。

此外，领略言语不是为了用笔墨来作念任务，正如好多时候看书不是为了第二天要张望一样。但在以前，狡计机范围的科学家往往是通过设定一个个细分的任务来考量 AI 是否领略了东说念主类言语，如将体育类的著作与财经类的著作放在一说念进行对比，看 AI 是否能正确分辨。

ChatGPT 之前，国内接洽 AI 对话的期间东说念主员多来自论坛期间。他们的接洽想路主淌若源于论坛期间的聊天「对」，如论坛上 A 发一个帖子、B 与 C 鄙人面回复，一楼一楼地叠起来。在这样的模式下，模子进行怒放式对话时，就会深化衰败常识的短板，因为常识不会在这些「对」中。宋睿华的一个共事在拜访客户的过程中，客户问是否能作念一个好意思妆类的对话机器东说念主，但人人发现那时的 AI 对话作念不好，因为它们输出的内容以闲聊为主。

那时，宋睿华就胁制想考问题的所在。她想来想去，猜想了那时 AI 对话衰败常识的瑕疵所在：聊天「对」清寒寰宇常识，淌若能行使互联网上的扫数文本就好了。在小冰时，她猜想的解法是行使公众号的著作，因为公众号的博主会有相识地追热门，并从各个角度分析，信息都藏在笔墨里了，问题只在于如何将公众号的著作造成对话能用的笔墨。

但棋差一招。宋睿华想得很复杂，认为要先把笔墨详尽成图谱，然后再影响对话。比如，输入「鹿晗」，图谱中会出现一个邮筒成为指示 AI 的痕迹，因为 2016 年鹿晗在上国外滩的一只邮筒旁拍了张像片，之后他的粉丝都到阿谁邮筒足下打卡，该事件一度成为新闻。但这个方法有流毒：那时检索出著作中的原句作念回话，无意候太过书面语，无意候带入过剩的信息，并不是符合的回复。

看到 OpenAI 推出的 ChatGPT 后，宋睿华才豁然大悟，内心既慷慨又震撼：

「Bingo！就应该是这样解的！」

ChatGPT 一出来，宋睿华就第一时辰进行了试用，用完后感到十分惊诧。天然都是对话机器东说念主，但「小冰与 ChatGPT 就像两个物种」。ChatGPT 莫得围绕某项任务来积聚常识，而是先将常识学到模子里。就像东说念主类在日常阅读中积聚常识，读得越多、常识存量也会越多，遭逢某个「痕迹」（prompt）再调用积聚的常识，组合应用，而不是复述原文。

宋睿华告诉雷峰网，她那时细察到闲聊对话机器东说念主衰败泛泛的寰宇常识，也猜想要用互联网上扫数的著作去弥补不及，但即是莫得 Ilya Sutskever（ChatGPT 的期间负责东说念主）那样深厚的功力去解。

在 Ilya 的阐发里，扫数言语任务的才调都可以简化为单一的「 AI 推理」才调。而 Ilya 又认为，扫数的推理都可以通过展望下一个字来完成。举例，让 AI 看完一册捕快演义，掌持了演义里的扫数东说念主物关系与痕迹，然后在演义的临了一句，捕快站起来对人人说：「这个凶犯即是 ____ ！」这时，填空的内容就很考验模子的才调。有的 AI 模子逻辑才调强，能够填对东说念主名；有的模子会填一个错的东说念主名，但也阐发出了一定的逻辑才调；而有的模子填的根蒂不是东说念主名。

Ilya 认为，推理即是展望下一个字的精度有莫得提高。言语的领略很难界说，但可以用「展望」来代替领略。当 AI 胁制地学习如何展望下一个字时，就依然学会了领略与推理。因此，IIya 阐发 GPT-4 比 GPT-3.5 更强的地方时会强调「（GPT-4）展望下一个字的精度又提高了」。北师大、剑桥和微软的学者将 GPT-3.5 与 GPT-4 在智商与心思测试题上分别实验后也发现，GPT-4 的水平有赫然的辅助。

这是国内的第一批大模子学者所莫得想过的。在此之前，国内的学者广泛认为，东说念主类很擅长数学推理，是以要将信息标志化、常识数学化。在这样的想路下，模子架构往往被遐想得十分复杂，才调局限。但 ChatGPT 体现出了「浅陋至上」的好意思学，经受浅陋的框架再联结丰富的常识，同期有创新的交互形态，产物效果顿时修葺一新。

天然言语的强劲初度被意思。本年 5 月，在 MIT 的一个演讲中，Geoffrey Hinton 也指出，AI 不需要将信息标志化就能从笔墨中得到常识，因为东说念主类亦然靠言语来推理的。他举了一个例子，让宋睿华印象至极深刻：Hinton 曾问 ChatGPT「咱们家有一些房间，分别是白色、蓝色与黄色，黄色油漆在一年内会褪成白色，如果我但愿两年后我的墙都是白色，应该怎么办？」然后 ChatGPT 回答他说，「可以把蓝色的房间刷成黄色。」Hinton 大吃一惊，因为 ChatGPT 也许莫得领略数字，但似乎领略了「淹没」是什么真义。

尽管有效户向 ChatGPT 发问数学题来考验它的才调瓶颈，但在悟说念的多位早期成员看来，ChatGPT 依然科罚了一些现时 NLP 地方最难的期间问题，如长文本的风趣连贯与内在逻辑。在一些专科的场景下，ChatGPT 生成的谜底也许不如东说念主意，「但这些问题都是可以被改进的」。

ChatGPT 出来后，大模子一下子火了，原先不受怜惜的大模子公司，智谱、面壁、聆心、智子、深言……也成为了中国成本的明日之星。智子引擎原先融不到钱，ChatGPT 出来后天神轮估值一个亿，投资东说念主甚而会问卢志武与其学生、智子引擎 CEO 高一钊「一个亿够不够」。

高一钊

他们肯定大模子是 AI 的一大改日，但没猜想改日会来得如斯之快。

但拂去成本的浮华，对于求索言语智能的科学家来说，ChatGPT 更大的启示在于其对言语大模子的骨子领略与产物遐想力，尔后者与 OpenAI 想竣事的宏大运筹帷幄——AGI 不无关系。

ChatGPT 的产物简直是完好的：它能读懂用户的意图，回答万般各样的问题，且每个问题都能给出一个不离谱的谜底，，甚而在多数回答中展示了「常识」水平，由此在问答中飘浮为试验的坐蓐力。这诚然离不开 Ilya 等东说念主对神经鸠合与言语特征的深刻领略；但更进军的是，OpenAI 对改日有斗胆的展望。

是以，从 2016 年景立以来，扫数东说念主都说 AGI 是离奇乖癖时，OpenAI 的团队就敢肯定这是东说念主工智能的改日；扫数东说念主都遴荐 BERT 时，他们就能鉴定遴荐 GPT。而智源悟说念在探索大模子时，并莫得这样大的贪念；即使文继荣等东说念主冷漠接洽多模态大模子，也只是因为「东说念主亦然这样学习的」，并莫得往 AGI 的地方想。

ChatGPT 出来后，五说念口的各大模子团队由于有先前的期间积聚，是以也很快推出了相似的大模子产物。举例，智谱 AI 不到两个月就推出了 ChatGLM；智子引擎也在 3 月 8 日发布了 ChatImg……但他们更知说念，我方距离言语智能的输出、乃至 AGI 还有很长距离。

人人深知，ChatGPT 是一个启示，但绝非特别。

06 中国大模子的改日

回到智源。

2021年6月发布悟说念2.0后，智源一直在想考，插足巨大的大模子，改日以什么样的形貌赋能经济社会发展。悟说念 2.0 发布时，黄铁军冷漠：大模子是「才调」的载体，以 AI 为中心的波浪应该是才调运营，最底层是期间软硬件系统，最表层是 AI 应用，而大模子则处于两者中间，饰演「树干」的扮装，大模子的真义是将「才调」造成像水、电、网一样的寰球服务，通过云向大量企业或个东说念主提供 AI 服务。「Model as Servive」（MaaS）也最早源于悟说念。

悟说念走到 2.0 版，智源算力也只须 480 块 A100 卡，赈济多个团队早已掣襟肘见，而新采购的 960 块 A100 还在路上，远水不解近渴。在资源有限要求下，智源决定暂时不再追求扩大模子限制，而是把要点放在大模子算法创新上，悟说念 1.0 与 2.0 所取得的扫数大模子服从都开源怒放，赈济产学研各界协同创新。

开源怒放项目要最终到手，既要合作最泛泛的接洽开发者群体，更要有结实的中枢期间戎行。在与高校学者张开合作的同期，智源也运行对外招聘东说念主才，建立智源镇静的大模子团队。2022 年 1 月，前 IBM 中国接洽院院长林咏华加入智源担任总工程师，2022 年 6 月指挥建成大模子锻练平台「九鼎」，总算力达到了1000P，同期专职大模子团队也逐渐到位，悟说念大模子研发进入一个新阶段，林咏华专揽言语大模子地方，黄铁军专揽视觉大模子地方。

2023 年 4 月，智源被微软总裁 Brad Smith「点名」为「（全球）十足当先的三家机构（three at the absolute forefront）之一」，与 OpenAI、谷歌皆名。

2023 年 6 月，在第五届智源大会上，「悟说念 3.0」发布，包括「悟说念-天鹰」系列言语模子、「悟说念-视界」系列视觉及多模态模子。与「悟说念 1.0」、「悟说念 2.0」不同的是，悟说念3.0不单是是大模子，而是一套大模子期间体系，还包括「天秤（FlagEval）」大言语评测体系及怒放平台与 FlagOpen飞智大模子期间开源体系，体现了更为宏不雅的大模子发展视线。

另外，「悟说念 3.0」依然超出了智源的范围，它是新一代东说念主工智能旗舰项目「东说念主工智能基础模子撑持平台与评测期间」第一阶段服从。

2021 年悟说念 1.0 和 2.0 发布时，「新一代东说念主工智能首要科技项目」内行组就运行在究诘国度应该以什么样的形貌赈济大模子。智源的悟说念是一次斗胆的探索，但在这个过程中也存在各利己战的问题。于是内行组就冷漠，要探索一种怒放的机制，加强「有组织科研」， 率领「大真金不怕火大模子」从「蛮力」竞争回首感性创新的轨说念，推动中国 AI 学者一说念开发大模子，通过布局一批关联项目，打造系统级服从，机制简称为「1+X+Y」体制。

其中，「1」即「东说念主工智能基础模子撑持平台与评测期间」旗舰项目，是引颈大模子期间和产业发展的「航母」。「X」是一批关键期间项目，赈济大模子核默算法和期间研发，经受「跑马制」动态遴择，由「1」对这些项目及扫数欢跃参加协同创新的期间和算法组织公开公正的评测，遴择出的优秀算法和期间进入大模子开源体系，得到国度项目赈济但孝敬小的团队将被淘汰，未得到国度项目赈济但孝敬大的团队来年优先得到赈济。「Y」是一批应用示范项目，针对首要应用场景，经受旗舰项目构建的期间体系，鞭策东说念主工智能的深度应用。

大模子旗舰项目建议得到了科技部关系指挥和部门的苟且赈济，列入国度「科技创新 2030」新一代东说念主工智能首要科技项目 2022 年度指南，经过评审措施，2022 年 12 月「1+8」共 9 个项目立项到手，2023 年 1 月 1 日运行实行。

而也就在中国大模子旗舰项目群到手立项开拔时，ChatGPT 横空出世。在黄铁军看来，「我国在大模子地方是有前瞻性的， ChatGPT 出来前一年半，就依然布局航母舰队去主攻大模子。」

OpenAI 另一个为东说念主称说念的特质是出色的组织才调。回想悟说念的发展，某种进度上，智源亦然将一群关系松散、莫得利益共同体的 AI 接洽员组织在了一说念，但与 OpenAI 比较，凝华力仍不够。三个团队各利己战，公正是开辟了多个大模子地方，短板也很赫然，即是「莫得聚集力量办一件大事」。

纵不雅现时的中国大模子，亦然许多东说念主都看到了大模子地方的价值，但遴荐各利己战。而黄铁军认为，从有意于改日发展的角度看，不仅需要斗胆，是否团队作战也很进军。在科技连忙发展、日月牙异的国际竞争环境中，只须聚集力量，互相融合，才能产生首要的服从。

以数据标注为例。即使这是一块基础服务，OpenAI 也予以了高度意思，给数据标注岗的职工开出数十万好意思元的年薪。据雷峰网了解，当今国内的许多大厂并莫得全链条想维，数据标注被划为边际职能，要么遴荐外包，要么不计入服务考核的 KPI，数据质地难以保险，大模子的底座才调也未免受到影响。

围绕 AGI，OpenAI 也并非只须 ChatGPT 一张牌；两代 DALL·E 在笔墨章程图像生成上也体现出 AI 推理才调的进化。此外，OpenAI 还投资机器东说念主智能等。在想考 AGI 这个终极运筹帷幄时，OpenAI 的布局是一体的、系统的，而非单点的、场所的。（对于大模子镶嵌式智能，接待添加作家微信Fiona190913究诘）

ChatGPT 出来后，宋睿华与孙茂松等东说念主探讨期间之余，也运行想考如何能让中国的学生更自信，领有乔布斯的精神，在产物上勇于「Think Different」，多想考我方「想」作念什么、而不是「能」作念什么。有一个庞杂的运筹帷幄后，再倒回来想考竣事的技巧，将大的运筹帷幄拆解成无数个小的运筹帷幄，通过万般门道将事情作念成，不拘一格。

值得重视的是，智源悟说念不单催生了中国第一批大模子公司，也影响了一批 90 后的 AI 硕博生：杨植麟、岂凡超、曾国洋、高一钊、霍宇琦……悟说念 1.0 与 2.0 的团队中，迥殊 85% 的成员为 90 后后生学生。在资历大模子的拓荒后，他们又在以前的一年目睹了 Midjourney、ChatGPT 等产物的爆发，对于大模子期间的 AI 商用也有了许多不同的想考。

他们中的许多东说念主，都有科罚言语智能、乃至通用东说念主工智能，将 AI 飘浮为社会新坐蓐力的巨大志向。跟着经济发展的缝隙渐显，科技兴国已成共鸣；以前十年，无论是视觉 AI ，照旧自动驾驶，抑或今天的大模子，都是东说念主们对新坐蓐力构造的活跃社会的渴慕。

一个期间有一个期间的逆境；一个期间也需要一个期间的自救。唯有走不同的路，才能构造新的糊口形貌，而寰宇永恒掌持在年青东说念主的手中。

本文作家自 2020 年运行怜惜大模子，接待对大模子、AGI、AIGC 感意思的读者添加作家微信（Fiona190913）雷同、互通有无，添加请备注姓名、职位与单元。

https://www.youtube.com/watch?v=sitHS6UDMJc