本文來自微信公眾號：未來光錐 （ID：IamaScientist），整理自AI For Science社群分享第二期，嘉賓：陳小平博士（中國科學(xué)技術(shù)大學(xué)機器人實驗室主任），原文標(biāo)題：《大模型人工智能展望：取代一些技術(shù)，創(chuàng)造一些行業(yè) | 未來光錐AI For Science社群分享回顧》，題圖來自：視覺中國

今天和大家分享的題目是《大模型的進展、挑戰(zhàn)和機遇》。對這個議題我有幾個觀點：

(資料圖)

第一個是以大模型為代表的人工智能幾乎完全超越了流行的人工智能概念。所以我們現(xiàn)在需要客觀地去認(rèn)識大模型，這個很重要。

第二個觀點是對第一個觀點所描述的現(xiàn)象的一種解釋，即心物二元論導(dǎo)致對人工智能的擬人化想象，該想象嚴(yán)重背離科學(xué)現(xiàn)實。心物二元論已經(jīng)喪失客觀基礎(chǔ)，但仍然是一種深入人心的觀念。用這種觀念來認(rèn)識大模型代表的人工智能，是有大問題的。按照心物二元論，只有人會說人話，物不可能說人話。那看起來大模型是會說人話的，所以按照心物二元論，大模型就是人了。這種擬人化想象嚴(yán)重背離了人工智能科學(xué)的現(xiàn)實。

第三個觀點是，在舊理念和新理念下，人工智能帶來不同的機遇和挑戰(zhàn)。這面對第一點和第三點分別詳細介紹。

大模型底層原理解析

雖然目前大模型還不能完全解釋，但是大模型底層原理基本可以解釋。首先，大模型直接的目標(biāo)是自然語言人機交互。對這種交互的預(yù)期目標(biāo)是，會說人話，能聽懂人話，能回答問題，即使回答不一定正確。從人工智能自然語言處理這個學(xué)科的發(fā)展視角來看，與過去自然語言處理的目標(biāo)相比，這個目標(biāo)是一個小目標(biāo)。但這個目標(biāo)實現(xiàn)起來也是非常困難的。

大模型研究找到了一條實現(xiàn)這個目標(biāo)的技術(shù)路線，這就是符合人的語言習(xí)慣，也就是從語言習(xí)慣入手。這意味著，要求大型模型跟人一樣，有人的智慧、人的意識等，都是種種表象，真正的大模型機制，就是對人的語言習(xí)慣在一定程度和范圍的把握。但語言習(xí)慣處理起來并不容易，因為它沒有科學(xué)標(biāo)準(zhǔn)。只能換一個角度：人的語言習(xí)慣有經(jīng)驗標(biāo)準(zhǔn)嗎？這個是有的，不過不明確。

但是科研人員想了一個辦法：從人類規(guī)模語料中自動提取語言痕跡，并用于人機自然語言交互。這里提到的人類規(guī)模指的是整個人類積累的語料，比如互聯(lián)網(wǎng)上所有文本。這不是過去所說的大數(shù)據(jù)，大數(shù)據(jù)沒有要求規(guī)模的大小。如此之大的規(guī)模，只能自動提取語言痕跡。我認(rèn)為這就是大模型的基本研究思路和成功秘訣。

語言痕跡是什么？應(yīng)該如何自動提取和運用語言痕跡呢？語言痕跡來源于原始語料，而不是人工標(biāo)注的語料。像是互聯(lián)網(wǎng)上的文本、電子書等都是原始語料……原始語料是非常多的。

為了能把語言痕跡解釋清楚，在這里我們做一個極大的簡化：假設(shè)只考慮由兩個句子（句1：“我要上網(wǎng)，請打開瀏覽器?！本?：“我要聽歌，請打開音箱。”）組成的語料，這兩個句子在原始語料中反復(fù)出現(xiàn)，它們各自出現(xiàn)的概率如下：

之后的工作就是找語言痕跡。第一步是切分語元（token）。然后去找相鄰語元之間的關(guān)聯(lián)度，這就是語言痕跡的第一種形式。

注：語元（token），可以是字、詞、標(biāo)點符號，或者其他符號串。

圖1 相鄰語元之間的關(guān)聯(lián)度｜圖片來源：作者提供

簡單解釋一下上圖，其中，“我”是一個語元，“要”是一個語元，它們之間的關(guān)聯(lián)度是1。這是因為，在假設(shè)的語料中，兩個句子中“我”的后面跟的都是“要”，不存在其他可能?！耙钡暮竺婢统霈F(xiàn)了兩種可能，一個是“上網(wǎng)”，一個是“聽歌”，因此“要”和這兩個可能之間的關(guān)聯(lián)度，就近似地設(shè)為0.6和0.4。

由此類推，找出相鄰語元的關(guān)聯(lián)度，便可畫出上圖。這也就是相鄰語元關(guān)聯(lián)度的大模型，這就是它的原理。這個原理雖然看起來很簡單，但是非常強大。找出相鄰語元關(guān)聯(lián)度后，我們可以做很多事情，比如做預(yù)測。也就是任給一個語元，就可以預(yù)測出下一個出現(xiàn)的語元是什么。

圖2 不確定情況下預(yù)測率過高｜圖片來源：作者提供

還是用上述提到的例子，從“要”推測下一個出現(xiàn)的語元，就有兩種可能。如果每次都預(yù)測出現(xiàn)的語元是“上網(wǎng)”，那錯誤率就有40%，是非常高的，要是預(yù)測“聽歌”，錯誤率就更高。如果現(xiàn)實環(huán)境中大模型是這樣預(yù)測的話，那就會錯得一塌糊涂。

怎么辦？關(guān)鍵在于遠程關(guān)聯(lián)度，即不相鄰語元，尤其是遠距離語元之間的關(guān)聯(lián)度。還是上面的例子，這次預(yù)測語元“打開”之后出現(xiàn)的語元，看起來和“要”的情況類似，實則不然。因為，在說“打開”之前，已經(jīng)有了一些對話內(nèi)容了。

假設(shè)我們之前說的是“上網(wǎng)”，那我們就會發(fā)現(xiàn)，“上網(wǎng)”和“瀏覽器”之間的關(guān)聯(lián)度為1。在這種情況下，“打開”之后，或任何位置都不可能出現(xiàn)“音箱”的。因此，在“上網(wǎng)”和“打開”這兩個語元都確定的情況下，一定會出現(xiàn)“瀏覽器”。如此一來，預(yù)測的錯誤率就是0。這就是基于遠程關(guān)聯(lián)度的預(yù)測。

圖3 遠程關(guān)聯(lián)度｜圖片來源：作者提供

實際上，大模型的預(yù)測就是利用所有的（相鄰的和遠程的）關(guān)聯(lián)度進行的。但是它有一個上下文的窗口。像是ChatGPT的窗口有4000多個語元。還有一些大模型的窗口更大，比如有10萬個語元，也就是說，可以回看10萬個語元，激活這些語元的關(guān)聯(lián)度，然后把這些關(guān)聯(lián)度綜合起來進行評估。這個綜合非常復(fù)雜。我們現(xiàn)在觀察到的大模型的各種表現(xiàn)，無論是優(yōu)異的表現(xiàn)還是奇怪的表現(xiàn)，很大程度上是由這個機制產(chǎn)生的。

簡單總結(jié)一下，大模型就是從人類規(guī)模語料中提取語元關(guān)聯(lián)度并用于預(yù)測——就是做預(yù)測，大模型不知道什么叫回答問題。

大模型實際上分為兩層，下面一層是基礎(chǔ)模型。我們剛剛講的就是這一層。基礎(chǔ)模型是通過預(yù)訓(xùn)練構(gòu)建起來的。訓(xùn)練的是什么呢？就是圖3中的內(nèi)容，也就是語元之間的關(guān)聯(lián)度。在基礎(chǔ)模型之上還有助手模型，又叫細調(diào)模型或者精調(diào)模型，fine-tuned models。細調(diào)模型現(xiàn)在無法解釋。目前細調(diào)訓(xùn)練的計算量只占1%，而基礎(chǔ)模型預(yù)訓(xùn)練所占用的訓(xùn)練計算時間為總時間的99%——99%的時間都在訓(xùn)練圖3。這就是大模型的底層原理。

有了這個底層原理，我們可以進一步展開想象：把互聯(lián)網(wǎng)上2/3的數(shù)據(jù)都找來，訓(xùn)練出一張類似圖3的圖，那這張圖就會極其復(fù)雜。為什么要用到互聯(lián)網(wǎng)上體量如此之大的語料是一個值得分析的問題，目前也仍在實驗階段。但實驗結(jié)果顯示，如果不用這么多語料，訓(xùn)練出的大模型的性能就會大打折扣。

大模型的基本特征

用一句話概括，大模型是一種實例性模型，即從訓(xùn)練預(yù)料中提取的海量語元和語元關(guān)聯(lián)度的全體組成模型。這是一個顛覆的成果。因為過去的科學(xué)和過去的AI，從來沒有用過實例性模型，甚至想都沒有想過。長期以來，科學(xué)的傳統(tǒng)是用概括性模型，比如說牛頓力學(xué)（概括性模型）由四條基本原理（概括性規(guī)則）組成，而且從四條基本原理可以推出宏觀物理世界的全部力學(xué)規(guī)律，這是很強大的。

但是對于大模型來說，起主要作用的是語元關(guān)聯(lián)度實例。大模型的出現(xiàn)是否顛覆了整個科學(xué)傳統(tǒng)，究竟意味著什么，目前還不清楚。但是，至少我們對大模型給人工智能領(lǐng)域帶來的顛覆性、震撼性有了一些感受。

簡單總結(jié)一下，大模型、人工智能和人是不一樣的。人有人的智能，機器有機器的智能。

大模型催生新世界、新機遇

圖4 大模型工作原理｜圖片來源：作者提供

圖4對大模型的展示更加清楚，既有上文提到的基礎(chǔ)模型，還有助手模型。助手模型是一個更加恰當(dāng)?shù)谋硎?，既可用于指代細調(diào)模型，也可用于表示其他后續(xù)加工產(chǎn)生的模型。微軟目前在做一項工作，把傳統(tǒng)軟件做成插件，與助手模型關(guān)聯(lián)起來。這種插件目前至少有5千多個了。這樣就形成了一種基于大模型的軟件新生態(tài)，它有三層結(jié)構(gòu)。插件和助手模型連接起來使用，變得非常方便。

圖5 大模型的助手模型和插件是如何工作的｜圖片來源：作者提供

這種新生態(tài)怎么運作呢（見圖5）？就是通過用戶同助手模型聊天。助手模型是在基礎(chǔ)模型的基礎(chǔ)之上，又經(jīng)過了一輪訓(xùn)練。當(dāng)然，這一輪訓(xùn)練使用的數(shù)據(jù)就不是上文中提到的原始數(shù)據(jù)了，而是和用戶交互的數(shù)據(jù)。

在和用戶聊天的過程中，助手模型會向用戶詢問需求，隨后，助手模型會對5千個插件進行功能匹配。假如用戶的需求匹配上了某一個插件，那么助手模型便會從這個插件的說明中，找到使用這個插件需要提供哪些輸入數(shù)據(jù)。助手模型再向用戶詢問，獲取這些數(shù)據(jù)，然后輸入到插件里，便可運行插件，得到的結(jié)果直接輸出給客戶。在這個過程中，用戶只需要聊天就好，而不需要像以往那樣去學(xué)習(xí)使用軟件。

大模型帶來的新的、重大的改變包括，一方面經(jīng)濟效率會超常規(guī)地提升；同時，也會帶來比以往都大的社會影響。因此，經(jīng)濟效益和社會效益之間出現(xiàn)了嚴(yán)重分叉，這在歷史上幾乎沒有發(fā)生過。就最近的趨勢來看，世界上技術(shù)領(lǐng)先的國家，都在著手對大模型的應(yīng)用進行適當(dāng)管控，以避免出現(xiàn)嚴(yán)重的社會后果，這是必然的。

再說一下舊理念下的新機遇。大模型帶來的新軟件生態(tài)，全世界不會有很多。那除了做這種生態(tài)，還能做些什么呢？其實，還是不少事情可以做。舉例來說，行業(yè)專用大模型，即用行業(yè)數(shù)據(jù)，根據(jù)行業(yè)要求訓(xùn)練出來的大模型。目前還沒有這樣的大模型，因為行業(yè)數(shù)據(jù)不好獲取。

圖6 舊理念下的新機遇｜圖片來源：作者提供

另外一個方向是AI for science。在這個方向上展現(xiàn)出的新特點值得注意。過去投資都是投早期，或者非常早期，在AI for science領(lǐng)域可能就需要是非常非常早期，甚至在雛形尚未形成的時候就要開始。所以我想，效率提升到一定程度未必都是好事。

第三個方向，可能大家不太注意，但我個人覺得機會非常大。在未來10到15年最大的一個機遇，可能是制造業(yè)的人工智能技術(shù)?，F(xiàn)在的流行看法是制造業(yè)要做高端化，這沒有錯。但其實制造業(yè)高端裝備的國產(chǎn)化平均已經(jīng)完成大概70%了，不同行業(yè)有差別，某些行業(yè)已經(jīng)做得相當(dāng)好了。所以高端裝備空間并不大。

最大的機遇在中下游。現(xiàn)在的觀點傾向于把中下游看作是中低端，這個看法過去成立，將來就不成立了。中下游目前確實是中低端，但不意味著未來它不能高端化。實際上，現(xiàn)在正在做中下游的高端化，就是用人工智能、機器人、數(shù)字化、物聯(lián)網(wǎng)等技術(shù)，進行高端化。做到高端化后，將來全球的制造業(yè)將是中國帶頭。

因為制造業(yè)中下游是為用戶服務(wù)的，而上游跟著中下游走。中下游被中國高端化了，那全球制造業(yè)就只能跟著中國走。也就是說，中下游的人工智能技術(shù)將被全球制造業(yè)使用，所以發(fā)展空間非常大，這種局面過去從未出現(xiàn)過的。

再簡述一下新理念下的新機遇。新理念的客觀基礎(chǔ)是什么？我做一個預(yù)測：從大模型開始，人工智能時代將出現(xiàn)一個前所未有的新趨勢——效率提升的速度將遠遠超過需求增長的速度。這意味著近代以來的效率驅(qū)動的經(jīng)濟增長和社會發(fā)展模式會面臨拐點，將來的主要機遇不在效率驅(qū)動的經(jīng)濟增長模式中。

圖7 新理念下的新機遇｜圖片來源：作者提供

具體表現(xiàn)是，在個人層面，會從追求發(fā)財、追求財富，轉(zhuǎn)向追求富足。所謂富足就是，無論是經(jīng)濟上還是精神上都不要有大的缺憾。如果只獲得了財富，精神方面卻有缺失，這會讓很多人感到不滿足。就我自己的觀察，這一趨勢在年輕人身上已經(jīng)非常明顯了。長此以往，就會發(fā)生一場需求革命。所以人工智能不僅是新一輪工業(yè)革命，也是需求革命。在社會層面上，會從追求效率為主轉(zhuǎn)向追求效率與效益的統(tǒng)一。

為了適應(yīng)這一轉(zhuǎn)變，前幾年我提出了一種新的創(chuàng)新模式，稱為公義創(chuàng)新。公義創(chuàng)新并不是一種純粹的理論設(shè)想，而是已在現(xiàn)實社會生活中出現(xiàn)了萌芽，比如互聯(lián)網(wǎng)內(nèi)容創(chuàng)業(yè)和軟件開源運動。在這兩個例子中，很多人追求的不是單純的經(jīng)濟回報，這樣的人將來會越來越多，成為增長率最大、最有想象力的方向?？偨Y(jié)來看，新理念下的新機遇就是投資富足。

觀眾提問

觀眾1：陳老師好，我想請教您的是，關(guān)于您剛才說的大模型的這個機遇，在您現(xiàn)在所從事的機器人的研發(fā)和家庭應(yīng)用的這個場景當(dāng)中，有沒有什么結(jié)合的地方？或者說您自己正在做的這個事情當(dāng)中，有沒有開始去應(yīng)用它？

陳小平：對機器人肯定會有影響。大模型是做人機交互的，所以至少在人機交互方向有很大的作用和影響。至于人機交互怎么發(fā)展，我們正在做規(guī)劃?？梢钥隙ǖ挠袃牲c，第一點是有了大模型，人機交互的基礎(chǔ)就上了一個臺階。

比如說，家庭服務(wù)，包括家庭服務(wù)機器人，它首先就是跟人對話，問用戶：你要我?guī)湍阕鍪裁?？這就是用戶要提需求啊。這方面我們從2008年就開始做了。這其實和大模型的目標(biāo)是一樣的啊。但是技術(shù)路線不一樣。另一方面，我們觀察到，人機交互的作用究竟是什么，需要根據(jù)具體應(yīng)用場景做不同的判斷，泛泛的觀察往往不成立。比如服務(wù)于老人和服務(wù)于少兒，所需功能就有很大差別。如果功能定位脫離預(yù)期用戶的實際情況，產(chǎn)品就不可能成功。

觀眾2：人機交互都是由人來提需求，那有沒有由機器主動發(fā)起的機和人的交互？

陳小平：我們做的可佳機器人都是機器人發(fā)起交互。人發(fā)起交互當(dāng)然也可以。但我們預(yù)期的是由機器人發(fā)起。背后的理念是：將來的機器人不要等人來找它，如果人主動問了，可能就意味著智能機器人沒有盡到責(zé)任。在多數(shù)情況下，智能機器人應(yīng)該知道，人在什么情況下需要什么，于是就主動去做，如果不確定，就會主動提問。

本文來自微信公眾號：未來光錐 （ID：IamaScientist），分享嘉賓：陳小平（中國科學(xué)技術(shù)大學(xué)機器人實驗室主任，中國人工智能學(xué)會人工智能倫理與治理工委會主任）

免責(zé)聲明：本文不構(gòu)成任何商業(yè)建議，投資有風(fēng)險，選擇需謹(jǐn)慎！本站發(fā)布的圖文一切為分享交流，傳播正能量，此文不保證數(shù)據(jù)的準(zhǔn)確性，內(nèi)容僅供參考

關(guān)鍵詞：