百度：今年是文心大模型落地關(guān)鍵年

一項(xiàng)新的AI技術(shù)迎來(lái)突破，包括谷歌、微軟、英偉達(dá)、百度和阿里等在內(nèi)的幾乎所有AI頭部企業(yè)都在死磕這項(xiàng)技術(shù)。

這便是目前世界AI研究領(lǐng)域最熱門(mén)的話題之一：“大模型”。

AI 技術(shù)發(fā)展到今天，GPT-3等參數(shù)量巨大的模型被人們開(kāi)發(fā)出來(lái)，他們?cè)谟?jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等領(lǐng)域取得了前所未有的成就。

與之相伴而來(lái)的是，隨著技術(shù)與產(chǎn)業(yè)的結(jié)合落地，新的技術(shù)難關(guān)需要被不斷攻克。

眾所周知，AI 技術(shù)的驅(qū)動(dòng)力主要是依靠數(shù)據(jù)作為養(yǎng)料，當(dāng)AI嵌入各行各業(yè)，不同場(chǎng)景的巨量數(shù)據(jù)已呈井噴式爆發(fā)，如何減少數(shù)據(jù)標(biāo)注量、如何提高開(kāi)發(fā)效率、降低應(yīng)用成本等問(wèn)題已成為一眾AI企業(yè)正在思考的問(wèn)題。而這也已經(jīng)成為了各大AI企業(yè)搶占技術(shù)高地、并進(jìn)行商業(yè)化的關(guān)鍵命題。

大模型是人工智能大基礎(chǔ)設(shè)施的重要組成

“文心大模型”是百度近幾年在花大力氣投入研發(fā)的技術(shù)基礎(chǔ)設(shè)施。

自2019年開(kāi)始，百度深耕預(yù)訓(xùn)練模型研發(fā)，并在該年3月率先發(fā)布中國(guó)首個(gè)正式開(kāi)放的預(yù)訓(xùn)練模型ERNIE1.0。去年12月，百度聯(lián)合鵬城實(shí)驗(yàn)室發(fā)布了鵬城-百度·文心大模型。

這是全球首個(gè)知識(shí)增強(qiáng)千億大模型，也目前全球最大中文單體模型，參數(shù)規(guī)模達(dá)到2600億。

“文心大模型在百度AI戰(zhàn)略里的位置，是人工智能大基礎(chǔ)設(shè)施的一部分。大基礎(chǔ)設(shè)施就是硬件到芯片到AI框架、AI大模型，一層層構(gòu)筑起來(lái)的，文心是底座性質(zhì)的?！卑俣燃瘓F(tuán)副總裁吳甜介紹。

如何理解這個(gè)AI大模型？

AI大模型，指的其實(shí)是預(yù)訓(xùn)練大模型，是機(jī)器學(xué)習(xí)的一種方式。

類(lèi)比人的學(xué)習(xí)來(lái)看，人的學(xué)習(xí)可以分成通識(shí)教育和專(zhuān)業(yè)教育兩段。預(yù)訓(xùn)練大模型相當(dāng)于解決機(jī)器學(xué)習(xí)的通識(shí)教育。

此前，機(jī)器學(xué)習(xí)主要通過(guò)標(biāo)注數(shù)據(jù)，告訴算法哪個(gè)數(shù)據(jù)是正負(fù)樣本等進(jìn)行學(xué)習(xí)。由于人工智能落地場(chǎng)景很多，每個(gè)場(chǎng)景都要采數(shù)據(jù)、標(biāo)數(shù)據(jù)，因此在標(biāo)注的數(shù)量和質(zhì)量上存在很大的瓶頸。

為解決以上問(wèn)題，自然語(yǔ)言處理領(lǐng)域迎來(lái)了一個(gè)新的突破：自監(jiān)督學(xué)習(xí)。其指的是不用人為標(biāo)注數(shù)據(jù)，機(jī)器可以用一個(gè)方法把知識(shí)和規(guī)律學(xué)出來(lái)。

比如，在模型訓(xùn)練中，如果我們把“中國(guó)的首都是北京這句話”中的“北京”蓋住，讓模型去猜中國(guó)的首都是哪里，模型可能會(huì)猜一個(gè)城市，再把蓋的地方翻開(kāi)，告訴模型是對(duì)了還是錯(cuò)了，模型也就得到了反饋。這就是自監(jiān)督學(xué)習(xí)的其中一種方法。

通過(guò)設(shè)計(jì)類(lèi)似的學(xué)習(xí)方式，讓模型可以在海量的數(shù)據(jù)當(dāng)中進(jìn)行自監(jiān)督學(xué)習(xí)。這個(gè)機(jī)制的好處就是，它可以把天然存在的大量數(shù)據(jù)利用起來(lái)，打破了一定要精標(biāo)數(shù)據(jù)才能學(xué)習(xí)的瓶頸。

大模型的出現(xiàn)，實(shí)際大幅度降低了行業(yè)應(yīng)用的門(mén)檻。

“大模型不僅可以自己直接商業(yè)化，更有可能作為大的基礎(chǔ)設(shè)施帶來(lái)的更大的價(jià)值空間?！眳翘鸱Q(chēng)。

百度的文心大模型是如何運(yùn)營(yíng)的？

百度早已不僅是搜索巨頭，更是一家人工智能公司，文心大模型已經(jīng)在搜索、信息流、小度智能屏、百度地圖等業(yè)務(wù)場(chǎng)景中不斷地去使用、驗(yàn)證、迭代，最終通過(guò)開(kāi)發(fā)出配套的工具和平臺(tái)服務(wù)于不同產(chǎn)業(yè)，開(kāi)發(fā)者或者企業(yè)就可以用方便、簡(jiǎn)單的做法，甚至可以不寫(xiě)代碼就使用起來(lái)。

在落地運(yùn)用方面，除了應(yīng)用于百度內(nèi)部的各類(lèi)產(chǎn)品外，文心大模型還通過(guò)飛槳開(kāi)源開(kāi)放平臺(tái)、百度智能云等賦能到工業(yè)、能源、金融、通信等行業(yè)。當(dāng)前，百度飛槳系列有兩款面向不同人群的平臺(tái)，一是零門(mén)檻平臺(tái)EasyDL，二是全功能產(chǎn)業(yè)平臺(tái)BML，都已經(jīng)內(nèi)嵌了文心以及文心相應(yīng)的配套算法。

在交付形態(tài)上，文心大模型大致上包含三種：第一種是通過(guò)API調(diào)用方式使用。第二種方式是通過(guò)平臺(tái)、套嵌工具等，使用者可以在EasyDL、BML等平臺(tái)上直接使用的。第三種是包含在一些面向場(chǎng)景的產(chǎn)品中，比如智能文檔分析TextMind，還有智能創(chuàng)作平臺(tái)。

就AI大模型這個(gè)技術(shù)而言，不僅能落地解決當(dāng)前的產(chǎn)業(yè)遇到的難題，在未來(lái)同樣充滿想象空間。

吳甜暢想道，今天的模型是以學(xué)習(xí)人類(lèi)的經(jīng)驗(yàn)為主的，學(xué)人形成的規(guī)律，加強(qiáng)人類(lèi)建設(shè)的一系列體系。未來(lái)有可能AI可以學(xué)到一些人類(lèi)還沒(méi)有學(xué)到的一些經(jīng)驗(yàn)或者知識(shí)，這是未來(lái)有可能發(fā)生的事情。

今年是文心大模型落地關(guān)鍵年

在大模型領(lǐng)域角逐的，不僅有百度，國(guó)內(nèi)外科技巨頭如谷歌、微軟、英偉達(dá)、阿里等，都相繼在AI大模型領(lǐng)域展開(kāi)探索，參數(shù)規(guī)模從百億、到千億，甚至是上萬(wàn)億。

對(duì)于當(dāng)下的大模型競(jìng)賽，吳甜表示，大模型本身還有很多創(chuàng)新空間，現(xiàn)在大家還是在各種不同角度的創(chuàng)新階段，每一家企業(yè)和機(jī)構(gòu)最后會(huì)產(chǎn)生的價(jià)值和作用，因此各自有所側(cè)重。

百度文心大模型的定位是產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型。吳甜介紹，文心大模型最大的特點(diǎn)是“知識(shí)增強(qiáng)”。

傳統(tǒng)大模型只從海量的文本中學(xué)習(xí)，只能死記硬背文本的規(guī)律，并不能從本質(zhì)上理解世界是怎樣運(yùn)行的，在具體應(yīng)用時(shí)，一些涉及邏輯推理和認(rèn)知的任務(wù)表現(xiàn)較差。為彌補(bǔ)這一缺點(diǎn)，百度引入了知識(shí)圖譜，通過(guò)“知識(shí)增強(qiáng)”的方法，將數(shù)據(jù)與知識(shí)融合，提升了文心大模型的通用性。

此外，要理解文心大模型，就需要了解“產(chǎn)業(yè)級(jí)”的定義。吳甜解釋?zhuān)@個(gè)產(chǎn)業(yè)級(jí)主要指兩個(gè)方面：

一方面，文心的整個(gè)技術(shù)是在實(shí)際的產(chǎn)業(yè)應(yīng)用過(guò)程中打造。首先，它的數(shù)據(jù)來(lái)源是產(chǎn)業(yè)當(dāng)中的數(shù)據(jù)，學(xué)習(xí)到大量的知識(shí)規(guī)律，也是在實(shí)際的產(chǎn)業(yè)實(shí)踐當(dāng)中學(xué)習(xí)到的；任務(wù)設(shè)計(jì)上，百度希望把大模型打造成通用的底座模型，類(lèi)比人的通識(shí)教育，希望它學(xué)的盡可能廣泛，打下更好的基礎(chǔ)。

另一方面，文心大模型在應(yīng)用時(shí)建設(shè)了一系列配套能力，讓行業(yè)更好用。比如怎樣設(shè)計(jì)數(shù)據(jù)的標(biāo)注、建議有多少數(shù)據(jù)、相應(yīng)的遷移學(xué)習(xí)的方法等等。通過(guò)這些配套的工具和平臺(tái)，就會(huì)提升真實(shí)應(yīng)用的可行性。

大模型能夠引起各大企業(yè)的競(jìng)相追逐，戰(zhàn)略眼光更著眼于遠(yuǎn)處。從世界以及國(guó)家層面來(lái)看，產(chǎn)業(yè)智能化升級(jí)早已是大勢(shì)所趨。今年1月，國(guó)家出臺(tái)了十四五數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃，可以看到國(guó)家對(duì)于數(shù)字經(jīng)濟(jì)發(fā)展重視程度也越來(lái)越高。大模型對(duì)于推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展有著莫大幫助。

要在產(chǎn)業(yè)中應(yīng)用起來(lái)，當(dāng)前大模型還面臨著不小的挑戰(zhàn)。吳甜認(rèn)為，當(dāng)前部分行業(yè)數(shù)字化水平還不高，AI真正跟各行各業(yè)、各種企業(yè)場(chǎng)景結(jié)合的時(shí)候，復(fù)雜度高。場(chǎng)景分散，而且很多場(chǎng)景還比較薄，很多時(shí)候獲取場(chǎng)景數(shù)據(jù)非常困難。

另外，參數(shù)規(guī)模提升確實(shí)是有更好的效果，但卻不是簡(jiǎn)單的越大越好，更重要的還是模型能力強(qiáng)。

文心大模型的下一步，是繼續(xù)創(chuàng)新技術(shù)水平，再增強(qiáng)其實(shí)用性。吳甜強(qiáng)調(diào)，這并不是以迅速獲得更大的模型為目標(biāo)，而是做出一款模型之后，在落地應(yīng)用中檢驗(yàn)效果，并在實(shí)用的過(guò)程當(dāng)中調(diào)整模型設(shè)計(jì)。

在文心大模型的規(guī)劃上，百度今年還會(huì)有新技術(shù)和模型發(fā)布，包含模型能力和平臺(tái)工具能力的提升。“今年會(huì)是文心大模型產(chǎn)業(yè)落地關(guān)鍵年。 ”

當(dāng)前，文心大模型通過(guò)飛槳開(kāi)源開(kāi)放平臺(tái)、百度智能云等平臺(tái)落地，個(gè)人、企業(yè)開(kāi)發(fā)者數(shù)量超6萬(wàn)，并帶來(lái)顯著的提升效果。如在保險(xiǎn)領(lǐng)域的文本處理效率提升30倍，醫(yī)療領(lǐng)域中的每份病歷的檢查時(shí)間從30分鐘縮短到了秒級(jí)別。

百度還把百文心大模型能力開(kāi)放給公眾使用，并舉辦了認(rèn)知AI創(chuàng)意賽?！叭斯ぶ悄芎痛竽Ｐ鸵嫦蚬婇_(kāi)放，只有門(mén)檻低到了所有人都可方便地用起來(lái)，才能真正大規(guī)模爆發(fā)出各種創(chuàng)意?！眳翘鸨硎?。