最新CCF C3活動(dòng)來到百度，更多關(guān)于大模型產(chǎn)業(yè)生態(tài)發(fā)展的問題在現(xiàn)場得到了解答。50余位企業(yè)界、學(xué)界專家、研究人員就此進(jìn)行深入探討。

(資料圖片僅供參考)

百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心副主任 吳甜 ，北京航空航天大學(xué) 吳文峻 教授帶來了主題報(bào)告分享。

接著， 吳文峻 教授、中國人民大學(xué)高瓴人工智能學(xué)院副院長 竇志成 、百度飛槳總架構(gòu)師 于佃海 、國網(wǎng)智能電網(wǎng)研究院計(jì)算及應(yīng)用研究所人工智能總工程師 吳春鵬 、中科曙光智能計(jì)算產(chǎn)品事業(yè)部總經(jīng)理 杜夏威 展開高峰對(duì)話。

論壇由百度AI技術(shù)生態(tài)總經(jīng)理馬艷軍主持。

大模型產(chǎn)業(yè)生態(tài)

在高峰對(duì)話環(huán)節(jié)，來自產(chǎn)學(xué)研的各位專家就大模型發(fā)展態(tài)勢進(jìn)行了探討，涵蓋基礎(chǔ)研究、底層軟硬件支撐、產(chǎn)業(yè)生態(tài)應(yīng)用等多個(gè)大模型生態(tài)話題，對(duì)科研-產(chǎn)業(yè)、軟件-硬件、行業(yè)應(yīng)用等多個(gè)生態(tài)關(guān)系的思考與分析。

在不改變原意基礎(chǔ)上，量子位做了以下梳理。

1、有種觀點(diǎn)是認(rèn)為大模型工程化發(fā)展，科研工作、學(xué)術(shù)研究空間就會(huì)被壓縮，如何看待這一觀點(diǎn)？

北京航空航天大學(xué)吳文峻教授 表示，任何新技術(shù)都會(huì)帶來很多顛覆性影響。但在AI技術(shù)上，人類還沒有找到一條通往AGI的可行路徑，大語言模型這條路徑看起來可行性最高。后續(xù)大模型在比如認(rèn)知記憶力等方面，還有很多研究工作要做。另一方面，大語言模型也給現(xiàn)有AI方向，比如自然語言、決策等帶來新的研究角度。

中國人民大學(xué)高瓴人工智能學(xué)院副院長竇志成教授 表示，在大家看來，大語言模型這條路徑建立在大規(guī)模算力和經(jīng)費(fèi)支持上，學(xué)界要展開類似的研究會(huì)形成很大的阻礙。

但學(xué)術(shù)界普遍認(rèn)為， 首先必須要做 ，跟上產(chǎn)業(yè)界的同時(shí)還能發(fā)現(xiàn)存在的問題；工業(yè)界不會(huì)有那么多時(shí)間精力去鉆研背后的理論方法； 第二，大模型在其他領(lǐng)域研究方向產(chǎn)生比較大的影響 ，里面會(huì)有特別多有意義有價(jià)值的科研問題。除此之外，高校還要承擔(dān)起人才培養(yǎng)的重?fù)?dān)。

2、除了算力和應(yīng)用，軟件也是一個(gè)重要的方面，特別是深度學(xué)習(xí)框架，那么框架和大模型之間的協(xié)同關(guān)系如何？

百度飛槳總架構(gòu)師于佃海 首先解釋說， 深度學(xué)習(xí)框架位于硬件芯片模型和應(yīng)用之間的關(guān)鍵位置 。

隨著大模型的復(fù)雜性不斷增加，包括預(yù)訓(xùn)練、微調(diào)等，框架需要具備通用性，以支持這些不同的訓(xùn)練環(huán)節(jié)。此外，性能要求也變得更加嚴(yán)格。在這個(gè)過程中，框架和硬件之間的協(xié)同也變得至關(guān)重要。框架需要在不同硬件平臺(tái)上高效運(yùn)行，以滿足訓(xùn)練和推理的需求。

除了硬件協(xié)同，框架還需要考慮模型的落地和部署。模型不僅需要訓(xùn)練，還需要在實(shí)際應(yīng)用中落地并高效運(yùn)行。因此，框架的性能和部署能力同樣重要，以實(shí)現(xiàn)從訓(xùn)練到應(yīng)用的無縫銜接。

3、大模型在產(chǎn)業(yè)里面真正落地會(huì)面臨是哪些挑戰(zhàn)？上下游如何一起聯(lián)動(dòng)？

國網(wǎng)智能電網(wǎng)研究院計(jì)算及應(yīng)用研究所人工智能總工程師 吳春鵬 表示，國網(wǎng)一直在積極致力于構(gòu)建一個(gè)完整的產(chǎn)業(yè)生態(tài)系統(tǒng)，而整個(gè)電力行業(yè)的發(fā)展對(duì)于應(yīng)用端、算力框架以及具體算法都有著緊密關(guān)系。

他還簡單闡述如何讓大模型更好的在電力行業(yè)實(shí)際落地，比如把大模型構(gòu)建了國網(wǎng)的多層次生態(tài)系統(tǒng)，細(xì)分為專業(yè)大模型和業(yè)務(wù)小模型，并通過融合通用大模型與電力特點(diǎn)，構(gòu)建更智能的分析和預(yù)測模型。

4、追求通用性的同時(shí)，如何平衡大模型在各個(gè)領(lǐng)域的需求？

北京航空航天大學(xué) 吳文峻 教授表示，在他看來，無論在何種實(shí)踐中，都涉及到一個(gè)共同的問題，即如何平衡通用性與實(shí)際應(yīng)用，但這同時(shí)也引發(fā)了一個(gè)問題：

對(duì)此，吳文峻認(rèn)為，在未來需要重新考慮現(xiàn)有的思路。或許可以保留一個(gè)社會(huì)共享的大模型，用于基礎(chǔ)識(shí)別知識(shí)，同時(shí)為某些特定領(lǐng)域提供專業(yè)模型。這些專業(yè)模型可以根據(jù)企業(yè)內(nèi)部數(shù)據(jù)進(jìn)行訓(xùn)練，以滿足特定行業(yè)的需求。

因此，是否可以考慮一種架構(gòu)即 將大模型與中小模型相結(jié)合 ？在訓(xùn)練小模型時(shí)，可以同步大模型的整體知識(shí)。然后，通過保證整個(gè)知識(shí)和標(biāo)準(zhǔn)的傳遞，可以確保模型的質(zhì)量和認(rèn)可度。

另外，有些行業(yè)會(huì)更希望擁有自己的專屬大模型，所以像內(nèi)存等資源問題也需要關(guān)注。

5、大模型技未來走勢會(huì)如何？如果確實(shí)形成了一個(gè)相對(duì)穩(wěn)定的格局，不同層將會(huì)在其中發(fā)揮什么作用？

中科曙光智能計(jì)算產(chǎn)品事業(yè)部總經(jīng)理杜夏威 認(rèn)為，從大模型底層來看，發(fā)展趨勢重點(diǎn)是 資源同步 ，未來僅憑借技術(shù)的領(lǐng)先和研究的成果并不一定能行，需要將產(chǎn)業(yè)和學(xué)術(shù)界的力量結(jié)合起來。

從這個(gè)維度出發(fā)，大模型方向可能會(huì)是采用 A+B 的方式。其中，A代表一些基礎(chǔ)模型基座，這些模型具有一定的通用性和強(qiáng)大的泛化能力，能夠?yàn)檎麄€(gè)模型提供支撐。B則代表行業(yè)大模型，涵蓋了各個(gè)領(lǐng)域的基礎(chǔ)數(shù)據(jù)。

國網(wǎng)智能電網(wǎng)研究院計(jì)算及應(yīng)用研究所人工智能總工程師 吳春鵬 則表示，大模型在未來可能會(huì)成為數(shù)字化基礎(chǔ)設(shè)施的一種重要組成部分，類似于零件，它結(jié)合先進(jìn)的計(jì)算技術(shù)和豐富的數(shù)據(jù)，構(gòu)建起基座式的研究平臺(tái)，為將來使用模型的人和技術(shù)專家提供支持。

以后可能就像百度提出的應(yīng)用商店模型，類似于在商品上選擇模型的方法，人們可以從中選擇并獲取各種模型，也可以將模型整合到自己的應(yīng)用中。另一方面，在研發(fā)大模型的過程中，也需要考慮如何實(shí)現(xiàn)技術(shù)的放手和產(chǎn)能的進(jìn)化，通過更便捷的方式推廣和合作，使技術(shù)能夠更好地為市場和業(yè)務(wù)服務(wù)。

百度飛槳總架構(gòu)師 于佃海 認(rèn)為大模型不僅需要重資產(chǎn)投入，還涉及許多復(fù)雜的技術(shù)問題。同時(shí)，即使有了技術(shù)，要使其發(fā)揮出人類的智能也需要設(shè)計(jì)更好的方法，并將其穩(wěn)定應(yīng)用在實(shí)際目標(biāo)中。從大模型基礎(chǔ)設(shè)施的角度來看，除了構(gòu)建和提供基礎(chǔ)設(shè)施外，還應(yīng)主動(dòng)考慮為生態(tài)的發(fā)展提供建議，比如 插件機(jī)制 。

中國人民大學(xué)高瓴人工智能學(xué)院副院長 竇志成 教授則從開源和實(shí)際落地進(jìn)行了分享——

以Meta的 Llama 和 Llama2 大模型為例，表示目前開源化的聲音越來越響亮，應(yīng)該更加推動(dòng)開源的力量。另外，他也對(duì)“百模大戰(zhàn)”表現(xiàn)出擔(dān)憂，不希望這次還和兩年前GPT-3一樣，一窩蜂做大模型，但因沒有應(yīng)用而無疾而終。

對(duì)此，竇志成就特別呼吁 國內(nèi)玩家不用一心撲在搞大模型上 ，做一些能讓大家都能玩得到的應(yīng)用，對(duì)中國的產(chǎn)業(yè)發(fā)展更具有意義。

北京航空航天大學(xué) 吳文峻 教授表示，目前的重點(diǎn)是 多模態(tài)大模型 ，未來這些模型可能會(huì)逐步從決策進(jìn)化到具有自主學(xué)習(xí)能力，最終走向通用人工智能（AGI）。我們會(huì)更關(guān)注開源和商業(yè)之間的平衡，而在這個(gè)生態(tài)中，基礎(chǔ)設(shè)施的建設(shè)非常關(guān)鍵。

通用群體智能已初見端倪

除此之外， 百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心副主任吳甜 ， 北京航空航天大學(xué)吳文峻 教授帶來了主題報(bào)告分享。

首先是百度集團(tuán)副總裁吳甜以 “大模型產(chǎn)業(yè)實(shí)踐與文心一言” 為題作報(bào)告，介紹了文心大模型的產(chǎn)業(yè)落地實(shí)踐和文心一言最新進(jìn)展。

大模型方面，最新文心大模型5月升級(jí)到3.5版本，進(jìn)行了了基礎(chǔ)模型升級(jí)、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)、插件機(jī)制新增，相比3月份的版本，效果提升50%，訓(xùn)練速度提升2倍，推理速度提升30倍。

產(chǎn)業(yè)落地實(shí)踐上，百度已和多個(gè)行業(yè)的帶頭企業(yè)、機(jī)構(gòu)共同研發(fā)行業(yè)大模型，訓(xùn)練出了更適配行業(yè)場景的模型。

根據(jù)IDC相關(guān)報(bào)告，百度文心大模型在14個(gè)參評(píng)模型中拿下12項(xiàng)指標(biāo)的7個(gè)滿分，得到“綜合評(píng)分第一，算法模型第一，行業(yè)覆蓋第一”三個(gè)絕對(duì)第一。同時(shí)，百度已為社會(huì)培養(yǎng)了300萬AI人才，未來還將持續(xù)加大投入力度，為推進(jìn)大模型的落地與發(fā)展持續(xù)做出貢獻(xiàn)。

北航吳文峻教授則聊了聊 通用人工智能的群體智能研究 。當(dāng)前AI發(fā)展已經(jīng)進(jìn)入一個(gè)全新歷史階段，特別是在所謂「foundation model」方面，比如超大規(guī)模模型或基座模型。但何時(shí)能將這些先進(jìn)技術(shù)在各個(gè)行業(yè)的實(shí)際應(yīng)用？

他在報(bào)告中指出， 大模型要落地應(yīng)用，真正重塑產(chǎn)業(yè)，關(guān)鍵還是基于大模型的智能決策能力發(fā)展 。

要解決基于大語言模型的決策問題，常常需要采用 強(qiáng)化學(xué)習(xí) 方法。在這個(gè)過程中，Agent會(huì)與環(huán)境不斷互動(dòng)，觀察環(huán)境狀態(tài)，并通過采取行動(dòng)來影響環(huán)境，進(jìn)而獲取環(huán)境的獎(jiǎng)勵(lì)信號(hào)，以衡量行動(dòng)的好壞。他還談到了最近很火的斯坦?！窤I小鎮(zhèn)」。

而針對(duì)通用基礎(chǔ)模型存在泛化性弱、穩(wěn)定性差、難實(shí)用等突出問題，多模態(tài)LLM模型結(jié)合MDP框架可以提升Agent的感知-認(rèn)知能力，推進(jìn)高層任務(wù)需求的理解和規(guī)劃決策，并形成作為環(huán)境遷移和Reward的生成模型。

有了以上基礎(chǔ)，我們就有可能讓海量知識(shí)和物理世界形成對(duì)照，提升智能體在新環(huán)境下的智能決策，進(jìn)而形成群體化通用具身智能系統(tǒng)。報(bào)告認(rèn)為，大模型開啟了通用人工智能時(shí)代，讓群體智能研究也進(jìn)入了全新階段——

通用群體智能已經(jīng)初現(xiàn)端倪 。

— 完 —

量子位 QbitAI · 頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)

關(guān)鍵詞：