“GPT 還是 Llama2？”過去幾周時間里，許多大模型應(yīng)用層的開發(fā)者不得不開始集中思考這個問題。

7 月 19 日，開源社區(qū)最強(qiáng)的大模型從 Llama 升級到 Llama2。后者在 2 萬億的 token 上進(jìn)行訓(xùn)練，訓(xùn)練數(shù)據(jù)增加了 40%，在包括推理、編碼、精通性和知識測試等許多外部基準(zhǔn)測試中，皆優(yōu)于其他開源語言模型。

圖片來自：Meta

(資料圖片)

“以前的開源大模型都沒有形成像 Llama 這樣的社區(qū)，而 Llama 系列模型正是在這種非?；钴S的社區(qū)文化下發(fā)展起來了，這也直接造成 Llama 系列模型在很多任務(wù)上都取得了快速進(jìn)展，甚至達(dá)到了商用標(biāo)準(zhǔn)”，東北大學(xué)教授肖桐向機(jī)器之心解釋。

GPT-3.5 水平通常被認(rèn)為是大模型商用的標(biāo)準(zhǔn)線，在 Llama2 模型 70 億、130 億和 700 億三種參數(shù)變體中，700 億的版本在 MMLU 和 GSM8K 上接近了 GPT-3.5 的水平。這意味著，作為開源大模型的代表，Llama2 第一次進(jìn)入了大范圍的商業(yè)考量決策之中，開發(fā)者們擁有了一個免費(fèi)、開源且足夠商用的大模型底座。

今年5月份，谷歌一位工程師在內(nèi)部撰文直言稱，當(dāng)免費(fèi)的、不受限制的替代品與閉源模型質(zhì)量相當(dāng)時，人們不會為受限制的模型付費(fèi)。

兩個月以后，這一預(yù)測變成現(xiàn)實(shí)。用 Llama2 進(jìn)行模型訓(xùn)練的開發(fā)者數(shù)量正在快速增加。根據(jù)Meta披露的信息，Llama2 在發(fā)布的一周內(nèi)就接收到了超過 15 萬次的下載請求，并且仍在持續(xù)增加，Meta 對此表示“不敢置信”。

開源與閉源大模型的比賽從此刻開始正式打響。面對開源大模型更低的成本、更快的迭代速度、更高的定制化上限，閉源大模型的壁壘會由什么構(gòu)建，成為一個問題。

Llama2 還是 GPT-4

選擇 Llama2 的原因有很多，成本是最直接的一個。

當(dāng)前，GPT-4 接口的調(diào)用費(fèi)用為每 1000 個提示請求 token 花費(fèi) 0.03 美元，完成響應(yīng) token 花費(fèi) 0.06 美元。斯坦福大學(xué)研究員在一份論文中估算，如果是中小企業(yè)利用 GPT-4 來協(xié)助市場工作的話，每個月的成本可能超過 2.1 萬美元。而一個利用 GPT-4 輔助廣告文案生成的公司則表示，它們平均每個月要為 GPT-4 接口支付超過 25 萬美元的成本。

一家國內(nèi) AIGC 應(yīng)用商對機(jī)器之心透露，Llama2 雖然目前在技術(shù)水平上距離 GPT-4 有一定差距，但是相比于 GPT-4 的高昂成本，團(tuán)隊(duì)仍然選擇了使用 Llama2 作為底層模型，通過在產(chǎn)業(yè)中積累的行業(yè)數(shù)據(jù)以及專注在垂直場景進(jìn)行輸出，能夠彌補(bǔ)一部分技術(shù)代差。

“Llama2 出現(xiàn)之后，受打擊最大的應(yīng)該就是 OpenAI，更多的公司會開始直接基于 Llama2 進(jìn)行商業(yè)化開發(fā)，而不再購買它們的 API?！鲍C豹移動董事長兼CEO傅盛稱。

在免費(fèi)的沖擊下，原先使用 OpenAI 接口的應(yīng)用層公司會重新思考應(yīng)該選擇哪個路線，有一部分的市場或許將會被 Llama2 重新洗牌。

不過，這個決策并不完全是成本之上的較量。對于“較好的數(shù)據(jù)和優(yōu)化是否能夠彌補(bǔ)如今 Llama2 與 GPT-4 差距”這個問題，消極的聲音占據(jù)較多數(shù)。

東北大學(xué)教授肖桐舉例稱，以機(jī)器翻譯場景為例，我們可以用一個類似于 Llama2 這樣的開源模型去做指令微調(diào)，雖然翻譯性能達(dá)到不錯的程度，但是最終會發(fā)現(xiàn)性能上限仍然受限，因?yàn)殚_源大模型的某些能力是在預(yù)訓(xùn)練階段獲得的，所以即使你的指令、任務(wù)都是明確的，加上很多數(shù)據(jù)，但你會發(fā)現(xiàn)仍然不容易做到 GPT-4 的效果。

另外，相比于往常的披露，此次 Llama2 開源并沒有對外披露數(shù)據(jù)層的具體信息，因此復(fù)現(xiàn) Llama2 成為一件受限制的事情。“比如一座樓房，你只能在這個基礎(chǔ)之上去裝修卻做外設(shè)，但是你沒有辦法去改變它的鋼混結(jié)構(gòu)，你沒有訓(xùn)練它底座的權(quán)限和能力，所以它的性能很難突破，逼近 GPT-4 這個事情是不可能的”，方漢認(rèn)為。

一些應(yīng)用開發(fā)者則認(rèn)為，按照此時 Llama2 與 GPT-4 的水平差距，如果全力押注 Llama2，付出的代價可能同樣很大。“可能你要花很多時間在優(yōu)化 Prompt 上，而不是產(chǎn)品創(chuàng)新?！?/p>

因此，在技術(shù)的絕對領(lǐng)先下，GPT-4 仍然會持續(xù)吸引到對效果有相對極致的、在成本方面有較大空間的客戶。

當(dāng)然，比起存量市場的轉(zhuǎn)移，Llama2 的更大貢獻(xiàn)應(yīng)該是對整個 AIGC 行業(yè)增量市場的拉動。一位 AIGC 業(yè)內(nèi)人士向機(jī)器之心表示，Llama2 的開源點(diǎn)燃了很多應(yīng)用開發(fā)者的熱情，在開源后的幾周時間，許多開發(fā)者將它看成是移動互聯(lián)網(wǎng)黃金時期的階段，希望能找到應(yīng)用的切口。

正如肖桐所言，Llama2 能夠支持企業(yè)和團(tuán)隊(duì)在大模型應(yīng)用層面低成本、快速地啟動，做出產(chǎn)品和商業(yè)模式的原型。

而隨著圍繞 Llama 的應(yīng)用嘗試越來越多，“圍繞 Llama2 的生態(tài)的可能會被建立起來，這種遷移是比較難的，因此生態(tài)會成為一個飛輪”，傅盛提到，之后或許將迎來一個模型平民化的階段，使用大模型做應(yīng)用的門檻將不斷降低。方漢則具體指出，在國內(nèi)，Llama2 對市場的影響將集中在小 B 市場，文生圖、智能寫小說這類場景會迎來更多競爭對手。

在過去的幾周時間里，Llama2 已被接入 Amazon Sagemaker、Databricks、Watsonx.ai、Microsoft Azure、阿里云和百度千帆等各種平臺，圍繞 Llama2 的生態(tài)已經(jīng)開始發(fā)展。

大模型創(chuàng)業(yè)公司的危機(jī)

對大部分底層大模型創(chuàng)業(yè)公司來說，一條比較明確的商業(yè)化路徑是效仿 OpenAI，通過自研大約 GPT-3.5 水平的模型，然后向客戶提供 MaaS 服務(wù)，出售底層模型的能力。

在 Llama2 推出之前，開源社區(qū)最強(qiáng)的大模型 Llama 在商用許可上具有限制，而 OpenAI 的接口在國內(nèi)面臨著不確定的監(jiān)管風(fēng)險，因此相比于兩者，國產(chǎn)大模型在市場競爭中的優(yōu)勢通常是“可商用”“數(shù)據(jù)安全”以及更好的“服務(wù)支持”。

Llama2 的釋出削弱了國產(chǎn)大模型創(chuàng)業(yè)公司在市場上的競爭力。“從許多公開的測試集上，我們可以看到，國內(nèi)大部分的大模型公司的水平距離 GPT-3.5 仍然有距離”，一位 AI 方向資深投資人稱。也就是說，對于國內(nèi)的大部分大模型創(chuàng)業(yè)公司來說，Llama2 意味著一個價格碾壓、技術(shù)更強(qiáng)以及可以支持商用的競爭對手。

對那些自研大模型積累不夠的公司來說，Llama2 產(chǎn)生的打擊則更甚。傅盛認(rèn)為，“Llama2 將開源的水平提升到了接近 GPT-3.5 的水平。如果說此時你的自研水平遠(yuǎn)遠(yuǎn)不如 Llama2，那么意味著可能你之前的工作都白做了?！?/p>

對這部分公司來說，當(dāng)前面臨兩種選擇，一是拋棄自研路線，利用自己此前積累的數(shù)據(jù)和經(jīng)驗(yàn)開始用 Llama2 進(jìn)行開源模型訓(xùn)練，二是繼續(xù)堅持自研路線，但是需要衡量所付出的時間和金錢成本，以及最終自身能否追趕并超越上快速迭代的開源生態(tài)。無論哪種，都是一個艱難的選擇。

Llama2 為開源社區(qū)貢獻(xiàn)的新的技術(shù)里程碑，不僅拉高了閉源公司整體的自研門檻，或許還將動搖很大一部分公司“繼續(xù)自研”的決心。

“對于很多公司來說，當(dāng)你自研的大模型沒有辦法去超過 Llama2 后，你會越來越?jīng)]有動力去自研模型，會更傾向于站在巨人的肩膀上，這更多是一種心理層面的影響”，面壁智能 CTO 曾國洋說道。

而如果認(rèn)為自己短期內(nèi)憑借自研能力無法超過 Llama2 的這部分公司，“很有可能就會去考慮成為端到端的應(yīng)用公司，利用自己的既有模型結(jié)合開源模型，直接向市場提供應(yīng)用，最后實(shí)現(xiàn)數(shù)據(jù)上的閉環(huán)，從而不斷迭代”，上述投資人表示。

不過，對于頭部大模型公司來說，“自研”路線上的搖擺現(xiàn)象概率要低得多。昆侖萬維 CEO 方漢告訴機(jī)器之心，在技術(shù)上更值得期待的是，如何從 GPT-3.5 提升到 GPT-4。“國內(nèi)已經(jīng)在牌桌上的大模型公司對如何做到 GPT-3.5 大多已經(jīng)沒有什么疑問，但下一步如何做到 GPT-4 仍然需要花大力氣探索，因此 Llama2 在技術(shù)上對大廠沒有什么參考意義”。

曾國洋持類似觀點(diǎn)。他認(rèn)為，在技術(shù)上 Llama2 最多在一些具體任務(wù)上可以起到一些 Benchmark 的作用，但是 Llama2 最值得參考的數(shù)據(jù)處理層面沒有開源，因此整體在技術(shù)上參考意義有限。

從市場競爭的角度來看，在國內(nèi)市場，相比于 Llama2，國內(nèi)頭部大模型公司擁有更優(yōu)越的中文表現(xiàn)、更穩(wěn)定的監(jiān)管預(yù)期、更便利的服務(wù)支持以及更近的市場渠道。因此，面對于 Llama2 的免費(fèi)優(yōu)勢，能夠做到在性能上更好、模型更加易用的頭部大模型公司，理論上就能夠繼續(xù)維持整體優(yōu)勢。

并且，對于頭部大模型公司來說，在自研路線上投入的沉沒成本遠(yuǎn)遠(yuǎn)超過中尾部大模型公司，不同自研的路線往往也代表了公司的行業(yè)、場景上的側(cè)重點(diǎn)，頭部公司有足夠的資金、人才以及驅(qū)動力繼續(xù)自研。

Llama2 對國內(nèi)大模型公司的影響將是一個持續(xù)的過程。如今全球范圍內(nèi) AIGC 行業(yè)仍在起步上升階段，并沒有穩(wěn)定的市場格局。由于底層技術(shù)水平仍在早期，中國市場則更加分散，尚未發(fā)展起來。全球來看 GPT 的市場份額應(yīng)當(dāng)是最大的，而國內(nèi)目前 Llama2 能夠受影響的市場僅僅只是擔(dān)心 GPT 受監(jiān)管影響、且國產(chǎn)大模型都不適用的這部分客戶，是一個“暫存市場”。

不過，雖然“暫存市場”整體并不大，但在暫存市場中證明自己的模型商業(yè)化能力已經(jīng)成為許多大模型公司的“融資通行證”。上述投資人告訴機(jī)器之心，在比較標(biāo)的的過程中，雖然 Llama2 在技術(shù)上起到的參考價值不大，但是公司如何應(yīng)對 Llama2 帶來的商業(yè)化危機(jī)會成為資方較為在意的點(diǎn)。如果說，在這場市場競爭中失敗，融不到資，可能就會影響到大模型創(chuàng)業(yè)公司的存續(xù)問題，在目前的階段，這可能是一個更致命的問題。

沒有長期護(hù)城河

無論是 Llama2 瓜分閉源公司的既有市場份額，還是推動整個行業(yè)進(jìn)一步繁榮，“開源 AI 正在取得勝利”這個判斷似乎擁有了更多實(shí)證。

這個觀點(diǎn)來自于今年5月谷歌一位工程師在內(nèi)網(wǎng)發(fā)布的文件。在谷歌與 OpenAI 仍在焦灼 AI 軍備競賽之際，這位工程師在文件中直言：開源派與谷歌和 OpenAI 模型之間的差距正在以驚人的速度縮小，它們將很快對谷歌和 OpenAI 進(jìn)行超越，我們沒有護(hù)城河。

“一家公司不斷在前面推天花板，后面的人不停追趕，雖然它可能會有自己累積的技術(shù)優(yōu)勢，但是別人在追趕它的時候，能看見它已經(jīng)成功做了什么，那么就會更容易”，西湖大學(xué)張岳教授對機(jī)器之心解釋。

曾國洋則進(jìn)一步表示，從目前公開資料所披露的 GPT-4 的具體技術(shù)情況，我們發(fā)現(xiàn)它并沒有使用一些特別神奇、超越時代的科技，本質(zhì)上也是用大家都能理解的技術(shù)來做拼接組合，最終實(shí)現(xiàn)了效果更好。

如果說，領(lǐng)先的閉源模型是確定可追隨的，那么意味著，“長遠(yuǎn)來看，閉源大模型并沒有真正的護(hù)城河”，曾國洋與張岳認(rèn)為。

在這個前提下，追隨者之中，開源AI無疑是最有競爭力的一支力量。在開源社區(qū)的支持下，開源模型的迭代速度比想象地更快。以 Llama2 本身所欠缺的中文語料為例，僅在 Meta 開源 Llama2 次日，開源社區(qū)首個能下載、能運(yùn)行的開源中文 Llama2 模型“Chinese Llama 2 7B”就出現(xiàn)了。

在商業(yè)環(huán)境中，一家基于開源模型研發(fā)的的垂直 AIGC 產(chǎn)品公司近日告訴機(jī)器之心，經(jīng)過它們的內(nèi)部驗(yàn)證，任何閉源模型的更新，它們有信心能夠結(jié)合自身的數(shù)據(jù)和工程化經(jīng)驗(yàn)，三個月內(nèi)在自己垂直的場景中實(shí)現(xiàn)差不多的水平。

當(dāng)然，短期來看領(lǐng)先的閉源模型相較于開源模型，護(hù)城河仍然十分清晰。東北大學(xué)教授肖桐認(rèn)為，相較于開源模型，走閉源路線的大廠在人才、組織以及數(shù)據(jù)三個方面有短時間難以取代的優(yōu)勢。大廠往往擁有更高密度更高水平的人才，以及有經(jīng)驗(yàn)的團(tuán)隊(duì)能夠協(xié)調(diào)人才和高性能設(shè)備，并且能夠擁有其他人無法拿到數(shù)據(jù)。此外，曾國洋還提到，大廠往往也擁有充足算力?！暗L期來說的話，數(shù)據(jù)和算力各種要素都會慢慢追平”。

在這個過程中，開源模型真正的影響力在于對生態(tài)系統(tǒng)的構(gòu)建?！癓lama2 可能會推動大模型上下游進(jìn)行整合，一旦解決了規(guī)模的問題，成本也將大大下降”，肖桐表示。

雖然目前 Llama2 僅僅可能是大模型開源生態(tài)系統(tǒng)的開端，“大家對 Llama2 的能力邊界不是非常清晰，生態(tài)系統(tǒng)的形成同樣需要一些時間”。但隨著 Llama2 的釋出，開源社區(qū)的技術(shù)能力被帶上另一個臺階，大模型開源社區(qū)的力量已經(jīng)無法被忽視。

關(guān)鍵詞：