南方財(cái)經(jīng)全媒體記者 吳立洋 上海報(bào)道

(資料圖片僅供參考)

近日，南方財(cái)經(jīng)全媒體記者注意到，國(guó)內(nèi)諸多主流公有云服務(wù)商，均出現(xiàn)一定程度云端GPU算力缺貨的情況。

有下游GPU需求方向記者表示，近期受AI熱潮影響，GPU云服務(wù)市場(chǎng)確實(shí)存在短期內(nèi)供不應(yīng)求的情況。

GPU算力的相對(duì)短缺一方面源自上游供給的不足，2022年8月芯片設(shè)計(jì)公司英偉達(dá)宣稱，被美國(guó)政府要求限制向中國(guó)出口兩代旗艦GPU計(jì)算芯片A100和H100；另一方面，在由Chat GPT掀起的“全業(yè)大模型”AI熱潮下，應(yīng)用需求進(jìn)一步擴(kuò)張，缺乏GPU儲(chǔ)備的企業(yè)不得不轉(zhuǎn)向云端尋求算力支持。

面對(duì)市場(chǎng)供需差，服務(wù)商和應(yīng)用商都在尋求各自的解決方案。在供應(yīng)端，服務(wù)商們正想方設(shè)法優(yōu)化自身的供應(yīng)方案，4月14日，騰訊云正式發(fā)布面向大模型訓(xùn)練的新一代HCC高性能計(jì)算集群，該集群搭載了英偉達(dá)H800GPU，后者是英偉達(dá)為應(yīng)對(duì)美國(guó)禁令為中國(guó)市場(chǎng)開發(fā)的H100特供版，華為等相關(guān)廠商也在積極探索算力并網(wǎng)等方面的優(yōu)化方案。

在需求端，人工智能公司、游戲公司等GPU需求大戶也在尋求最佳的算力購(gòu)買方案，綜合考慮成本、穩(wěn)定性等因素選擇服務(wù)商或購(gòu)置多路云服務(wù)。

“一卡難求”

GPU即圖形處理器，是專門為圖像和圖形相關(guān)運(yùn)算工作的微處理器，由于擅長(zhǎng)大規(guī)模并發(fā)計(jì)算，因此也被應(yīng)用于AI訓(xùn)練等需要大規(guī)模并發(fā)計(jì)算場(chǎng)景。OpenAI的研究表明，2012至2018年6年間，在最大規(guī)模的人工智能模型訓(xùn)練中所使用的計(jì)算量呈指數(shù)級(jí)增長(zhǎng)。

但由于GPU產(chǎn)品售價(jià)高昂，且對(duì)相關(guān)算力需求往往以項(xiàng)目制方式進(jìn)行，因而搭配自身算力資源或完全購(gòu)買云服務(wù)商的GPU算力是很多中小規(guī)模應(yīng)用商的選擇。

目前，在AI帶來的算力需求下，相關(guān)云服務(wù)商的GPU供給存量正被快速消耗。

南方財(cái)經(jīng)全媒體記者查詢騰訊云官網(wǎng)發(fā)現(xiàn)，提供英偉達(dá)A100 GPU的云產(chǎn)品已顯示售罄狀態(tài)，包含其他區(qū)域在內(nèi)，可提供相關(guān)服務(wù)的僅有英偉達(dá)P4、T4、V100等型號(hào)的GPU。

在京東云官網(wǎng)，提供GPU云算力的華北-北京與華東-上海區(qū)域也同樣缺少A100 GPU服務(wù)，但隨后京東云官方客服聯(lián)系南財(cái)記者表示，官網(wǎng)顯示只有P40型號(hào)的GPU，如果需要更高的算力配置，可以聯(lián)系運(yùn)營(yíng)人員提供定制化服務(wù)。

而在阿里云商店界面，仍有少量A100可供選購(gòu)，但阿里云客服人員在與記者的交流中也坦言：官網(wǎng)只要顯示可購(gòu)買，機(jī)房就可以足額進(jìn)行虛擬化，但如果購(gòu)買產(chǎn)品到期后沒有續(xù)費(fèi)算力被釋放，也不能保證二次購(gòu)買時(shí)有貨。

“能買到就說明還有貨。其他的就不方便透露了?！睂?duì)于南財(cái)記者關(guān)于阿里云GPU供給情況的問詢，阿里云相關(guān)負(fù)責(zé)人如此回應(yīng)道。

“從去年8月美國(guó)對(duì)中國(guó)實(shí)施A100與H100禁運(yùn)后，GPU的供給就一直處于相對(duì)緊張的狀態(tài)，價(jià)格也隨之水漲船高。”上海某互聯(lián)網(wǎng)公司云服務(wù)業(yè)務(wù)從業(yè)者向記者表示，在AI熱潮算力需求暴漲的背景下，無論是市場(chǎng)上流通的GPU還是云端算力，在短期內(nèi)都面臨一定的供不應(yīng)求境況。

供應(yīng)端的壓力首先來自于GPU成品的禁運(yùn)封鎖。2022年8月31日，芯片設(shè)計(jì)公司英偉達(dá)宣稱，美國(guó)政府要求其限制向中國(guó)出口兩款旗艦GPU計(jì)算芯片A100和H100。但很快，英偉達(dá)就給出了特供中國(guó)市場(chǎng)的產(chǎn)品A800，在A100基礎(chǔ)上將GPU高速互聯(lián)總線帶寬從600GB/s降低至400GB/s，在不影響單卡性能的基礎(chǔ)上，限制了GPU大規(guī)模拓展互聯(lián)。

今年3月，英偉達(dá)宣布H100顯卡全面投產(chǎn)，并針對(duì)AI市場(chǎng)推出了新的雙GPU產(chǎn)品H100 NVL，可提供高達(dá)188GB HBM3顯存，單卡顯存容量達(dá)94GB，適用于運(yùn)行大型語(yǔ)言模型(LLM)。

此外，英偉達(dá)也同步宣布將基于H100為中國(guó)市場(chǎng)開發(fā)第二款特供版GPU H800，且H800在限制帶寬后依然符合美國(guó)政府的限制出口規(guī)定。彼時(shí)據(jù)媒體報(bào)道，阿里巴巴、騰訊、百度三家國(guó)內(nèi)廠商均已使用H800產(chǎn)品。

而在國(guó)內(nèi)自研GPU方面，由于被列入美國(guó)實(shí)體清單等因素影響，華為晟騰、寒武紀(jì)思元、壁仞科技BR100等GPU產(chǎn)品在設(shè)計(jì)和量產(chǎn)等方面仍多處受到掣肘。

“GPU一般都是數(shù)字芯片，制程相對(duì)先進(jìn)，有賴于高速開關(guān)技術(shù)，因而相較于其他產(chǎn)品的研發(fā)難度要更高。”無錫某半導(dǎo)體行業(yè)從業(yè)者向記者表示，相關(guān)數(shù)字芯片往往規(guī)模龐大，完全的正向設(shè)計(jì)很困難，目前部分公司的做法是購(gòu)買相關(guān)電路模塊設(shè)計(jì)版權(quán)然后進(jìn)行復(fù)制。但即便能夠購(gòu)買到相關(guān)版權(quán)，由于當(dāng)前芯片設(shè)計(jì)往往采用了憶阻器的“黑盒子”技術(shù)，進(jìn)行高效復(fù)制同樣困難重重。

云端算力方面，在A100與H100被禁運(yùn)后，很長(zhǎng)一段時(shí)間內(nèi)大部分云服務(wù)商所能提供的云服務(wù)主要還是依賴此前儲(chǔ)備的GPU存量，雖然A800等特供版產(chǎn)品和國(guó)產(chǎn)GPU也能提供一定算力支撐，但數(shù)量和并網(wǎng)能力等方面的限制依然困擾著供需雙方。

供需變局

而在本輪GPU供給短缺發(fā)生前，國(guó)內(nèi)廠商其實(shí)一直在進(jìn)行算力“過冬”的準(zhǔn)備。

“包括游戲公司在內(nèi)，國(guó)內(nèi)大部分IT企業(yè)在美國(guó)禁令正式執(zhí)行前，都一直在購(gòu)買GPU?！弊鳛樗懔ο拇髴?，上海某游戲公司相關(guān)負(fù)責(zé)人告訴記者，對(duì)于中小開發(fā)者而言，小體量的產(chǎn)品開發(fā)可能靠4090等消費(fèi)級(jí)顯卡即可完成，少數(shù)需要使用A100以上級(jí)別的場(chǎng)景也并不難解決，因而受到相關(guān)供需關(guān)系變化影響相對(duì)有限。

某上市游戲公司技術(shù)負(fù)責(zé)人也向記者表示，由于企業(yè)自身是云服務(wù)商大客戶，合作關(guān)系相對(duì)穩(wěn)定，因而目前算力供給也并未受到過多波及。

但供需市場(chǎng)的變化也在促使相關(guān)廠商不斷調(diào)整算力支撐方案。上述上海游戲公司負(fù)責(zé)人向記者表示，公司早在數(shù)個(gè)月前就購(gòu)入了A100的多路國(guó)內(nèi)云服務(wù)，并用阿里、騰訊、華為、AWS、GCP等多家供應(yīng)商的云服務(wù)，還在不久前加入了微軟Azure。

以近日風(fēng)頭正盛的微軟Azure為例，據(jù)其官方發(fā)布的信息顯示，借助OpenAI的GPT大模型,微軟已經(jīng)能夠面向企業(yè)推出Azure OpenAI云服務(wù),幫助企業(yè)發(fā)掘大規(guī)模的AI與商業(yè)場(chǎng)景結(jié)合的潛力。而在Azure的官網(wǎng)界面，“將高級(jí)編碼和語(yǔ)言模型應(yīng)用于各種用例”被高調(diào)地放置于“精選”產(chǎn)品頁(yè)。

一位游戲AI創(chuàng)業(yè)企業(yè)負(fù)責(zé)人告訴記者，他們的公司正是在這兩個(gè)月從阿里云和AWS全量遷移到了Azure。

“他們給了很多優(yōu)惠，資源也很足。”該負(fù)責(zé)人坦言。

上述上海游戲企業(yè)負(fù)責(zé)人也表示，提供GPT的API接口是Azure的優(yōu)勢(shì)之一，但也存在并發(fā)能力差的問題，當(dāng)前對(duì)于不同體量、不同算力需求的公司，GPU供給還未能收斂到特定標(biāo)準(zhǔn)化解決方案，這也正是很多企業(yè)在實(shí)際業(yè)務(wù)中采用不同供應(yīng)商并行策略的原因。

“因?yàn)椴煌?yīng)商提供的服務(wù)各有其擅長(zhǎng)領(lǐng)域，且在市場(chǎng)競(jìng)爭(zhēng)下，也給需求方留下充分的議價(jià)空間。”他進(jìn)一步表示。

而在需求端不斷調(diào)整算力獲取方案的同時(shí)，國(guó)內(nèi)供給方也在積極進(jìn)行著優(yōu)化與迭代。

4月11日，浙江移動(dòng)宣布通過與華為合作，旗下算力網(wǎng)絡(luò)與杭州人工智能計(jì)算中心成功對(duì)接,實(shí)現(xiàn)了基于昇騰GPU的AI算力并網(wǎng)，全面降低了模型訓(xùn)練時(shí)間、推理時(shí)間和使用成本。

三天后，騰訊云正式發(fā)布新一代HCC高性能計(jì)算集群，搭載英偉達(dá)H800 GPU。據(jù)騰訊方面表示，騰訊云新一代集群的算力性能較前代提升高達(dá)3倍，是國(guó)內(nèi)性能最強(qiáng)的大模型計(jì)算集群。

阿里云CTO周靖人曾在公開發(fā)言中表示，GPU很重要但不是全部：“大模型的訓(xùn)練往往需要幾千甚至上萬(wàn)張GPU卡共同協(xié)作來完成，卡與卡之間的連接，機(jī)器與機(jī)器之間的連接，如何構(gòu)建一個(gè)高吞吐、低延遲的網(wǎng)絡(luò)，以及高效的存儲(chǔ)，都是智算基礎(chǔ)設(shè)施的重要環(huán)節(jié)。如果沒有這些環(huán)節(jié)，光有GPU的卡，就很難跑出規(guī)模超級(jí)大的模型?！?/p>

同樣是在最近，微軟開源了一個(gè)可在模型訓(xùn)練中加入完整RLHF（人類反饋強(qiáng)化學(xué)習(xí)）流程的系統(tǒng)框架——DeepSpeed Chat，據(jù)介紹，該框架通過混合引擎，支持在2.1天內(nèi)訓(xùn)練一個(gè)OPT-66B的模型，且成本僅為1620美元——該方式比現(xiàn)有系統(tǒng)快15倍以上，消耗的算力成本大幅下降。受該消息影響，當(dāng)天股市數(shù)據(jù)中心板塊一度下挫2%左右。

“除了加快研發(fā)光刻機(jī)從芯片供給層面解決問題，從云服務(wù)供給優(yōu)化到需求端市場(chǎng)的自發(fā)調(diào)整，都在為應(yīng)對(duì)短期的算力供需問題進(jìn)行探索與嘗試，這需要整個(gè)供應(yīng)量上下游的共同努力。”上述無錫半導(dǎo)體行業(yè)從業(yè)者說。

更多內(nèi)容請(qǐng)下載21財(cái)經(jīng)APP

關(guān)鍵詞：