AI直面算力難題——在密集發布的人工智能大模型之外,我們離算力自由還有多遠?
分類: 最新資訊
范文詞典
編輯 : 范文大全
發布 : 04-22
閱讀 :327
經濟觀察報 記者 鄭晨燁 在4月中旬舉辦的香港國際創科展上,華為搭建了囊括七大主題的面積約600平方米的“豪華展區”。從智慧城市、行業數字化轉型乃至新型儲能,華為依托自身端、管、云協同的基礎設施優勢,眼下正在不斷加速向各行各業拓展邊界。而在涵蓋30余種解決方案的展區中,AI計算相關產品吸引了不少來往展商與觀眾。“我之前都不知道,華為也有AI訓練卡嗎?你們的盤古大模型是用自己的產品訓練出來的嗎?”在華為AI計算的展區內,記者看到有觀眾如是詢問現場的工作人員。自ChatGPT的爆火掀起生成式AI的浪潮以來,各類大模型如雨后春筍般冒出,面對正在舞臺上賣力演出的“角兒”們,真正搭臺的AI算力產業反倒顯得不那么引人注目。“人工智能的核心說起來就三個點:大數據、大模型、大算力,現在國內的算力市場非常火熱,像我們合肥(超算)中心的算力已經被國內一家知名智能語音企業全部定下來了,而且客戶還要求我們盡快做下一步擴容。”華為展區內一位專家向經濟觀察報記者介紹。如果將2023年視為中國人工智能大模型應用元年,那么在大規模的前端產品落地后,算力建設能否及時跟上,便成了大模型向各領域進一步滲透的關鍵因素。但在部分業內人士看來,眼下國內算力供給已成為制約大模型發展的瓶頸之一。4月19日,一位來自上海的云計算廠商的產品經理李實在交流時就告訴記者:“目前AI對算力需求增長的速度要快于算力供給增長的速度,AI芯片的迭代也有點跟不上模型訓練及迭代所需。”算力的需求OpenAI自發布ChatGPT以來,月活用戶已在年初突破一億,成為歷史上用戶增長最快的應用程序,而在Chat-GPT面世后,與曾經出現的造手機、造汽車的浪潮一樣,國內一眾互聯網產業鏈上的廠商開始扎堆“造模型”。先是百度于3月16日官宣發布基于百度飛槳深度學習平臺和文心知識增強大模型打造的——文心一言,隨后4月9日至11日連續三天,三六零(601360.SH)、商湯、阿里又分別發布了“360智腦”“日日新”“通義千問”三個大模型。此外,騰訊、華為、知乎、京東、昆侖萬維也紛紛攜帶各自的大模型產品加入混戰。但在李實看來,國產大模型的密集發布宣傳意義更大,而目前實際落地的使用效果和市場期待尚有一定差距。比如,此前文心一言飽受調侃的作圖功能就很能說明一些問題:讓其畫老婆餅結果真畫出來一個老婆婆,畫紅燒獅子頭結果畫出來一幅紅色的獅子頭。“通用大模型的看點,主要在于未來與不同行業結合后,對各類產品的賦能和提升,比如搜索引擎和大模型的結合,就讓這類早已成型的應用又誕生出了想象空間,又或者類似蘋果Siri這類語音助手,和大模型結合后帶來的沉浸式交互體驗是前所未有的。可以說大模型的出現,給許多早已一潭死水的TMT產業帶來新的增量空間。”李實說。在4月18日舉辦的2023年中國ICT市場趨勢論壇上,IDC中國研究總監盧言霞亦稱,根據斯坦福大學2022年發布的人工智能指數報告,大模型文生圖的準確率僅為25%,而目前文生圖、文生文可以落地的一些應用,主要集中在互娛和游戲場景當中,包括影視渲染、美術設計等,真正到工業環境中,市場對于哪些應用場景能夠落地,現在還比較困惑。之所以國內一眾大模型的體驗效果要遜色于ChatGPT,除了算法及數據方面的差距外,算力投入也是一個繞不開的原因。CIC灼識咨詢合伙人趙曉馬向記者表示,人工智能的發展趨勢是大數據、大模型,“大力出奇跡”。“過去幾十年人工智能的發展無不說明了這一點,每一次數據量級、模型規模的突破,都帶來了人工智能技術的突出成果。而這背后,正是AI訓練的算力指數級增長。從2010年深度學習出現以來,用于AI訓練的算力以每6個月翻一倍的速度增長,2015年前后,大規模模型出現至今,其訓練算力都是原來的10倍到100倍。”趙曉馬指出。算力的飆升自然也帶來了成本增長,根據國盛證券在今年2月12日發表的一份研報中的測算,在初始算力投入上,為滿足ChatGPT當前千萬級用戶的咨詢量,投入成本約為8億美元,對應約4000臺服務器;在單日運行電費上,參考美國平均0.08美元/kwh工業電價,每日電費約為5萬美元。此外,基于參數數量和token(字符串)數量估算,GPT-3訓練一次的成本約為140萬美元。4月8日,浙江大學人工智能研究所所長吳飛在“人工智能大模型技術高峰論壇”上指出,ChaGPT在訓練中使用了45TB數據、近1萬億個單詞(約1351萬本牛津詞典所包含單詞數量)以及數十億行源代碼,其模型包含了1750億參數,將這些參數全部打印在A4紙張上,一張一張疊加后,疊加高度將超過上海中心大廈632米高度,其訓練門檻是1萬張英偉達V100芯片、約10億人民幣,模型訓練算力開銷是每秒運算一千萬億次,需運行3640天。“(在人工智能的訓練中)數據是燃料、模型是引擎、算力是加速器,據估計全球高質量文本數據的總存量在5萬億token(字符串)左右,人工智能算法可能在一個數量級內,耗盡世界上所有有用的語言訓練數據供應。”吳飛稱。龐大的算力需求為AI算力產業帶來了廣闊的市場空間,根據 IDC數據與預測,2021年中國智能算力規模達到155.2EFLOPS(每秒一百億億次的浮點運算)并在之后的幾年始終保持穩健增長態勢,預計到 2026年將突破進入每秒十萬億億次浮點計算級別,智能算力實現1271.4EFLOPS的龐大規模,2021-2026年期間,預計年復合增長率達到 52.3%。一位華為AI計算領域的專家在創科展現場也告訴記者,目前市場對智能算力的需求非常火爆,公司基于昇騰系列AI處理器已經構筑起包括Atlas系列模塊、板卡、小站、服務器、集群等豐富的產品形態,覆蓋深度學習領域推理和訓練全流程,且在全國18座城市都已布局人工智能計算中心,可用于各行業人工智能深度學習模型開發、訓練和推理等應用場景。底座的瓶頸在李實看來,算力是人工智能領域的鏟子,也可以稱之為行業底座。他告訴記者,按照對計算精度要求的不同,算力通常分為通用算力、智能算力以及超算算力。其中,通用算力一般就是基于普通CPU芯片集成的服務器所能提供的算力,用于一些基礎的計算場景,而智能算力則是基于GPU、GPGPU及AISC等AI芯片所提供的算力,主要用于人工智能的訓練和推理。一位上海的AI芯片初創企業項目經理唐坤向記者介紹稱,當下市場主流的AI芯片均為GPGPU,屬于GPU(圖形處理器)的一種,它弱化了GPU關于圖形處理的功能,來完成原本由CPU承擔的任務。“AI領域的計算需求具有大運算量、高并發度、訪存頻繁的特點,GPGPU因其多內核多通道的設計,非常適合對大量數據進行并行計算,從而在人工智能領域找到了應用場景。”唐坤表示。根據市場調研公司Tractica的研究報告,到2025年,全球人工智能芯片的市場規模將達到726億美元,年均復合增長率達46.14%。“AI將成為未來高性能計算領域的主要需求。”唐坤說。但國內一眾大模型“卷”于發布的當下,作為行業底座的算力卻先遇到了瓶頸。首先是關于產品本身,李實告訴記者,隨著摩爾定律日漸趨近失效,在IC(集成電路)器件本身尺寸不斷接近物理極限的情況下,依靠提升晶體管密度從而帶來性能提升的難度在不斷提高,且AI算力的需求增速已經快于芯片算力的增速。其次,由于AI模型參數量的不斷擴大,AI芯片的內存增速也難以匹配,這導致了內存墻問題的出現,即內存容量限制了芯片性能的發揮。“前段時間馬斯克不是聯名要求暫停訓練AI嘛,但他不呼吁也沒關系,OpenAI也需要暫停一下,等一等硬件迭代。”李實說。在他看來,AI芯片的未來迭代方向主要將圍繞存算一體,即賦予存儲器計算能力,大幅降低功耗的同時,顯著提高芯片的計算能力。除了硬件方面有待迭代外,當下的外部環境也為國產算力產業的發展帶來了不少限制。據唐坤介紹,在高端GPU領域,英偉達占據著超過90%的市場份額,ChatGPT即是用上萬張英偉達A100芯片打造超算中心訓練而出。根據英偉達官網數據,A100的單精度峰值計算性能達19.5TFLOPS(每秒一萬億次的浮點運算)。而一張40G顯存的A100芯片,在京東平臺上所標售價就達6.25萬元。因此,A100芯片也一直被廣大科技發燒友戲稱為“小金磚”。另外,值得注意的是,在今年的3月21日,英偉達已經發布了最新一代的H100芯片,相較于前代產品,H100單精度峰值計算性能達67TFLOPS,其雙精度的每秒浮點運算(FLOPS)提升3倍,性能提高了約7倍,在動態編程算法上比僅使用傳統雙路CPU的服務器快40倍。不過,根據去年10月美國商務部發布的管制條例,A100、H100這類代表國際先進計算水平的芯片已經被禁止售往中國,而2017年發布的V100芯片,因其性能較低,則不在管控之內。“國內廠商還有渠道能夠購買英偉達的產品,但短期肯定會對國內的算力產業形成壓制。在這個領域,包括寒武紀、海光、華為等企業也在快速發展,但距離實現算力的國產替代還有一定距離。”李實告訴記者。唐坤則表示,其在今年拓展項目時了解到,當前國內眾多超算中心進行產品采購或招標時,都有相應的國產產品指標,而從硬件性能角度來看,不論寒武紀、華為還是海光,均有計算指標不弱于英偉達A100的產品。根據寒武紀2022年半年報披露,該公司第三代云端產品思元370,采用臺積電7nm先進制程工藝,也是首款采用Chiplet(芯粒)技術的人工智能芯片。其單精度峰值計算性能達18TFLOPS(每秒一萬億次的浮點運算)。“AI芯片領域的國產替代是大趨勢,但生態及廠商技術還需要一個提升的過程,而且現在很多企業也在抓緊囤英偉達的相關產品,‘算力荒’的情況應該不會出現。”唐坤說。政策的扶持4月19日,上海市經濟信息化委印發《上海市推進算力資源統一調度指導意見》。文件指出,算力是夯實科創城市基礎、加快城市數字化轉型、推動數字經濟高質量發展的核心生產力;加強全市算力資源統籌、調度和共享,有助于提升算力資源利用率,加速數據要素流通,全面釋放數據價值。根據文件要求,到2023年底,依托上海市人工智能公共算力服務平臺,接入并調度4個以上算力基礎設施,可調度智能算力達到1000PFLOPS(FP16半精度每秒一千萬億次的浮點運算)以上;到2025年,市人工智能公共算力服務平臺能級躍升,完善算力交易機制,實現跨地域算力智能調度,通過高效算力調度,推動算力供需均衡,帶動產業發展作用顯著增強,該市數據中心算力超過18000PFLOPS(FP32單精度每秒一千萬億次的浮點運算);新建數據中心綠色算力占比超過10%(不含市電結構中的綠電);集聚區新建大型數據中心綜合PUE降至1.25以內,綠色低碳等級達到4A級以上。今年2月,成都市直接拿出了“真金白銀”對算力產業進行扶持,根據成都市新經濟委、市經信局、市發改委、市科技局聯合印發的《〈成都市圍繞超算智算加快算力產業發展的政策措施〉實施細則(征求意見稿)》,成都市政府支持企事業單位、科研機構基于國家超算成都中心技術框架開發通用適配硬軟件,根據使用量與頻次綜合排名,分級分類給予排名前10的單位最高100萬元,每年累計不超過500萬元的一次性獎勵。文件中還要求開展云計算中心優化行動,推動以存儲為主的“老舊”數據中心向以存算為核心的云計算中心提檔升級,推動“小散”數據中心融合、遷移至新型數據中心,強化綠色節能和智能化運維,提升大規模數據“云端”分析處理能力。對于改造升級完成后計算功能占比大于 70%且機架數不低于1000架、PUE低于1.25的云計算中心,按照每個機架最高1000元,給予總額最高200萬元的一次性改造補貼。實際上,早在2021年,國家發改委便提出了全國一體化算力網絡國家樞紐節點建設規劃,根據發改委新聞發言人孟瑋在2021年6月17日的例行發布會上介紹,國家發展改革委會同有關部門在京津冀、長三角、粵港澳大灣區、成渝、貴州、內蒙古、甘肅、寧夏等地布局建設全國一體化算力網絡國家樞紐節點。“這8個樞紐節點,將作為我國算力網絡的骨干連接點,統籌規劃數據中心建設布局,發展數據中心集群,開展數據中心與網絡、云計算、大數據之間的協同建設,并作為國家‘東數西算’工程的戰略支點,推動算力資源有序向西轉移,促進解決東西部算力供需失衡問題。”孟瑋表示。據記者查詢,包括成渝、甘肅、寧夏等地的算力樞紐節點均已規劃開工,而進展較快的如貴州,其一期基地設備已安裝完畢,大約56PFLOPS在4月底就可實現交付。除了國家規劃外,中東部各經濟發達地市也都在算力領域掀起“大干快上”的浪潮,根據公眾號“寧波發布”的信息,今年1月10日,寧波市首個人工智能超算中心項目(一期)正式上線,一期建成100PFLOPS(FP16半精度每秒一千萬億次的浮點運算)人工智能算力,加5PFLOPS(FP64雙精度每秒一千萬億次的浮點運算)計算算力。記者了解到,截至4月20日,國內已建成并運營人工智能計算中心的城市 共 有 7座 , 分 別 是 深 圳(1000PFLOPS 算 力 )、 武 漢(200PFLOPS算力)、西安(300PFLOPS算力)、成都(300PFLOPS算力)、許昌(100PFLOPS算力)、南京(40PFLOPS算力)、杭州(40PFLOPS算力)。李實告訴記者,目前智算中心的門檻為100PFLOPS,布局方面以東部為主,但在“東數西算”的大戰略下,未來西部也將成為重要的算力布局區域。“人工智能將成為驅動各行各業發展的引擎,而算力就是這臺引擎燒的油,只有油給夠,引擎才能轉得快不是?”他跟記者比喻說。版權聲明:以上內容為《經濟觀察報》社原創作品,版權歸《經濟觀察報》社所有。未經《經濟觀察報》社授權,嚴禁轉載或鏡像,否則將依法追究相關行為主體的法律責任。版權合作請致電:【010-60910566-1260】。