通信界訊 近日，中國工程院院士鄭緯民在2023世界5G大會(huì)上表示，國產(chǎn)超算完全可以支持大模型訓(xùn)練。
鄭緯民介紹道，目前支持大模型訓(xùn)練的主要有三種算力系統(tǒng)，一是基于英偉達(dá)公司的GPU系統(tǒng)，二是基于國產(chǎn)AI芯片的系統(tǒng)，三是基于超級(jí)計(jì)算機(jī)的系統(tǒng)。英偉達(dá)GPU系統(tǒng)的優(yōu)點(diǎn)是硬件性能好，生態(tài)也比較完善，但中美博弈加上產(chǎn)品價(jià)格高，給國產(chǎn)AI芯片帶來了難得的發(fā)展機(jī)遇，目前國內(nèi)已經(jīng)有30多家公司推出了國產(chǎn)芯片，“但用戶不太喜歡用，核心問題就是生態(tài)不好�！�
而不依賴國外芯片技術(shù)改變國產(chǎn)大模型生態(tài)系統(tǒng)發(fā)展局面，編程框架、并行加速、通信庫、算子庫、AI編譯器、編程語言、調(diào)度器、內(nèi)存分配系統(tǒng)、容錯(cuò)系統(tǒng)、存儲(chǔ)系統(tǒng)這十大關(guān)鍵軟件技術(shù)值得重點(diǎn)投入。
“如果國產(chǎn)AI芯片硬件性能達(dá)到國外芯片的60%，大多數(shù)用戶也是可以滿意的，因?yàn)橛布俸眠@十個(gè)軟件做不好，也沒有市場。”鄭緯民說道，一定要把這十個(gè)軟件做好，改變國產(chǎn)系統(tǒng)的生態(tài)。“如果把這些問題解決好，國產(chǎn)AI卡也會(huì)大受歡迎。希望國內(nèi)廣大用戶盡可能采用國產(chǎn)AI芯片，以用促建，以用促研，不斷的給予正向反饋�！�
目前，我國超算水平已經(jīng)處于國際第一梯隊(duì)，有14個(gè)國家一級(jí)超算中心，另外還有不少由地方和行業(yè)建設(shè)運(yùn)營的超算中心。這些超算中心在科學(xué)計(jì)算上做得很不錯(cuò)，發(fā)揮了很大的作用，但是部分超算中心的算力利用率并不飽和，完全也可以用這些機(jī)器來做大模型訓(xùn)練，但需要從源頭做好軟硬件協(xié)同設(shè)計(jì)。
“硬件發(fā)展很快，過去一臺(tái)機(jī)器，基本是CPU+內(nèi)存+硬盤就可以，但是現(xiàn)在計(jì)算部件不只是簡單的CPU，還有很多新的器件出現(xiàn)；軟件方面，不論是人工智能應(yīng)用軟件，還是基于圖數(shù)據(jù)的圖計(jì)算應(yīng)用，以及大數(shù)據(jù)應(yīng)用，軟件已和過去不一樣，如何將軟件和硬件更好協(xié)同起來非常重要�！�
