About Longsys
2024多樣性算力產(chǎn)業(yè)峰會：江波龍解碼AI存儲方案的未來之路
2024.06.20
6月18日，多樣性算力產(chǎn)業(yè)峰會2024在北京圓滿舉行，江波龍企業(yè)級存儲事業(yè)部市場總監(jiān)曹潯峰受邀出席本次峰會并發(fā)表了《大模型時代AI存儲方案挑戰(zhàn)與創(chuàng)新》主題演講，深入探討了多樣性算力產(chǎn)業(yè)的發(fā)展趨勢和創(chuàng)新應(yīng)用。
曹潯峰在演講中指出，隨著AI中大語言模型人工智能參數(shù)量呈指數(shù)級增長，AI應(yīng)用的復(fù)雜度也日益增加，這對AI訓(xùn)練過程中所需的緩存存儲容量和性能提出了更高的要求。然而，盡管AI應(yīng)用發(fā)展迅速，但相關(guān)的緩存硬件技術(shù)和產(chǎn)品的發(fā)展速度并未與之同步，這導(dǎo)致了AI模型訓(xùn)練過程中的性能瓶頸問題。曹潯峰深入分析了這一問題，并針對數(shù)據(jù)緩存、傳輸和存儲的瓶頸提出了具體的解決方案。
在AI應(yīng)用的實踐中，原始數(shù)據(jù)通常需要經(jīng)歷精細(xì)的清洗和預(yù)處理流程，以轉(zhuǎn)化為符合AI訓(xùn)練要求的高質(zhì)量數(shù)據(jù)集。隨后，這些數(shù)據(jù)集通過網(wǎng)絡(luò)傳輸至AI服務(wù)器的本地SSD存儲，再通過PCIe通道upload至GPU HBM緩存中進(jìn)行訓(xùn)練。訓(xùn)練過程產(chǎn)生的中間數(shù)據(jù)量是訓(xùn)練初始數(shù)據(jù)的4~7倍。依靠目前GPU配備的數(shù)十GB HBM容量來存儲這些數(shù)據(jù)是遠(yuǎn)遠(yuǎn)不夠的，因此需要利用系統(tǒng)內(nèi)存RDIMM或性能和延時接近的高速存儲器設(shè)備作為補(bǔ)充。
曹潯峰指出，隨著AI訓(xùn)練模型參數(shù)量增長至千億或萬億級別，HBM緩存和RDIMM容量不足將會成為訓(xùn)練效率的瓶頸。在3D-stacked DRAM內(nèi)存成本高企的情況下，采用高性能、大容量的CXL存儲器或是8x GPU卡AI服務(wù)器理想的緩存優(yōu)化解決方案。同時，江波龍正在預(yù)研能夠支持AIC和E3.S的JBOM系統(tǒng)，結(jié)合即將到來支持CXL2.0的服務(wù)器系統(tǒng)，將為萬卡AI訓(xùn)練集群提供更具成本效益的內(nèi)存池化共享硬件解決方案。
曹潯峰還分享了對AI應(yīng)用數(shù)據(jù)存儲優(yōu)化的思考。他提到，AI訓(xùn)練應(yīng)用對數(shù)據(jù)存儲的訪問主要為順序讀寫操作，而QLC在順序讀寫性能上與TLC接近，且成本更低。隨著PCIe Gen5帶寬的提升，QLC技術(shù)能夠滿足訓(xùn)練過程中Checkpoint數(shù)據(jù)存儲高帶寬高并發(fā)的存儲需求，因此，QLC SSD有望替代當(dāng)前主流的TLC SSD，成為大語言模型AI訓(xùn)練應(yīng)用的更優(yōu)選擇。
曹潯峰重點介紹了江波龍的企業(yè)級存儲發(fā)展歷程。經(jīng)過不斷地技術(shù)創(chuàng)新，江波龍已成功構(gòu)建了完整的企業(yè)級存儲布局，涵蓋了NAND Flash+DRAM多顆粒類型產(chǎn)品，至今已經(jīng)成功推出了包括企業(yè)級PCIe 4.0 NVMe SSD、企業(yè)級SATA SSD、企業(yè)級RDIMM、CXL 2.0內(nèi)存拓展模塊在內(nèi)的多款高性能產(chǎn)品。
其中，江波龍今年推出的FORESEE CXL 2.0內(nèi)存拓展模塊，則是面向AI應(yīng)用的存儲優(yōu)化的成果之一。一方面，該產(chǎn)品支持內(nèi)存池化共享，能夠基于24Gb SDP顆粒實現(xiàn)192GB大容量，相比業(yè)界同期水平實現(xiàn)成本大幅度下降的優(yōu)勢。另一方面，產(chǎn)品基于 DDR5 DRAM開發(fā)，支持PCIe 5.0×8接口，理論帶寬高達(dá)32GB/s，可與支持CXL規(guī)范及E3.S接口的背板和服務(wù)器主板實現(xiàn)無縫連接，并減少高昂的內(nèi)存成本和閑置的內(nèi)存資源，大幅提高內(nèi)存利用率，從而有效拓展AI服務(wù)器的內(nèi)存容量并提升帶寬性能，為應(yīng)用場景提供更具彈性和擴(kuò)展性的存儲解決方案。
在演講的最后，曹潯峰提到了公司面向行業(yè)領(lǐng)先客戶正在積極推進(jìn)從傳統(tǒng)產(chǎn)品銷售模式向TCM（Technology Contract Manufacture, 技術(shù)合約制造）合作模式的轉(zhuǎn)型升級。這一轉(zhuǎn)型旨在簡化存儲晶圓廠與終端客戶之間的溝通流程，解決因中間環(huán)節(jié)繁雜而導(dǎo)致的“斷層”問題，并有效應(yīng)對下游應(yīng)用市場對存儲產(chǎn)品的多樣化、定制化和創(chuàng)新化需求。通過TCM合作模式，江波龍將基于上游存儲晶圓廠或下游Tier1客戶的產(chǎn)品需求，高效完成存儲產(chǎn)品的一站式交付，從而提高存儲產(chǎn)業(yè)鏈從原廠、產(chǎn)品開發(fā)、封裝測試、產(chǎn)品制造到行業(yè)應(yīng)用的效率和效益。
多樣性算力產(chǎn)業(yè)正迎來高速發(fā)展的黃金時期，創(chuàng)新技術(shù)層出不窮，新業(yè)態(tài)和新模式競相迸發(fā)。在這一進(jìn)程中，存儲技術(shù)扮演著至關(guān)重要的角色。江波龍將持續(xù)為計算產(chǎn)業(yè)發(fā)展貢獻(xiàn)新的動力，開創(chuàng)更多的合作機(jī)會，共同塑造計算產(chǎn)業(yè)的新未來。
上一條 COMPUTEX 2024：江波龍以大容量存儲賦能AI時代 2024.06.06
下一條 2024 MWC上海：江波龍?zhí)剿鞔鎯夹g(shù)新趨勢 2024.06.26
每一次合作
我們都全力以赴
我們都全力以赴
手機(jī)：+86-13510641627
微信：Longsys_electronics
郵箱：marcom@longsys.com