您現(xiàn)在的位置:首頁(yè) > 智譜AI聯(lián)合焱融打造A100+全閃存儲(chǔ)的大規(guī)模AI架構(gòu)
智譜AI聯(lián)合焱融打造A100+全閃存儲(chǔ)的大規(guī)模AI架構(gòu)
在今年的北京冬奧會(huì)上我們見(jiàn)證了人工智能技術(shù)的先進(jìn)性,現(xiàn)場(chǎng)應(yīng)用涉及人工智能技術(shù)的方方面面,包含技術(shù)層的計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、大數(shù)據(jù)管理、智能云等。為防止疫情傳播,無(wú)人化服務(wù)的全場(chǎng)景應(yīng)用也是冬奧會(huì)的一大亮點(diǎn)。現(xiàn)場(chǎng)使用了大量的機(jī)器人和虛擬數(shù)字人來(lái)避免人員的接觸,極大提升了疫情防控效率。可以看到人工智能技術(shù)將實(shí)現(xiàn)從感知智能到認(rèn)知智能的新突破,通往通用人工智能越來(lái)越成為人工智能領(lǐng)域的專家和學(xué)者探索和研究的方向。
目前,多模態(tài)人工智能作為一種新的人工智能范式,已經(jīng)在試圖“復(fù)制”人類在日常生活中的各類場(chǎng)景,盡可能把人類的感知信息進(jìn)行分析處理,實(shí)現(xiàn)更全面綜合的理解,將“數(shù)據(jù)”和“知識(shí)”關(guān)聯(lián)并給出相應(yīng)的回應(yīng)。德國(guó)漢堡科學(xué)院院士張建偉認(rèn)為人機(jī)交互的未來(lái)是多模態(tài)共享模式;計(jì)算機(jī)視覺(jué)領(lǐng)域?qū)<屹Z佳亞教授則在多場(chǎng)演講中提出「多模態(tài)是人工智能的未來(lái)」。
多模態(tài) AI 場(chǎng)景的數(shù)據(jù)來(lái)源維度眾多,數(shù)據(jù)特征復(fù)雜,應(yīng)用廣泛,數(shù)據(jù)量龐大。智譜 AI 作為多模態(tài)技術(shù)的代表,其數(shù)據(jù)規(guī)模通常可達(dá)到數(shù)十億乃至百億,涉及到 29 億參數(shù)通用中文預(yù)訓(xùn)練模型、40 億參數(shù)通用文圖預(yù)訓(xùn)練模型、80 億參數(shù)通用圖文預(yù)訓(xùn)練模型、100 億參數(shù)通用英文預(yù)訓(xùn)練模型。這些海量數(shù)據(jù)主要用于支撐 AI 產(chǎn)品的“智力”提升,投入到訓(xùn)練中的數(shù)據(jù)量越大,AI 智能的準(zhǔn)確度就越高。企業(yè)的長(zhǎng)期發(fā)展需要穩(wěn)定的數(shù)據(jù)存儲(chǔ)平臺(tái),而存儲(chǔ)的讀寫(xiě)性能又決定了上層應(yīng)用的性能和用戶體驗(yàn)。
關(guān)于多模態(tài) AI 場(chǎng)景下的存儲(chǔ)建設(shè)目標(biāo),焱融科技認(rèn)為海量數(shù)據(jù)管理和高性能輸出已成為剛需。總結(jié)來(lái)說(shuō)就是以下 3 點(diǎn):
海量多維度數(shù)據(jù)存儲(chǔ)能力(結(jié)構(gòu)化、非結(jié)構(gòu)化);
百億級(jí)數(shù)據(jù)量下的高性能支撐,高性能帶來(lái)高效率,促進(jìn)多模態(tài) AI 快速迭代;
支持高速 RDMA 傳輸協(xié)議的 InfiniBand 網(wǎng)絡(luò),實(shí)現(xiàn)高 IOPS、低延遲和穩(wěn)定的數(shù)據(jù)訪問(wèn)性能。
全閃存儲(chǔ)架構(gòu)的選擇
01 為什么選擇全閃存儲(chǔ)架構(gòu)?
在智譜AI 業(yè)務(wù)發(fā)展的需求中,當(dāng)構(gòu)建百億級(jí)別的模型時(shí),算力、網(wǎng)絡(luò)、存儲(chǔ)這三要素共同決定了模型最終的成熟度和產(chǎn)品先進(jìn)性。通常情況下,算力依靠堆積 GPU 數(shù)量即可解決,而算力全面發(fā)揮的條件是網(wǎng)絡(luò)和存儲(chǔ)的能力要與算力保持一致,可提供高效的數(shù)據(jù)流轉(zhuǎn)能力和存儲(chǔ)供給能力。
目前 IT 建設(shè)中高性能數(shù)據(jù)中心已經(jīng)實(shí)現(xiàn)高速網(wǎng)絡(luò)的全面普及,例如:200Gb InfiniBand 已經(jīng)成為 HPC 計(jì)算/存儲(chǔ)的首選網(wǎng)絡(luò)技術(shù),并開(kāi)始向更先進(jìn)的 400Gb 網(wǎng)絡(luò)技術(shù)迭代,那么存儲(chǔ)系統(tǒng)就成為決定業(yè)務(wù)發(fā)展快慢的關(guān)鍵因素。存儲(chǔ)的選擇需要貼合業(yè)務(wù)要求,此次存儲(chǔ)建設(shè)目標(biāo)不但需要滿足業(yè)務(wù)層百億文件存儲(chǔ),還需要滿足模型全流程生產(chǎn)要求。即從數(shù)據(jù)分類、模型訓(xùn)練、仿真等環(huán)節(jié)考慮,存儲(chǔ)必須滿足不同類別文件的高性能響應(yīng),其中在訓(xùn)練和仿真環(huán)節(jié)尤其重要,關(guān)乎產(chǎn)品迭代速度以及撲向市場(chǎng)服務(wù)客戶的體驗(yàn)。
智譜AI 作為 AI 行業(yè)的領(lǐng)先企業(yè),目前已取得多項(xiàng)國(guó)際領(lǐng)先的 AI 技術(shù)突破,在超大規(guī)模智能模型訓(xùn)練技術(shù)體系中占據(jù)領(lǐng)先地位,在選型存儲(chǔ)時(shí)最為關(guān)注以下幾點(diǎn):
百億級(jí)別數(shù)據(jù)讀寫(xiě)性能與元數(shù)據(jù)操作性能,在業(yè)務(wù)中,頻繁操作數(shù)據(jù),形成規(guī)模效應(yīng),存儲(chǔ)性能需要保證穩(wěn)定性;
業(yè)務(wù)數(shù)據(jù)包含大量的文本文件、視頻文件、音頻文件等多維度數(shù)據(jù),存儲(chǔ)作為數(shù)據(jù)的載體需要非常高的 IOPS 能力,普通機(jī)械硬盤(pán)性能不超過(guò) 200 IOPS。如果支持百億級(jí)數(shù)據(jù)業(yè)務(wù)模型,那么需要大量的磁盤(pán)用于存儲(chǔ),顯然這樣的硬件選型是不合理的。目前業(yè)界主流高性能硬件已經(jīng)普及全閃的 NVMe SSD,單盤(pán) IOPS 即可達(dá)到數(shù)萬(wàn)。
在模型運(yùn)算中,不僅僅存儲(chǔ)需要高 IOPS,還要同時(shí)兼容高性能網(wǎng)絡(luò),將存儲(chǔ)能力通過(guò)網(wǎng)絡(luò)供給到計(jì)算層,完成數(shù)據(jù)的流轉(zhuǎn)。
基于以上三點(diǎn)業(yè)務(wù)需求分析,智譜AI 認(rèn)為全閃存儲(chǔ)架構(gòu)是其業(yè)務(wù)的最佳選擇。
02 為什么選擇焱融全閃文件存儲(chǔ)?
焱融科技深入研究智譜AI 的業(yè)務(wù)模型,此次儲(chǔ)解決方案立足多模態(tài) AI 場(chǎng)景,適配百億級(jí)數(shù)據(jù)規(guī)模,向計(jì)算集群提供高性能低時(shí)延的存儲(chǔ)服務(wù)能力。焱融科技使用 YRCloudFile 全閃文件存儲(chǔ)一體機(jī) F8000X 用于海量數(shù)據(jù)存儲(chǔ),YRCloudFile F8000X 集群中單節(jié)點(diǎn)可提供 200萬(wàn) IOPS 和 40GBps 帶寬,支持 RDMA 協(xié)議,實(shí)現(xiàn)存儲(chǔ)高性能支撐,使 IaaS 層全面提升性能,為 AI 業(yè)務(wù)夯實(shí)基礎(chǔ)能力。

在 AI 全業(yè)務(wù)流程內(nèi),數(shù)據(jù)需要經(jīng)歷的預(yù)處理、訓(xùn)練、仿真等過(guò)程,焱融科技全閃文件存儲(chǔ) F8000X 根據(jù)不同業(yè)務(wù)階段的特點(diǎn),調(diào)用不同的存儲(chǔ)服務(wù)能力,滿足各個(gè)階段業(yè)務(wù)對(duì)數(shù)據(jù)服務(wù)能力的要求。在業(yè)務(wù)全過(guò)程中,數(shù)據(jù)始終處于 YRCloudFile 的全生命周期管理中,相比傳統(tǒng)存儲(chǔ)的分離架構(gòu),數(shù)據(jù)流轉(zhuǎn)成本大大降低,業(yè)務(wù)連續(xù)性得到保障。
多模態(tài) AI 數(shù)據(jù)來(lái)源維度眾多,在性能優(yōu)化層面較難,YRCloudFile 采用分布式并行架構(gòu),采用元數(shù)據(jù)路徑分離技術(shù),讓百億級(jí)混合文件(大文件和小文件并存場(chǎng)景)數(shù)據(jù)讀寫(xiě)和元數(shù)據(jù)查詢性能穩(wěn)定,并且可線性擴(kuò)展,滿足智譜AI 多個(gè)產(chǎn)品項(xiàng)目的業(yè)務(wù)性能需求,快速提升“虛擬數(shù)字人”的迭代能力。
全閃存儲(chǔ)成為未來(lái)存儲(chǔ)主流趨勢(shì)
隨著數(shù)字經(jīng)濟(jì)成為全球經(jīng)濟(jì)發(fā)展的主旋律,數(shù)據(jù)要素的重要性將不斷提升,在云、大數(shù)據(jù)、人工智能等新技術(shù)驅(qū)動(dòng)下,全行業(yè)新應(yīng)用數(shù)據(jù)出現(xiàn)爆發(fā)式增長(zhǎng),為全閃存儲(chǔ)和分布式存儲(chǔ)高速發(fā)展帶來(lái)更多機(jī)遇。2021 年 Q4,Gartner 在全球存儲(chǔ)市場(chǎng)報(bào)告數(shù)據(jù)顯示,全球全閃存儲(chǔ)市場(chǎng)規(guī)模同比增長(zhǎng) 13.9%,硬盤(pán)驅(qū)動(dòng)器和混閃存儲(chǔ)下降 14.2%,全閃存儲(chǔ)在全球存儲(chǔ)市場(chǎng)占比首次超過(guò) 50%。近期,美國(guó)上市全閃存廠商 Pure Storage 發(fā)布的 2022Q2 財(cái)報(bào)顯示,其全閃陣列系列產(chǎn)品的營(yíng)收在本季度繼續(xù)保持了強(qiáng)勁的增長(zhǎng),增長(zhǎng)率超過(guò) 30%,且于上季度已實(shí)現(xiàn)了繼上市以來(lái)的首次盈利。在一些發(fā)達(dá)國(guó)家,全閃存應(yīng)用比例普遍高于 55 %。
那么,在看看國(guó)內(nèi)的全閃存儲(chǔ)市場(chǎng)概況, 2022 年 Q1 IDC 中國(guó)企業(yè)級(jí)存儲(chǔ)市場(chǎng)跟蹤報(bào)告中,數(shù)據(jù)顯示全閃存陣列同比增長(zhǎng) 27.3%,而傳統(tǒng)機(jī)械硬盤(pán) HDD 則出現(xiàn)負(fù)增長(zhǎng),國(guó)內(nèi)全閃存勢(shì)頭緊追國(guó)外。市面上固態(tài)硬盤(pán) SSD 價(jià)格幾乎接近于傳統(tǒng)硬盤(pán) HDD 的價(jià)格,一套全閃存存儲(chǔ)性能相當(dāng)于數(shù)幾十套傳統(tǒng) HDD 存儲(chǔ)總和。未來(lái)可預(yù)見(jiàn) SSD 勢(shì)必將逐步取代最優(yōu)化性能的 HDD,或成為服務(wù)器與存儲(chǔ)系統(tǒng)的主要存儲(chǔ)裝置。

IDC 發(fā)布 2022年 Q1 中國(guó)企業(yè)級(jí)存儲(chǔ)市場(chǎng)跟蹤報(bào)告
市場(chǎng)上主流的全閃存儲(chǔ)產(chǎn)品形態(tài)大多是提供塊存儲(chǔ)服務(wù),而針對(duì)需要分布式文件存儲(chǔ)高性能場(chǎng)景的全閃存儲(chǔ)產(chǎn)品卻少有。焱融科技在分布式文件存儲(chǔ)領(lǐng)域擁有先進(jìn)的技術(shù),其核心技術(shù)優(yōu)勢(shì)率先支持 400Gbps InfiniBand 網(wǎng)絡(luò),打造 AI 時(shí)代 GPU 計(jì)算的高性能存儲(chǔ)。焱融全閃文件存儲(chǔ) F8000X 其性能優(yōu)勢(shì)可實(shí)現(xiàn)單個(gè)存儲(chǔ)節(jié)點(diǎn)達(dá)到 40GB/s 帶寬、200 萬(wàn)以上 IOPS。由于采用的是分布式存儲(chǔ)架構(gòu),性能可以通過(guò)增加節(jié)點(diǎn)的方式實(shí)現(xiàn)線性提升,其性能水平比肩國(guó)外知名全閃廠商,價(jià)格更勝出一籌,這也是焱融科技在眾多國(guó)外全閃存儲(chǔ)廠商中脫穎而出的原因。

成員中心
- 廈門星創(chuàng)易聯(lián)科技有限公司
- 青島智騰微電子有限公司
- 巨視慧行(武漢)科技有限公司
- 墨翟科技(上海)有限公司
- 深圳市乾思迪電子科技有限公...
- 廣州市杜格科技有限公司
- 西安海格電氣技術(shù)有限公司
- 深圳市三旺通信股份有限公司
- 深圳市百年星科技有限公司
- 禾純展覽(上海)有限公司
- 華為技術(shù)有限公司
- 上海兆越通訊技術(shù)有限公司
- 廣州美凱信息技術(shù)股份有限公...
- 玖新文化傳媒(上海)有限公...
- 北京銘世博展覽有限公司
- 北京銘世博國(guó)際展覽有限公司
- 恒興國(guó)際會(huì)展(北京)有限公...
- 廣州領(lǐng)拓儀器科技有限公司
- 北京市龍?jiān)磭?guó)際會(huì)展覽有限公...
- 北京市龍?jiān)磭?guó)際會(huì)展有限公司