焱融科技|全面解讀自動駕駛數據存儲關鍵

時間:2021-07-08

來源:園區無人駕駛

0

導語:在自動駕駛領域中,YRCloudFile的作用是在大量的訓練中,減少每個輪次的訓練時間,使得自動駕駛模型上市的時間可以提前,這也是YRCloudFile為自動駕駛企業帶來的核心價值。

隨著計算、存儲以及網絡等技術的不斷發展,數據存儲方式開始不斷變化。對于需要大量數據的業務應用來說,服務器內置存儲空間,或者說內置磁盤已不足以滿足存儲需要。

因此,在內置存儲之外,服務器需要采用外置存儲的方式來擴展存儲空間,比如集中式存儲和軟件定義存儲。前者即指通過一個或數個固定的盤陣控制器,連接幾個磁盤柜的方式,由盤陣控制器作為數據訪問入口,為應用服務器提供數據訪問;后者是將所有存儲相關的訪問和控制工作都以軟件的方式,部署在多臺普通服務器上,應用可以通過網絡訪問這些外部服務器上的數據。

相對于前者,軟件定義存儲由于更好的橫向擴展能力、軟硬件解耦、更高可靠性和可用性,被越來越多行業和應用所接受。目前,國內從事軟件定義存儲的廠商不少,其中就包括了焱融科技。焱融科技成立于2016年,專注于軟件定義存儲技術的研發,數年的時間便創下不菲的成績,如2020年,焱融科技不僅獲取了國內軟件定義存儲首個海外客戶,還實現了客戶接近400%,年銷售額300%以上的增長。

那么,焱融科技是如何做到這樣高速發展的?其中YRCloudFile功不可沒。



焱融科技產品總監  黎俊鴻
 

01分布式存儲產品——YRCloudFile

YRCloudFile是焱融科技推出的一款非結構化數據統一存儲平臺,它可以在公有云、私有云環境下為客戶提供高性能、高擴展以及云原生的非結構化數據存儲系統;推出后不久,便一舉斬獲了IO500世界存儲性能挑戰的第六名。

焱融科技產品總監黎俊鴻表示,YRCloudFile是經過持續的企業/用戶訪談、技術交流、全面測試以及版本迭代推出的分布式存儲產品,其核心特色是產品的高性能特性,借助這一特性,YRCloudFile可以為人工智能、自動駕駛領域中的訓練環節,以及高計算環境中的數據加載運算階段提供高速、穩定的數據訪問能力。


圖:YRCloudFile產品構架圖

黎俊鴻告訴記者,YRCloudFile有3大主要特點:

海量小文件下的高性能,采用元數據節點集群化、多級智能緩存、智能預讀等多種技術,深度優化海量文件讀寫性能、目錄訪問熱點等問題;

云原生容器存儲,提供了標準CSI接口,支持PV配額、Resize、QoS,分別從容量、IO性能上去對存儲資源做了隔離與規劃,通過PV Insight幫助管理員查看存儲卷內部數據分布和冷熱情況;

支持公有云/混合云,YRCloudFile可以在阿里云、騰訊云、AWS等公有云上實現一鍵部署,在公有云上提供高性能的文件存儲服務,并通過冷熱數據分層功能使數據在不同層級之間流動,從而降低存儲的總體擁有成本。

由于性能優異,YRCloudFile目前已被百余家客戶應用于生態環境中,包括中國移動、科大訊飛、圖森未來、新石器、MORE VFX、樹根互聯、中國銀行等行業頭部企業,涉及人工智能、自動駕駛、影視渲染、IoT、金融等多個應用場景。

02自動駕駛訓練環節,YRCloudFile提供高性能服務

在自動駕駛這一領域,焱融科技已和圖森未來、新石器等廠商達成了合作,為其提供數據存儲服務。

黎俊鴻告訴記者,自動駕駛屬于人工智能中的垂直細分領域,包含了采集、標注、計算等環節,只有通過這些環節形成一個模型,才能確保自動駕駛的落地。然而,隨著越來越多的雷達、攝像頭等傳感器被部署在車上,各個環節的工作量與日俱增,尤其是一些高性能自動駕駛汽車對數據的存儲需求更是巨大,一天生成的數據量便可達8TB左右。


圖:基于YRCloudFile高性能分布式文件存儲的自動駕駛開發周期結構圖

因此,如何高效,穩定地保證自動駕駛過程中收集到的大量數據能快速形成自動駕駛的計算模型成了自動駕駛企業CTO們關注的重要問題。焱融科技推出的YRCloudFile分布式存儲產品便可解決訓練過程中數據訪問效率的問題。

據黎俊鴻介紹,當前,自動駕駛領域的訓練過程中,面臨著數據訪問性能的瓶頸問題。“自動駕駛汽車中的傳感器會收集行駛中的數據,待數據收集完后,會以各種形式存放到數據中心,服務器在獲取數據時,由于存儲系統提供的訪問速度跟不上GPU處理數據的速度,導致GPU出現閑置現象,進而影響整個自動化訓練的進程和效率,造成GPU資源浪費,而YRCloudFile的定位便是解決自動化駕駛訓練過程中的數據存放和使用的問題”。

黎俊鴻認為,YRCloudFile的主要作用在于充分發揮GPU的計算能力,在短時間內為GPU提供足夠的數據,讓GPU進行充分計算,“比如,使用焱融科技YRCloudFile的存儲平臺,每秒可以為GPU提供獲取5GB到10GB的數據,極大地提高了GPU訪問數據的效率。在自動駕駛領域中,自動駕駛功能的最終形成一定是經過大量的訓練。YRCloudFile的作用便是在大量的訓練中,減少每個輪次的訓練時間,使得自動駕駛模型上市的時間可以提前,這就是YRCloudFile能為自動駕駛企業帶來的核心價值。”黎俊鴻表示。

03數據存儲的未來方向

YRCloudFile的分布式存儲技術目前已被大量企業認可,包括政府、金融、教育、醫療等多個機構。據黎俊鴻介紹,與傳統式存儲方法相比,分布式存儲技術最核心的優勢便是解決了當前數據存儲中的兩大挑戰問題。

即通過分布式存儲軟件,將云平臺中的并發存儲訪問分散至分布式集群的各個節點,滿足云平臺上客戶端的存儲訪問性能需求;分布式軟件可水平擴展,使單集群容量實現按需擴容,解決傳統存儲單套設備容量上限問題。這兩個優勢,使得分布式存儲技術在云環境及數據規模大的場景下,得到大量應用和發展。

對于分布式存儲技術,黎俊鴻表示看好,并表示其有可能是未來存儲技術的主流發展方向。據他介紹,未來存儲技術的方向會朝著性能適配性和場景優化性進行突破。

“首先未來存儲技術一定會適配更多新型部件,包括品牌、網絡、架構等,這意味著產品需要適配更加卓越的數據處理能力,因此如何發揮新型部件性能,是上層存儲技術供應商必須要做出改進的。其次,從發展的角度,未來存儲技術只有針對某些垂直場景進行優化,才能更好地布局該場景。比如目前的自動駕駛、人工智能、視頻渲染等領域,只有從存儲的角度去理解、瞄準該領域的特點進行優化,才能更好發展。”

現階段,焱融科技正處于快速發展時期,未來,為了不斷適應各行業對于數據存儲的需要,焱融科技會持續進行產品迭代,擴展容器應用、混合云存儲、統一非結構化數據管理、Data Lakes等場景應用,加速對優勢場景覆蓋。同時,進一步加強國際化,加強軟件訂閱模式的推廣以及保持3倍的銷售額增長。

 

 
低速無人駕駛產業綜合服務平臺版權與免責聲明:

凡本網注明[來源:低速無人駕駛產業綜合服務平臺]的所有文字、圖片、音視和視頻文件,版權均為低速無人駕駛產業綜合服務平臺獨家所有。如需轉載請與0755-85260609聯系。任何媒體、網站或個人轉載使用時須注明來源“低速無人駕駛產業綜合服務平臺”,違反者本網將追究其法律責任。

本網轉載并注明其他來源的稿件,均來自互聯網或業內投稿人士,版權屬于原版權人。轉載請保留稿件來源及作者,禁止擅自篡改,違者自負版權法律責任。

如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。

關注低速無人駕駛產業聯盟公眾號獲取更多資訊

最新新聞