<input id="ooztg"><option id="ooztg"></option></input>
<thead id="ooztg"><del id="ooztg"></del></thead>
<input id="ooztg"><label id="ooztg"></label></input>
  • <input id="ooztg"><option id="ooztg"></option></input>
  • ?
    當前位置:智能 > 正文

    云端芯片初創公司采用DSA領域專用架構挑戰英偉達

    2021-07-13 09:44:17  來源:雷鋒網

    英偉達GPU在AI領域的成功引來了大量的挑戰者。在國外,云端芯片初創公司幾乎都采用DSA(Domain Specific Architecture,領域專用架構)挑戰英偉達,比如已經被英特爾收購的Habana Labs。在國內,也有多家初創公司用GPGPU的架構研發AI云端芯片。

    “用相同的架構競爭,專利就是一個問題。DSA是不同的道路,特別在云端AI推理方面,DSA可以完勝GPU。” 瀚博半導體創始人兼CEO錢軍解釋了創業前的技術路線思考。

    雷鋒網此前的文章介紹過,錢軍有25年以上高端芯片設計經驗,離職前在AMD任Senior Director,全面負責GPU(圖像處理器)和AI服務器芯片設計和生產,現在市場上的AMD Radeon圖像處理器和AI服務器芯片都是由其帶隊開發。

    瀚博半導體創始人兼CEO錢軍

    瀚博的另一個創始人,也是CTO和總架構師的張磊有23年以上芯片和IP架構設計的豐富經驗,2013年晉升為AMD Fellow,負責AI、深度學習,視頻編解碼和視頻處理領域。

    外界不少人誤以為有多款GPU成功經驗的兩位創始人會選擇用GPU挑戰英偉達,但瀚博在2021世界人工智能大會(WAIC 2021)開幕前夕發布的首款產品SV102云端推理芯片采用的是DSA架構,而這款AI芯片獲取客戶的秘訣是TCO(Total Cost of Ownership,總體擁有成本)。

    GPU不是云端推理最好的架構

    初創公司要與巨頭競爭,差異化是必然的選擇。對于芯片公司而言,市場規模和技術路線是關鍵的考量因素。就云端芯片而言,隨著AI模型的成熟,市場對云端AI訓練需求的增速會降低,云端AI推理的市場規模將會迅速增加。有數據顯示,2021年云端推理芯片市場已經大于訓練市場。

    云端AI芯片市場的變化是挑戰英偉達的一個好機會。根據MLPerf此前發布的基準測試,英偉達在訓練測試中一直保持著較高的水平,但在推理測試中,GPU并不如其在訓練中的表現那么亮眼。

    本月初,英國初創公司Graphcore的IPU首度公開MLPerf基準測結果,結果顯示在Inference v1.0基準測試下,IPU相比GPU有1倍多的性價比收益。

    “GPU在推理側不是最好的架構,我們更好的DSA架構,能夠在云端推理市場完勝GPU。”錢軍表示。

    但即便如此,能夠定義和推出客戶愿意買單的AI推理芯片才能夠挑戰英偉達。錢軍分享了他的一些思考。他表示,計算機視覺占了AI市場的大半壁江山,視頻流又占近70%的數據流,未來視頻相關的數據只會越來越多,因此基于視頻的AI應用首先要有強大的解碼能力。

    錢軍認為,AI芯片視頻處理能力可以用三個指標去衡量,包括延遲、吞吐量和能效。

    當然,芯片的性能也是核心指標,同時,對于各種數據類型和AI模型的支持也是吸引客戶的關鍵。錢軍介紹,“我們的產品對于支持主流AI模型很全面,芯片設計也有前瞻性,支持計算機視覺、自然語言處理、搜索推薦、智能視頻處理領域的眾多常用神經網絡,軟件棧支持靈活擴展,支持用戶自定義算子。”

    云端推理DSA架構芯片完勝GPU

    英偉達的眾多挑戰者中,有底氣說出完勝的公司并不多。雷鋒網了解到,瀚博的首款芯片研發周期大概是兩年半,這也是業界高性能芯片普遍的研發周期。2018年底瀚博半導體創立之后,瀚博的團隊就開始自主IP的研發,到了今年6月份,首款芯片SV102測試成功。

    “SV102開始測試后的8分鐘就全部點亮,也就是通過PCIe就能看到所有功能模塊,在30多個小時內,所有模塊基礎測試都提前完成。”錢軍說,“這對于一個全新設計的高端芯片是一個奇跡。”

    雖然錢軍沒有具體介紹瀚博的DSA架構,不過CTO張磊用一組數據展示了瀚博首款產品相比GPU的競爭優勢。

    瀚博SV102是面向云端高性能推理的AI芯片,強調AI推理、視頻處理以及可擴展性三大能力。AI推理性能表現在高效、高能耗比和低延時三方面,具體而言,SV102在Int8精度下的峰值性能為200TOPS,在75功耗下,吞吐率是GPU的2-10倍,延時更是不到GPU的5%。

    瀚博半導體創始人兼CTO張磊

    張磊介紹,SV102采用的是單寬半高半長的設計,存儲最高支持32GB,接口是16個PCIe Gen4,采用被動散熱的方式。之所以單獨給出Int8的性能數據是因為最新和主流云端推理GPU都只用了Int8做推理基準測試,SV102也支持FP16和BF16的數據類型。

    從給出的數據可以看到,在ResNet50和BERT兩個模型下,瀚博SV102對比英偉達最新的A10和主流的T4有2-10倍的性能優勢。

    視頻處理則是瀚博AI芯片的一大特色。“國內外已經推出的云端AI推理芯片幾乎都沒有內置視頻解碼功能,如果客戶需要做視頻解碼,就需要用單獨的芯片進行解碼。SV102就支持64路以上H.264、H.265或AVS2 1080P解碼,支持8K分辨率。”張磊表示。

    由此帶來的是TCO的優勢,這里的TCO主要包含服務器+AI芯片+芯片功耗+運營成本。張磊給出的測算是,基于SV102的性能、功耗以及尺寸的特性,相比T4的服務器可以節省60%以上的TCO,對比A10的服務器也可以節省50%的成本。在高密度視頻處理場景,瀚博給出的數據也顯示出其性能和價格的優勢。

    贏得互聯網客戶

    即便從產品性能層面瀚博有完勝GPU的信心,但客戶的認可才是最終的成功。所以,首要問題就是客戶的遷移成本。張磊告訴雷鋒網:“從AI推理的角度看,遷移到我們的AI芯片上的成本比較小。對于那些有自己算法的客戶,遷移的成本也是很小的一部分。更重要的是要讓客戶看到TCO的巨大節省,這樣對于客戶來說才能具有足夠的吸引力,應用落地也會非???。”

    錢軍補充表示:“一定要理解客戶的需求,然后針對需求投入精力。”

    對于瀚博來說,就是盡快完善軟件和生態的建設。瀚博的VastStream軟件平臺支持TensorFlow、 PyTorch、Caffe2等常見的深度學習框架模型與ONNX格式的模型,借助高度定制的AI編譯器可以充分優化模型的執行效率。

    錢軍介紹,“我們在互聯網側的落地速度更快一些,現已與國內外多家頭部互聯網公司合作。同時,我們還在大力增加軟件團隊,未來軟件人員的數量會是硬件團隊規模的3-5倍。”

    雖然錢軍沒有透露具體的合作客戶,不過快手作為瀚博的A輪投資人,雙方應該在業務上更容易達成合作。但無論如何,瀚博的首款芯片的大規模落地還有一段距離。

    “瀚博今年的產能已經確定,明年大部分的產能也已經提前預知。”錢軍透露。

    小結

    今年四月份第一次和錢軍深度對話的時候,對于其產品錢軍僅僅透露了技術路線的選擇。在首款產品流片和完成測試之后,瀚博對外透露了有限的產品信息,但核心的架構以及內置多路視頻解碼能力的特性并未公布更多消息,雷鋒網認為這些才是瀚博最核心的競爭力。

    當然,對于互聯網客戶以及行業客戶而言,TCO以及易用程度才是更直接的考量因素。瀚博能否用TCO打動足夠多的客戶,仍需觀察。但同樣值得關注的是,在瀚博的產品規劃里,有15瓦到150瓦的硬件產品,覆蓋邊緣和云端。

    推薦閱讀

    Google Play商店新應用格式Android App Bundle詳解

    今日谷歌開發者微信公眾號發文詳細介紹了 Google Play 商店新應用格式 Android App Bundle(AAB),官方稱,自 2018 年 5 月發布An 【詳細】

    特斯拉對SolarCity的收購案如果敗訴 十億美元就沒了!

    五年前,埃隆&bull;馬斯克(Elon Musk)對投資者大談特斯拉收購SolarCity,后者當時是美國頂級的太陽能電池板安裝商。我對收購的結果相當樂 【詳細】

    京東換新Logo :看看有啥不一樣

    京東官方今天發文《寶,我最近去拍照了 》,宣布換新 Logo 。京東表示,之前的appicon,科學運用九宮格,JOY 居中,自下而上卡 jio 【詳細】

    海關查獲700個光通信元件 300個印有“ZTE”標識

    集微網消息,近日,海珠海關在出口貨運渠道查獲一批光通信元件。海關發布消息顯示,海珠海關在對一票出口申報為光通訊網絡單元的貨物進行查 【詳細】

    韓國三星電子公司第二季度利潤可能飆升38%

    7月6日消息,來自20位分析師的預測顯示,韓國三星電子公司第二季度利潤可能飆升38%,這要歸功于芯片價格堅挺、新冠肺炎疫情促使消費者對電 【詳細】

    關于我們  |  聯系方式  |  免責條款  |  招聘信息  |  廣告服務  |  幫助中心

    聯系我們:435 203 49@qq.com 備案號:粵ICP備18023326號-40

    科技新聞網 版權所有