人工智能推理場(chǎng)景下,EAIS.EI讓用戶可以自定義GPU算力規(guī)模。據(jù)介紹,該產(chǎn)品可節(jié)省最高達(dá)50%的推理業(yè)務(wù)成本,目前EAIS.EI實(shí)例支持Tensorflow、Pytorch等主流深度學(xué)習(xí)框架,最高支持FP32 19.5 TFlops、FP16 混合精度312 TFlops的運(yùn)算。
無論你是在逛淘寶還是刷抖音,人工智能都在背后瘋狂計(jì)算,短視頻推薦、拍照AI美顏,就連點(diǎn)外賣,人工智能都在幫外賣小哥優(yōu)化路線。
人工智能崛起的燃料之一,就是跟通用處理器CPU有著不同專長的GPU異構(gòu)加速器。在計(jì)算能力方面,如果說CPU是通才,GPU就是專才,非常擅長深度學(xué)習(xí)和圖像處理,因此在人工智能、直播和短視頻火熱的今天大放異彩。
然而,不同的深度學(xué)習(xí)應(yīng)用所需要的CPU、GPU和內(nèi)存等計(jì)算資源的比例并非完全一樣,云服務(wù)器受限于規(guī)格,往往只有特定數(shù)個(gè)比例。在某些情況下,就會(huì)造成資源閑置,尤其在推理場(chǎng)景中尤為明顯。深度學(xué)習(xí)應(yīng)用分為訓(xùn)練和推理兩個(gè)過程,推理計(jì)算需求由于跟業(yè)務(wù)量緊密相關(guān),往往是總運(yùn)營成本的大頭,最高占到90%成本。
EAIS為客戶提供了一個(gè)異構(gòu)算力池,用戶可以將需要的GPU資源附加到任何一款阿里云ECS服務(wù)器中,根據(jù)不同應(yīng)用需求靈活優(yōu)化CPU/內(nèi)存與GPU之間的比例,匹配適合的資源組合,有效提升資源利用率。
另外,AI推理計(jì)算業(yè)務(wù)通常伴隨著業(yè)務(wù)的周期性的峰谷變化,EAIS.EI實(shí)例配合彈性伸縮ESS快速感知業(yè)務(wù)變化,實(shí)現(xiàn)高效的業(yè)務(wù)運(yùn)維,提升業(yè)務(wù)彈性。資源的精準(zhǔn)組合加上云服務(wù)的彈性,將大大降低成本。
阿里云異構(gòu)計(jì)算產(chǎn)品負(fù)責(zé)人透露,除了推理場(chǎng)景之外,未來,彈性加速計(jì)算實(shí)例還將覆蓋圖形圖像與多媒體計(jì)算編碼場(chǎng)景,甚至實(shí)現(xiàn)含光800與CPU/內(nèi)存的解耦。
彈性加速計(jì)算實(shí)例,將與神龍AI加速器和cGPU容器技術(shù),一起組成阿里云異構(gòu)計(jì)算的三大特色優(yōu)勢(shì),為用戶提供靈活高效、性能超群的異構(gòu)計(jì)算基礎(chǔ)設(shè)施。


