孫凝暉:算力網(wǎng)為供給側(cè)和消費(fèi)側(cè)帶來多種收益
算力網(wǎng)是算力、算法和數(shù)據(jù)對(duì)象三要素相融合的基礎(chǔ)設(shè)施化?;ヂ?lián)網(wǎng)底層是以5G、光纖、星網(wǎng)為主的數(shù)據(jù)通信網(wǎng);中間是以IP為核心的互聯(lián)網(wǎng)體系結(jié)構(gòu);上層是萬維網(wǎng)(WWW,也稱為信息網(wǎng)),通過信息網(wǎng),我們每個(gè)人都可以隨時(shí)隨地訪問世界上任何地方的數(shù)據(jù)和信息。與信息網(wǎng)平行的就是算力網(wǎng),其存在的目的是服務(wù)千行百業(yè)的模型上網(wǎng),讓用戶能夠隨時(shí)隨地訪問世界上任何地方的算力資源。在信息網(wǎng)和算力網(wǎng)之上,進(jìn)一步構(gòu)建出消費(fèi)互聯(lián)網(wǎng)和產(chǎn)業(yè)互聯(lián)網(wǎng)。算力網(wǎng)與信息網(wǎng)不同,信息網(wǎng)是以信息(即網(wǎng)頁)為核心,而算力網(wǎng)以算法為核心,高效適配多樣性算力,對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行深度加工,產(chǎn)出各式各樣的模型。
當(dāng)前,我國正在推進(jìn)“東數(shù)西算”工程,其目標(biāo)就是在企業(yè)級(jí)的算力網(wǎng)和城市級(jí)的算力網(wǎng)的基礎(chǔ)上,進(jìn)一步構(gòu)建一個(gè)國家級(jí)的算力網(wǎng)。從算力基礎(chǔ)設(shè)施化的角度來看,“東數(shù)西算”工程的關(guān)鍵是在“數(shù)”和“算”上做原創(chuàng)性的工作,這樣才能真正把“東數(shù)西算”工程持續(xù)推進(jìn)下去。
算力網(wǎng)的生態(tài)和云計(jì)算的生態(tài)應(yīng)該有所不同。云計(jì)算只有兩種角色,即算力消費(fèi)者和算力供給者,供給者包括亞馬遜、阿里巴巴這些云供應(yīng)商;而算力網(wǎng)擁有更多細(xì)分的角色,如算力提供商、算力運(yùn)營商、算力增值服務(wù)商等,應(yīng)將算力的各個(gè)環(huán)節(jié)進(jìn)行解耦,以此構(gòu)建一個(gè)真正的算力網(wǎng)生態(tài)。在這個(gè)生態(tài)下,我們需要關(guān)注算力網(wǎng)為用戶帶來的多種收益。
在算力供給側(cè)方面算力網(wǎng)帶來的收益
一是可為“東數(shù)西算”工程節(jié)約用電120億度,消納“棄風(fēng)棄光”。2021年,全國數(shù)據(jù)中心的總耗電量大致相當(dāng)于湖南省全省的用電量,那么“東數(shù)西算”工程能不能節(jié)電呢?現(xiàn)在西部的算力大概占全國的4%,據(jù)估計(jì),未來五年,西部算力大概會(huì)占全國總算力的20%。因?yàn)?,西部?shù)據(jù)中心PUE(電源使用效率)比較低,再減去電力傳輸?shù)膿p耗,能比在東部數(shù)據(jù)中心節(jié)約30%左右的電量。按照全國數(shù)據(jù)中心一年總耗電量兩千億度來計(jì)算,“東數(shù)西算”工程一年可以節(jié)約120億度電,約占我國一年總用電量八萬億度的0.15%。此外,西部擁有大量綠電資源,但2021年“棄風(fēng)棄光”就達(dá)到273.8億度,如果該部分可以被西部數(shù)據(jù)中心動(dòng)態(tài)消納,就可以實(shí)現(xiàn)節(jié)能減排。
二是整合國家超級(jí)計(jì)算中心資源,統(tǒng)一賬戶統(tǒng)一運(yùn)維,提供深度超算優(yōu)化服務(wù)。目前,我國大概有十個(gè)左右的國家級(jí)超級(jí)計(jì)算中心,如果將國家級(jí)超級(jí)計(jì)算中心用超算互聯(lián)網(wǎng)的方式統(tǒng)一起來,建立一個(gè)虛擬的、國家最大的超級(jí)計(jì)算中心來提供服務(wù),可有效提高超算的資源利用率。同時(shí),統(tǒng)一的超級(jí)計(jì)算中心可以屏蔽底層體系結(jié)構(gòu)的異構(gòu)性,通過移植和優(yōu)化,以服務(wù)的形式為用戶提供服務(wù)。
三是虛擬機(jī)可按需跨地域調(diào)度,降低資費(fèi)和應(yīng)用延遲。“東數(shù)西算”工程經(jīng)常會(huì)提起虛擬機(jī)跨地域調(diào)度,如果我們能夠很好地讓虛擬機(jī)根據(jù)用戶的需求進(jìn)行跨地域調(diào)度,就會(huì)得到很多收益。例如,根據(jù)用戶的位置,可以就近調(diào)度用戶的虛擬機(jī),減少延遲;也可以根據(jù)實(shí)時(shí)報(bào)價(jià),把用戶虛擬機(jī)調(diào)度到綠電節(jié)點(diǎn),降低算力的電費(fèi);還可以做負(fù)載平衡,提高該重載的情況下整個(gè)應(yīng)用的吞吐能力。
四是整合城市中小算力中心的閑置資源,形成虛擬城市算力網(wǎng),降低使用門檻,提高利用率。可以城市為單元進(jìn)行資源整合,當(dāng)前許多城市都建立了大大小小的算力中心,有的是政府投資建設(shè),有的是企業(yè)投資建設(shè),都有不同的服務(wù)對(duì)象。但這些數(shù)據(jù)中心里存在大量閑置資源,如果將算力網(wǎng)運(yùn)用到各個(gè)城市里,就像虛擬運(yùn)營商一樣建立虛擬的城市算力網(wǎng),對(duì)閑置資源進(jìn)行統(tǒng)一運(yùn)維、統(tǒng)一調(diào)度、統(tǒng)一交易,將大大提升公共資源的利用率。
五是新的算力容器抽象能夠?qū)崿F(xiàn)更細(xì)粒度的時(shí)空隔離,提高資源利用率。算力網(wǎng)需要一個(gè)新的算力容器抽象,所有的算力資源都被封裝到一個(gè)最小的調(diào)度單元里供用戶使用。單機(jī)時(shí)代,操作系統(tǒng)里的進(jìn)程本質(zhì)上就是一個(gè)算力容器,以一個(gè)進(jìn)程為單位,按照時(shí)間分片的方式,對(duì)單機(jī)硬件資源進(jìn)行調(diào)度。云計(jì)算時(shí)代,算力容器是虛擬機(jī),能夠?qū)PU、內(nèi)存、存儲(chǔ)、網(wǎng)卡等硬件資源進(jìn)行時(shí)空分片,后來有了更細(xì)粒度的軟件層面的算力容器——開源應(yīng)用容器引擎(Docker)。過去幾年,中國科學(xué)院計(jì)算技術(shù)研究所提出了“任務(wù)閉包”的概念,可以在應(yīng)用級(jí)進(jìn)行更細(xì)粒度的封裝。有了這個(gè)最小粒度的算力容器后,除了提高資源利用率之外,還可以提高應(yīng)用在重載下的通量。例如我們基于“任務(wù)閉包”做過一個(gè)紅包實(shí)驗(yàn),可以在一定時(shí)延要求下將通量提高六倍。
在算力消費(fèi)側(cè)方面算力網(wǎng)帶來的收益
一是算網(wǎng)協(xié)同進(jìn)行優(yōu)化調(diào)度,為應(yīng)用提供確定性時(shí)延保障。對(duì)于“東數(shù)西算”工程來說,網(wǎng)絡(luò)延遲將是一個(gè)嚴(yán)重的問題。從東部到西部,存在著30~60秒不等、方差很大的網(wǎng)絡(luò)延遲,跟本地毫秒級(jí)、抖動(dòng)極小的延遲無法相提并論。很多工業(yè)制造應(yīng)用,對(duì)于延遲抖動(dòng)的要求極高。目前,未來互聯(lián)網(wǎng)基礎(chǔ)設(shè)施(CENI)可以將延遲控制在0.03毫秒之內(nèi),這樣將東邊的數(shù)據(jù)送到西邊,對(duì)那些網(wǎng)絡(luò)延遲抖動(dòng)比較敏感的應(yīng)用可以提供確定性延遲保障。
二是聯(lián)邦模型突破數(shù)據(jù)壁壘,利用分布式算力構(gòu)建智能模型網(wǎng)。人工智能一般都是在本地建模,例如醫(yī)療數(shù)據(jù),各個(gè)醫(yī)院都是在自己的數(shù)據(jù)中心內(nèi)進(jìn)行建模。如果要建大模型,需要把這些數(shù)據(jù)參數(shù)都傳到一個(gè)大的數(shù)據(jù)中心里進(jìn)行建模,這樣在數(shù)據(jù)隱私等方面就存在較多風(fēng)險(xiǎn)。有了聯(lián)邦模型,無須傳遞數(shù)據(jù),只需傳遞模型,不同算力中心可將本地模型集中傳遞到聯(lián)邦模型所在的算力中心,進(jìn)行迭代式建模,從而實(shí)現(xiàn)分散式算力和數(shù)據(jù)協(xié)同工作。
三是主干編程面向物聯(lián)網(wǎng)(IoT)應(yīng)用,提高端邊云協(xié)同場(chǎng)景下超異構(gòu)分布式環(huán)境開發(fā)效率。歷史上每出現(xiàn)一些新應(yīng)用,都伴隨著新的編程工具的出現(xiàn)。例如,在自動(dòng)化時(shí)代,有可編程邏輯控制器(PLC);在單機(jī)時(shí)代,有小應(yīng)用程序(Applet)等的組件編程;在互聯(lián)網(wǎng)時(shí)代,有以編程語言(Java)為代表的階段式事件驅(qū)動(dòng)和以分布式計(jì)算系統(tǒng)(MapReduce)為代表的大數(shù)據(jù),以及以符號(hào)數(shù)學(xué)系統(tǒng)(TensorFlow)為代表的人工智能。在物聯(lián)網(wǎng)時(shí)代,我們不但要考慮算法數(shù)據(jù),更要考慮算力。在互聯(lián)網(wǎng)時(shí)代,手機(jī)端算力差別不大,但物聯(lián)網(wǎng)時(shí)代智能硬件端的算力差距很大,異構(gòu)性很強(qiáng),所以我們的編程要對(duì)此進(jìn)行感知。中國科學(xué)院計(jì)算技術(shù)研究所提出一個(gè)叫主干編程的方式,通過主謂賓式的編程模式,以主干支干嵌套式進(jìn)行任務(wù)分發(fā),能夠很好地適應(yīng)物聯(lián)網(wǎng)場(chǎng)景的多樣性。
四是云函數(shù)編程支持算力網(wǎng)原生應(yīng)用編程,實(shí)現(xiàn)應(yīng)用跨云橫向擴(kuò)展。云函數(shù)編程可以解決應(yīng)用原生進(jìn)行橫向跨云擴(kuò)展的需求,傳統(tǒng)云應(yīng)用只能在一個(gè)集群內(nèi)進(jìn)行擴(kuò)展,應(yīng)用跨云就得進(jìn)行重構(gòu)。云函數(shù)是把應(yīng)用變成一個(gè)個(gè)更小粒度的云函數(shù),將每個(gè)函數(shù)都放到容器中,然后實(shí)現(xiàn)協(xié)同擴(kuò)展,這樣云函數(shù)可以部署在一個(gè)云里,也可以擴(kuò)展到其他云里,進(jìn)而解決算力跨云擴(kuò)展的問題。例如,進(jìn)行跨云分布式訓(xùn)練時(shí),因?yàn)榉植际接?xùn)練需要資源較多,單個(gè)云資源不夠,可以把另外一個(gè)云的資源也拉進(jìn)來進(jìn)行訓(xùn)練,這個(gè)場(chǎng)景下云函數(shù)編程會(huì)非常方便。
五是用戶視角下的算力度量方式可以真正實(shí)現(xiàn)現(xiàn)收現(xiàn)付制(Pay-as-You-Go)。這一收益與算力度量有關(guān),我們?nèi)绻阉懔ψ龀煞?wù)的形式,就需要提供算力的度量和付費(fèi)方式,這對(duì)提升用戶體驗(yàn)來說非常重要。例如,用戶要對(duì)1億個(gè)64位整數(shù)進(jìn)行排序,該如何進(jìn)行度量和收費(fèi)?如果按當(dāng)前部分云計(jì)算廠商的方式進(jìn)行度量便存在兩個(gè)問題。首先是度量不統(tǒng)一,很多人工智能應(yīng)用使用8位、16位浮點(diǎn)/整型操作進(jìn)行度量,高性能計(jì)算用64位浮點(diǎn)進(jìn)行度量,而圖形處理器(GPU)是用32位/16位浮點(diǎn)進(jìn)行度量,度量衡不統(tǒng)一;其次是用戶體驗(yàn)和用戶付費(fèi)不統(tǒng)一,例如,在兩臺(tái)服務(wù)器上執(zhí)行相同的排序程序,一個(gè)用時(shí)1分鐘,另一個(gè)用時(shí)1.5分鐘,理論上花費(fèi)時(shí)間多的體驗(yàn)更差,但按當(dāng)前據(jù)時(shí)間計(jì)費(fèi)的模式,花時(shí)間長的反而費(fèi)用更高,這與實(shí)際情況相悖。所以,針對(duì)這兩個(gè)問題,我們要把度量衡統(tǒng)一到64位基本操作,同時(shí),用一種用戶可以感知算力使用量的方式進(jìn)行計(jì)費(fèi)。這樣就能夠真正實(shí)現(xiàn)現(xiàn)收現(xiàn)付制,如同高速公路一般,付費(fèi)多少與使用這條高速公路的情況直接相關(guān)。
總而言之,當(dāng)前算力網(wǎng)更多關(guān)注的還是在供給側(cè)方面的收益,我們應(yīng)該更多地關(guān)注用戶在消費(fèi)側(cè)方面的收益,通過技術(shù)創(chuàng)新,讓中小企業(yè)更愿意來使用算力,并從使用算力中得到好處,這才是算力網(wǎng)能夠持續(xù)發(fā)展的關(guān)鍵因素。
來源:《中國網(wǎng)信》2022年第7期