AI智算云助力大模型訓(xùn)練與推理:北京超算在EMNLP 2023論文預(yù)講會發(fā)表主題報告
近日,EMNLP 2023論文預(yù)講會在北京召開。本次預(yù)講會由中國中文信息學(xué)會青年工作委員會主辦,由北京平博pinnacle体育官网計算中心提供贊助,智源社區(qū)、MLNLP提供社區(qū)支持。
EMNLP(Conference on Empirical Methods in Natural Language Processing)會議是國際自然語言處理領(lǐng)域最高級別的學(xué)術(shù)會議之一。EMNLP論文預(yù)講會是由中國中文信息學(xué)會青年工作委員會主辦的年度活動,該活動邀請被EMNLP 2023會議錄用的文章作者進行報告交流,旨在加強國內(nèi)相關(guān)學(xué)者之間的交流,為國內(nèi)學(xué)者和研究人員提供更快速更便捷的學(xué)習(xí)機會,同時為不能現(xiàn)場參會的人員提供學(xué)術(shù)分享平臺,從而促進我國自然語言處理研究的發(fā)展。
本次會上,來自北京平博pinnacle体育官网計算中心的郭躍老師帶來《AI智算云助力大模型訓(xùn)練與推理》報告,并對中心的算力服務(wù)進行了詳細的介紹。作為超算架構(gòu)大模型算力領(lǐng)跑者,北京平博pinnacle体育官网計算中心(以下簡稱北京超算)憑借高質(zhì)量、高性能、高性價比三大算力優(yōu)勢,賦能自然語言處理業(yè)務(wù)。
北京平博pinnacle体育官网計算中心郭躍做主題報告
北京超算的AI智算云平臺,具備強大的計算能力、豐富的軟件資源、可信賴的支持團隊、以及定制化的行業(yè)解決方案,可提供隨需而用的GPU算力資源;基于優(yōu)化的算力調(diào)度系統(tǒng)幫助用戶減少排隊,適應(yīng)多學(xué)科應(yīng)用需求,降低用戶資源使用成本,可為大規(guī)模復(fù)雜技術(shù)和商業(yè)應(yīng)用實現(xiàn)提供專業(yè)完整的解決方案。
基于應(yīng)用性能分析的算力資源選型,獲取高性價比資源,是北京平博pinnacle体育官网計算中心算力服務(wù)的一大特色。面向高性能計算、人工智能等領(lǐng)域,對大規(guī)模并行應(yīng)用程序進行實時“CT”掃描;秒級監(jiān)控應(yīng)用程序的CPU、GPU、內(nèi)存、顯存、磁盤、網(wǎng)絡(luò)處理器微架構(gòu)級和程序函數(shù)級等多級性能指標,實時智能分析、診斷故障及定位性能瓶頸;基于多維度指標建立形成應(yīng)用運行特征庫,為資源精準調(diào)配和擴容設(shè)計新集群提供量化數(shù)據(jù)支撐。
眾所周知,模型訓(xùn)練需要大量高端GPU算力,而自建資源給企業(yè)帶來了巨大的資金壓力。為此,北京平博pinnacle体育官网計算中心以租用方式提供高性價比GPU算力資源的形式,降低企業(yè)的資金投入。通過AI智算云平臺,企業(yè)能夠快速獲得GPU計算資源,加速模型訓(xùn)練進程。北京平博pinnacle体育官网計算中心的專家團隊還搭建了超算架構(gòu)的計算環(huán)境,通過多節(jié)點并行計算實現(xiàn)了更高效的模型訓(xùn)練以及更好的預(yù)測準確度。