行業(yè)應(yīng)用|用北京超算跑大型結(jié)構(gòu)動(dòng)力學(xué)仿真是種什么樣的體驗(yàn)?
測(cè)評(píng)內(nèi)容說(shuō)明
最近由于大型仿真分析項(xiàng)目需求,有幸接觸到了北京平博pinnacle体育官网計(jì)算中心(如下簡(jiǎn)稱北京超算),同時(shí)也體驗(yàn)到了超算中心對(duì)于低成本拓展仿真分析規(guī)模的系列優(yōu)勢(shì)。
為了幫助大家更好地了解和使用超算中心,筆者將通過(guò)系列文章對(duì)超算中心的使用以及計(jì)算性能進(jìn)行測(cè)評(píng),本文內(nèi)容為ANSYS軟件使用測(cè)試,測(cè)試參數(shù)如下:
超算中心 | 北京平博pinnacle体育官网計(jì)算中心 |
CPU類型 | AMD |
核心數(shù) | 64 |
主頻 | 2.35GHz |
內(nèi)存 | 256G |
磁盤空間 | 500G |
測(cè)試軟件 | ANSYS WorkBench 2021R1 |
北京平博pinnacle体育官网計(jì)算中心可根據(jù)使用者需求提供不同型號(hào)CPU,核心數(shù),內(nèi)存大小以及磁盤空間,上述數(shù)據(jù)僅為本次測(cè)評(píng)使用參數(shù)。
相比于零件分析,大型裝配體除了網(wǎng)格數(shù)量較多外,還包含大量的連接關(guān)系,綁定接觸以及混合單元類型,因此一般情況下計(jì)算量相比于同等節(jié)點(diǎn)數(shù)量的零件大,體現(xiàn)的計(jì)算問(wèn)題也更加全面。
為了更加真實(shí)地測(cè)試超算平臺(tái)的使用性能,文章選取如下大型裝配體:
模型來(lái)源于GrabCAD官網(wǎng)
根據(jù)實(shí)際測(cè)試,該模型進(jìn)行高階實(shí)體單元?jiǎng)澐郑畹凸?jié)點(diǎn)數(shù)量50萬(wàn),但是通常裝配體由于計(jì)算精度要求會(huì)比該數(shù)量多,因此本文按照100萬(wàn)節(jié)點(diǎn)數(shù)量進(jìn)行測(cè)試,具體有限元模型如下:
整體有限元模型使用高階四面體單元處理,節(jié)點(diǎn)數(shù)量107萬(wàn),MPC綁定接觸對(duì)200+。
考慮到同等節(jié)點(diǎn)數(shù)量下,動(dòng)力學(xué)分析比靜力學(xué)分析計(jì)算量和計(jì)算時(shí)間要大得多,因此本文使用動(dòng)力學(xué)分析的模態(tài)分析模塊進(jìn)行測(cè)試,算法選擇Block Lanczos,提取模態(tài)階數(shù)100階。
注意
該模型分析已經(jīng)在本地64G電腦上經(jīng)過(guò)測(cè)試,由于內(nèi)存需求遠(yuǎn)遠(yuǎn)超出電腦性能無(wú)法計(jì)算,因此只能借助超算平臺(tái)進(jìn)行計(jì)算。
平臺(tái)使用流程
Step1:本地準(zhǔn)備工作
由于超算中心計(jì)費(fèi)是從創(chuàng)建分析項(xiàng)目開(kāi)始,而不是求解計(jì)算,因此作為分析中最為耗時(shí)的前處理工作,一般是在本地電腦完成,整體模型裝配好后導(dǎo)入超算中心進(jìn)行調(diào)試和分析:
對(duì)于ANSYS WorkBench來(lái)說(shuō),使用Archive功能導(dǎo)出求解文件的壓縮包較為推薦,對(duì)于Abaqus直接導(dǎo)出對(duì)應(yīng)版本的.inp文件,對(duì)于HyperWorks導(dǎo)出對(duì)應(yīng)版本的.fem文件,這些求解文件在超算平臺(tái)中均能正常讀取。
Step2:求解文件上傳
對(duì)于每個(gè)用戶,超算中心會(huì)單獨(dú)開(kāi)辟一塊磁盤空間供數(shù)據(jù)存儲(chǔ),類似于個(gè)人電腦上的一個(gè)盤,一般最低有500G,個(gè)人可以對(duì)空間中的數(shù)據(jù)進(jìn)行常規(guī)編輯和清理工作,我們的計(jì)算文件也是存儲(chǔ)在該空間下。
為了使得超算平臺(tái)能夠讀取計(jì)算文件,需要登錄超算平臺(tái),將求解文件通過(guò)指定軟件上傳到提供的存儲(chǔ)空間中:
超算中心界面
磁盤文件交互
由于直接拖動(dòng)就可以實(shí)現(xiàn)本地電腦和超算平臺(tái)的數(shù)據(jù)交換,傳輸速度也能保證在3~5Mb/s以上,因此使用起來(lái)相對(duì)也比較方便。
Step3:創(chuàng)建分析項(xiàng)目
本地?cái)?shù)據(jù)導(dǎo)入完成之后,通過(guò)超算中心桌面的VNC可以創(chuàng)建分析項(xiàng)目,也可以直接通過(guò)桌面上的ANSYS軟件直接啟動(dòng):
根據(jù)計(jì)算需求,我們選擇amd_256隊(duì)列(代表CPU為AMD,最大使用內(nèi)存256G),核心數(shù)選擇64(可以根據(jù)自己需求使用更多核心),提交之后,等待連接成功,即可進(jìn)入可視化界面。
應(yīng)用窗口
WorkBench界面
Step4:調(diào)試和求解
由于超算中心提供了可視化界面,因此調(diào)試和求解的部分和我們正常操作沒(méi)有任何區(qū)別,這里直接使用60核進(jìn)行計(jì)算:
ANSYS WorkBench后臺(tái)統(tǒng)計(jì)的計(jì)算時(shí)間和內(nèi)存占用情況如下:
統(tǒng)計(jì)內(nèi)容 | 具體數(shù)據(jù) |
內(nèi)存占用 | 157GB |
計(jì)算時(shí)間 | 27分52秒 |
結(jié)果文件 | 2.6GB |
對(duì)于一個(gè)大型裝配體的動(dòng)力學(xué)計(jì)算來(lái)說(shuō),計(jì)算速度還是比較滿意的。
Step5:后臺(tái)數(shù)據(jù)監(jiān)測(cè)
在計(jì)算過(guò)程中,可以通過(guò)桌面軟件SSH,輸入指定的簡(jiǎn)易代碼,方便地查詢到調(diào)用核心以及內(nèi)存空間的使用情況,如圖所示:
測(cè)評(píng)結(jié)果
本次使用超算測(cè)評(píng),大致總結(jié)如下體驗(yàn):
①內(nèi)存足夠大,目前了解到最大內(nèi)存可以支持2T,本次使用的測(cè)試模型需要占用157GB內(nèi)存,對(duì)于大部分本地電腦無(wú)法處理,并且個(gè)人配置到這么高的內(nèi)存空間成本非常高
②核心數(shù)足夠多,雖然在結(jié)構(gòu)分析中,超過(guò)16核加速效果已經(jīng)不太明顯,但是對(duì)于流體等分析來(lái)說(shuō),核心數(shù)對(duì)計(jì)算速度的改善還是非??上?/span>
③流程足夠完善,早期聽(tīng)到超算中心我都是有些畏懼的,感覺(jué)這東西應(yīng)該很復(fù)雜,需要傳輸各種文件,輸入各種求解命令調(diào)用,但是這次使用后發(fā)現(xiàn),現(xiàn)在平臺(tái)從可視化界面,文件傳輸,后臺(tái)查詢等都做得很完善,給人的感覺(jué)就是遠(yuǎn)程調(diào)用一臺(tái)高性能電腦
④服務(wù)足夠到位,開(kāi)始使用超算中心確實(shí)會(huì)遇到各種疑問(wèn),但是配備的技術(shù)支持微信群能快速響應(yīng)并給出解決方案,體驗(yàn)感比較好。
以上便是本次云計(jì)算中心的測(cè)評(píng)內(nèi)容,整體體驗(yàn)感比較舒服,當(dāng)然之后會(huì)針對(duì)具體分析問(wèn)題進(jìn)行求解速度和內(nèi)存占用的測(cè)評(píng)。