AI服務(wù)器是采用異構(gòu)形式的服務(wù)器，在異構(gòu)方式上可以根據(jù)應(yīng)用的范圍采用不同的組合方式，如CPU+GPU、CPU+TPU、CPU+其他的加速卡等。與普通的服務(wù)器相比較，在內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)方面沒有什么差別，主要在是大數(shù)據(jù)及云計(jì)算、人工智能等方面需要更大的內(nèi)外存，滿足各種數(shù)據(jù)的收集與整理。
AI服務(wù)器與普通的GPU服務(wù)器雖然組成上類似，核心計(jì)算部件都是GPU加速卡，但是不可等同，主要有以下幾點(diǎn)區(qū)別：
1、卡的數(shù)量不一致：普通的GPU服務(wù)器一般是單卡或者雙卡，AI服務(wù)器需要承擔(dān)大量的計(jì)算，一般配置四塊GPU卡以上，甚至要搭建AI服務(wù)器集群。
2、*設(shè)計(jì)：AI服務(wù)器由于有了多個(gè)GPU卡，需要針對(duì)性的對(duì)于系統(tǒng)結(jié)構(gòu)、散熱、拓?fù)涞茸鰧ｉT的設(shè)計(jì)，才能滿足AI服務(wù)器長期穩(wěn)定運(yùn)行的要求。
3、P2P通訊：普通GPU服務(wù)器要求的是單卡性能，AI訓(xùn)練中GPU卡間需要大量的參數(shù)通信，模型越復(fù)雜，通信量越大，所以AI服務(wù)器除了要求單卡性能外，還要求多卡間的通訊性能，采用PCI3.0協(xié)議通信的大P2P帶寬達(dá)到32GB/s，采用SXM2協(xié)議通信的大P2P帶寬達(dá)到50GB/s，采用SXM3協(xié)議通信的大P2P帶寬達(dá)到300GB/s。
4、先進(jìn)技術(shù)：AI服務(wù)器有很多更先進(jìn)的技術(shù)，包括Purley平臺(tái)更大內(nèi)存帶寬，NVlink提供更大的互聯(lián)帶寬，TensorCore提供更強(qiáng)的AI計(jì)算力。
咨詢熱線
公司服務(wù)號(hào)
