训练ai需要什么配置

问题描述

精选答案

一般需要有nvswitch连着的A100，比如DGX A100就是八张A100 80G，这样显存才够在FP16下单机模型展开。

cpu他用的是AMD 7742，128核，但64核之类的SKU也能胜任主要是PCI-E通道数得够才带的起A100和ib卡。双路EPYC Rome有196路PCI-E 4.0。