全站数据
8 4 2 0 5 8 1

7b模型预训练需要多少卡

经济视野 | 简单学习,快乐成才!         
问题更新日期:2024-10-25 21:58:47

问题描述

7b模型预训练需要多少卡,麻烦给回复
精选答案
最佳答案

经查找,LLaMA在训练7B的模型时,需要83K的A100(80GB显存)。也就是说,如果你有83块A100(80G),需要训练1000小时(42天),才能训练一个7B的模型。