热门标签
热门文章
- 1在Visual Studio中使用GitHub扩展插件【1】——安装插件&新建仓库_github extension for
- 2干了三年java外包，我转AI了...._java转ai难吗
- 3NineAi3.41版本ChatGPT宝塔安装详细教程（针对整合包+开源包安装教程）_nineai js解密
- 4用免费GPU部署自己的stable-diffusion项目（AI生成图片）
- 5推荐系统[二]：召回算法超详细讲解[召回模型演化过程、召回模型主流常见算法(DeepMF/TDM/Airbnb Embedding/Item2vec等)、召回路径简介、多路召回融合]_metapath_v2召回
- 6Go通道机制与应用详解
- 7yolov8检测头
- 8神经网络的Python实现（一）了解神经网络_神经网络实验基于numpy设计一个包含输入层、隐含层和多分类输出层的前馈神经网络,
- 9json格式解析_解析一段json格式结构
- 10如何在 Linux ubuntu 系统上搭建 Java web 程序的运行环境_ubuntu java运行搭建
当前位置: article > 正文
LLM-模型大小：GPU显卡内存大小、模型大小、精度、batch_size关系_llama batch size 多大合适
作者：菜鸟追梦旅行 | 2024-04-03 21:05:34
赞
踩
llama batch size 多大合适
对于LLaMa-6b模型来说
1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为：
2、 每个样本需要的内存大小（）：
3、基于第1/2条，对于A100显卡（80GB RAM）来说，batch_size最大可以设置为50
推荐阅读
相关标签
