当前位置:   article > 正文

[PPT] 主流大语言模型的技术细节_大语言模型ppt

大语言模型ppt

主流大语言模型的技术原理细节从预训练到微调icon-default.png?t=N7T8https://mp.weixin.qq.com/s/P1enjLqH-UWNy7uaIviWRA

比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节:tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术:数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。3. 大语言模型的参数高效微调技术:prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/凡人多烦事01/article/detail/88049
推荐阅读
相关标签
  

闽ICP备14008679号