当前位置:   article > 正文

Firefly (流萤) - 中文对话式大语言模型_大语言模型微调框架 萤

大语言模型微调框架 萤

LLM、AIGC、RAG 开发交流裙:377891973


在这里插入图片描述



关于 Firefly


Firefly(流萤) 是一个开源的中文大语言模型项目,支持QLoRA和全量参数微调 Baichuan2、CodeLLaMA、LLaMA2、LLaMA、Qwen、Baichuan、ChatGLM2、InternLM、Ziya、Bloom、XVERSE等开源模型。

正如我们的项目名称一样,希望本项目能够像流萤一般发出淡淡微光,为中文大语言模型社区尽绵薄之力,促进中文大语言模型社区的发展。

流萤(萤火虫的别称)是中华传统文化的一个符号,虽说腐草为萤,带有悲悯意味,但萤火虽小,也能凭借其淡淡荧光,照亮夜空。
本项目的名称取自杜牧的《秋夕》:银烛秋光冷画屏,轻罗小扇扑流萤。


项目主要内容:

  • 支持全量参数指令微调、QLoRA低成本高效指令微调、其中QLoRA是我们主推的一种高效的训练方式。</
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/870656
推荐阅读
相关标签
  

闽ICP备14008679号