在本地 PC 上构建本地聊天机器人100%离线，基于 Langchain、LLama Streamlit 的小于 1 GB 的大型语言模型（支持apple macos m1 m2 window11）_mac m1本地部署大模型

挑战

最大的语言模型的大量计算要求对于中小型企业或个人用户来说可能是令人畏惧的。尽管它们的性能令人印象深刻，但这些模型的尺寸使其部署起来充满挑战，特别是在带宽或硬件受限的环境中。

然而，值得注意的是，目前有一系列的法学硕士可供选择，其中一些旨在平衡性能和规模，使其非常适合本地部署。

这些本地部署模型的另一个重要方面是它们离线工作，不与其他公司共享数据。

本文将指导您完成并深入了解如何利用大小低于 1GB 的 LLM 构建有效的本地 ChatBot。

• 设置（虚拟环境、Python 包、依赖项……）
• LaMini-LM 模型下载
• 概念验证：测试模型的质量
• 集成到 Streamlit
  
  选择正确的型号
  人们已经开发了大型语言模型的几个较小版本，并减少了参数，旨在在很大程度上保持其较大版本的性能。例如，DistilGPT（较大 GPT 模型的蒸馏版本）和Microsoft 的MiniLM等模型以原始模型大小的一小部分提供了令人印象深刻的语言理解能力。

例如，DistilGPT 保留了 GPT 的大部分功能，但体积明显更小、速度更快。它使用一种称为知识蒸馏的方法进行训练，其中较大模型的“知识”被转移到较小的模型，使其能够达到相似的性能水平，但尺寸和计算要求显着降低。

同样，MiniLM 专注于保留其较大同行的语言理解和生成能力，但参数较少且尺寸较小，使其适合本地部署。

对于这个实验，我决定使用 L