在任何计算机上免费运行 Mistral7b Quantized。 了解如何在 CPU 或 GPU 上运行最新的 LLM，并亲眼看到速度差异。_mistral-7b-v0.1硬件需求

几天前，新的法学硕士已经发布。向 Mistral 7B 打个招呼，这是一个强大的语言模型，配备了惊人的 73 亿个参数。它的到来引起了轰动，不仅因为它超越了 Meta 的 Llama 2-13b，还因为它的卓越性能超越了更大的型号。

即使只有 7b 个参数，运行它所需的硬件规格也不是每个人都能获得的：你需要一个 GPU 才能使其工作。

在本文中，我们将深入研究 Mistral 7B 的世界，并学习如何将其与两种量化方法一起使用：GGUF 和 GPTQ。通过这种方式，您将学习如何在每个 CPU 上使用该模型，如果您有 nVidia，我将向您展示如何快速获得法学硕士。

如何免费使用 Mistral7b

使用 Mistral7b 的唯一要求是计算机。你没听错：如果你只有一个 CPU……你就可以使用它。如果您有 GPU，您可以更快地使用它！

在我们的测试中，我们将利用 Google Colab 笔记本的免费套餐：即使使用免费帐户，您也有权使用 T4 GPU 进行 1 次免费会话。

从拥抱脸部模型卡中，我们可以获得运行模型所需的所有信息。

打开一个新的 Colab 笔记本
下载模型权重（在 GGUF 量化模型中）

!wget https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF/resolve/main/mistral-7b-instruct-v0.1.Q4_K_M.gguf
1

安装依赖项

%%capture
!pip install ctransformers>=0.2.27
1
2