StableDiffusion学习笔记：基础原理_stable diffusion

作者：码创造者 | 2024-07-23 04:56:58

踩

stable diffusion

前言

从去年大语言模型爆火以来，我觉得AI在未来一定会深刻的影响和改变每个人的日常生活。

不过AI在飞速的变化，谁也不知道未来将会如何发展。不管怎么说，反正学习了解一下总归是好的。

不过如果只是简单的会用，我觉得没什么意思，因为使用的门槛一定是会不断降低的，让每个人都能低成本的使用，这就是技术发展的必然。

诸如我前面更新了一篇qwen2简单上手的文章，后面几天我就发现用ollama可以一行代码就安装运行模型了，所以我也就没再更新相关内容。

而原理的东西是技术实现的基石，是长期稳定不变的，我觉得是比单纯的会使用更有价值。知其然，也要知其所以然。

正好最近对Stable Diffusion有点感兴趣，于是决定跟着极客时间上的《Stable Diffusion 实战课》，从原理出发，好好学习一下。

马尔可夫性

对SD有一定了解的人都知道，它是基于扩散模型[1]实现的，而扩散模型是依赖于马尔可夫性这个基本假设。

那什么是马尔可夫性呢？假设有X0、X1…Xn个状态，Xn+1仅和Xn相关，而与过去的X0…Xn-1无关。未来状态只与当前状态相关，而和之前的状态无关。

其实这个很好理解，你就想你走楼梯的时候，是不是一级一级的上的，而你要上下一个台阶，是不是只和你当前所在台阶直接相关，而与你最初的台阶没有直接的关系。

我感觉马尔可夫性揭示了生活中一个朴素的道理，就是事物是连续变化的，你当前的人生，之和你上一次的选择、行为直接相关，而和你的出身、家境没有直接关系。所以不管你当前是什么样的，你永远的有机会改变自己，因为你的下一时刻，只和当下相关。

扩散模型

简单来说，对于一张图片，我们可以通过不断的加噪声，不知道大家有没有看过老式的电视，在收不到信号的时候，就会出现雪花点，加噪的过程就可以理解为不断的加雪花点，来让图片不断的趋于“混沌”。

然后我们每次加噪声，状态就变化一次，于是我们就能得到图片从X0到Xn的一系列状态。

如果你熟悉机器学习，就会知道，本质就是去拟合函数，获取一个最小的Loss。

又根据马尔可夫性，Xi+1只和Xi有关，所以我们用Xn去噪，然后就能得到Xn-1’，再不断去噪，最终就得到了X0’，于是我们又得到了X0’…Xn-1’的一系列状态。

得到这些状态后，我们让Xi和Xi’的Loss最小，不就完成了这个去噪模型的训练了吗。

可能你还有一个疑惑，那我为什么不一步到位，直接得到Xn，然后就只用训练Xn和Xn’的模型不就行了。

其实这就像我们学习一样，你不可能一蹴而就，要一步一步来，每次只加一点噪声/去掉一点噪声，无数的量变最终才能引起质变，如果直接就把一堆雪花点的图片给你，你怎么可能生成一个正常的图片呢。

文生图的实现

回到SD，当我们使用prompt生成图片的时候。它究竟是怎么做到的呢？

首先，根据训练好的模型，我们一开始会初始化一个噪声图像。

然后它会将提示词进行编码，用于控制去噪。

然后我们就不断迭代，去除噪声，最终就能得到我们需要的图片了。

注：这里省略了很多细节和专业名称，比如Latent Space，大家感兴趣可以自己去查阅。

文生图的过程给了我一种大道至简的感觉，都是一个随机的初始噪声，就因为控制的方向不同，最终就变成了截然不同的图片。

我们人生也是一样的，明明都是差不多的开始，都是一张白纸，却因为人生选择的一次次不同，最终产生的完全不同的人生。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

在这里插入图片描述