当前位置:   article > 正文

终于来啦!Stable Diffusion 3将在6月12日正式开源_stable diffusion 3 medium

stable diffusion 3 medium

6月3日晚,著名开源大模型平台Stability AI的联合首席执行官Christian Laforte,在AMD的产品发布会上宣布,文生图模型 Stable Diffusion 3将于6月12日在Hugging Face开源权重。

本次开源的是Stable Diffusion 3的Medium模型,有20亿参数,在照片真实感、样式、图片质量、算力资源消耗等方面都进行了大幅度优化,将比前两代更好。

同时Stable Diffusion 3也是对标闭源文生图产品Midjourney、DALL·E 3的最佳模型之一,该系列已经被全球数百万开发者使用,很多文生视频/3D模型也借鉴了该架构。

今年2月22日,Stability AI首次预览了Stable Diffusion 3,其逼真的图片质量、更好的文本语义理解与文字嵌入,使得全球开发者们对这个模型相当期待。

但在3月23日,Stability AI的首席执行官Emad Mostaque被辞退,随后又爆出财务危机正在寻求买家等不少负面新闻,大家开始担心Stable Diffusion 3的开源还能否顺利进行。

好在Stability AI都挺过来了,而此时其新上任的联合首席执行官在AMD的产品发布会宣布这个事情,估计已经获得了AMD的赞助还很可能被全资收购。

与英伟达相比,AMD在大模型、生成式AI的部署、开发等方面略处于落后,Stability AI开源的大语言模型、扩散模型等的下载量合计超过千万级别,拿下它等同于收获了一大批开发者。

在这里插入图片描述

Stable Diffusion 3架构简单介绍

根据Stable Diffusion 3论文显示,使用了与Sora相同的架构Diffusion Transformer。

Diffusion模型作为生成模型的一种,主要通过数据到噪声的逆过程来创造新的数据点。这种方法在图像和视频生成方面应用非常广泛。

但是随着Diffusion不断迭代,预训练、推理对算力需求呈指数级增长,对于中小企业、个人开发者来说非常不友好。

所以,在Diffusion基础之上又融合了大模型界非常知名的Transformer架构,通过独立的权重处理图像和文本模态,并实现了这两种模态之间的双向信息流。

Diffusion Transformer架构引入新的噪声采样技术,改进了训练Rectified Flow模型的方法。通过偏向感知上相关的尺度,提高了训练的效率和性能。

该架构采用了模拟无关的流训练方法,直接回归一个向量场,用于生成数据分布和噪声分布之间的概率路径,有效避免了求解常微分方程所带来的超高算力成本,同时也极大增强了文本语义理解、文字嵌入和图片样式等。

Stable Diffusion 3生成展示

其实在Stability AI发布预览版时,已经公布了一大批Stable Diffusion 3生成的图片,基本上与Midjourney、DALL·E 3这两款知名产品差不多。

例如,教室里,黑板上用白色粉笔写着 “GPUs go brrmr”,这是一个肯定而幽默的场景。黑板前,一群学生正在庆祝。这些学生被独特地描绘成鳄梨,长着小胳膊小腿,脸上洋溢着喜悦和兴奋的表情。

这个场景捕捉到了一种充满童趣和想象力的氛围,将传统教室的概念与牛油果学生的奇特形象融为一体。

一只半透明的猪,里面是一只更小的猪。

一只青蛙坐在20世纪50年代的快餐厅里,穿着皮夹克,戴着礼帽。桌子上有一个巨大的汉堡和一个写着“Froggy Fridays”的牌子。

一只巨大、威严的白色巨龙,它有多个角和类似须的触角,翱翔在崎岖的山脉景观之上。

这条龙有着明亮的橙色眼睛,似乎在清澈的蓝天下飞翔在蓬松的白云之间。周围有尖锐的积雪覆盖的山峰,以及一座类似古代寺庙或塔楼的小建筑。

目前,Stable Diffusion 3 Medium模型只能用于学术研究无法商业化。如果在正式开源后,想商业化的开发者可以联系Stability AI。

想使用Stable Diffusion 3 Turbo和其他版本的需要开通Stability AI的会员。

申请地址:https://stability.ai/stablediffusion3

END

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/神奇cpp/article/detail/798191
推荐阅读
相关标签
  

闽ICP备14008679号