热门标签
热门文章
- 1Cetos安装交叉编译工具链_glibc-devel.i686
- 2Zookeeper的监听机制及原理解析
- 3游戏开发小结——使用新的输入系统(Input System)_unity input system 长按
- 4QT的树形结构控件-QTreeWidget_qtreewidget设置可编辑
- 5Python即将代替以后的办公软件？_有了python就相当于所有软件
- 6【EI会议征稿通知】第三届自动化、电子科学与技术国际学术会议 (AEST 2024)_第三届电子与集成电路技术国际学术会议
- 7Element学习（布局组件、案例操作）（4）
- 8《音视频开发进阶指南》读书笔记（一） —— 音视频基础概念
- 9Python最强编辑器PyCharm详细使用指南，从入门到精通_pycharm从入门到精通
- 10【软硬件通信】ESP32 Arduino 服务端 控制舵机
当前位置: article > 正文
详细解读开源版Sora视频生成模型Latte
作者：从前慢现在也慢 | 2024-08-14 11:19:52
赞
踩
详细解读开源版sora视频生成模型
前言：OpenAI的视频生成模型Sora一经发布就广受全世界的瞩目，上海人工智能实验室最近推出了一个基于Diffusion Transformer的结构的模型Latte，堪称最接近Sora原理的视频生成模型。这篇博客就详细解读Latte，并从中窥探Sora的神秘面纱。
目录
patch embedding方法：uniform frame patch embedding和compression frame patch embedding
贡献概述
论文提出了一种基于Transformer的视频扩散模型结构Latte。Latte首先从输入视频中提取时空标记，然后采用一系列Transformer块对潜在空间中的视频分布进行建模。为了对从视频中提取的大量标记进行建模，从分解输入视频的空间和时间维度的角度引入了四个有效的变体。作者详细比较了四种有效变体之间的利弊。
方法详解
backbone
latte采用视频transformer作为骨干。Latte 使用预
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/979525
推荐阅读
相关标签
