当前位置:   article > 正文

LLM 的下一站 Mamba,取代 Transformer,虽然在争议_manba和transform

manba和transform

虽然业界大佬对Mamba有点争议,但是直觉而言,Mamba会取代 Transformer 成为LLM的基础模型算法。

1, Mamba 比 Transformer的优点

        1.1 处理的序列更长

        1.2 比Transformer 更快

         1.3 可解释性、可理解性、可控性、可调试性比 Transformer 更强

2,原始论文

论文网址:
https://arxiv.org/pdf/2312.00752.pdf


https://github.com/mamba-org/mamba

3,应用于视觉


mamba 应用于 CV:
https://arxiv.org/abs/2401.09417

https://github.com/kyegomez/VisionMamba


4,MAMBA 嫁接到 u-NET:


https://arxiv.org/abs/2401.04722
https://github.com/bowang-lab/U-Mamba

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Guff_9hys/article/detail/836229
推荐阅读
相关标签
  

闽ICP备14008679号