当前位置:   article > 正文

Python|flash_attn 安装方法_flash-attn安装

flash-attn安装
Step 1|打开 flash_attn 的 Github 项目的 releases 页面

直接使用 pypi 安装会安装最新版本,不一定适配本地环境,所以需要直接从 release 中选择合适的版本安装。官方包只有 Linux 系统,Windows 系统可以使用大佬编译的包:

在这里插入图片描述
在这里插入图片描述

Step 2|选择适合的版本并下载

flash_attn 的版本上,直接选择最新版本即可(若最新版本的 flash_attn 没有适合的 CUDA 版本和 pytorch 版本则应用更早的版本)。

  • 版本文件名中的第一部分(例如 cu118cu122)为 CUDA 版本。本地 CUDA 版本可以通过 nvidia-smi 命令查看:

在这里插入图片描述

  • 版本文件名中的第二部分(例如 torch2.1torch2.2torch2.3)为 pytorch 版本,选择本地 pytorch 对应的版本即可。本地 pytorch 版本可以通过 pip show torch 命令查看:

在这里插入图片描述

  • 版本文件名的第三部分(例如 cp311-cp311-win_amd64)为 Python 版本,选择本地 Python 版本即可。本地 Python 版本可以通过 pip debug 命令查看:

在这里插入图片描述

Step 3|安装 flash_attn 模块

进入下载路径,pip 安装即可:

pip install flash_attn-2.5.9.post1+cu122torch2.3.1cxx11abiFALSE-cp311-cp311-win_amd64.whl
  • 1

参考文档:https://blog.csdn.net/2301_77818837/article/details/135642828


如果尝试直接编译 whl 文件的话,可能遇到的问题如下:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小舞很执着/article/detail/955093
推荐阅读
相关标签
  

闽ICP备14008679号