赞
踩
简要记录一下Win10双系统安装Ubuntu18.04以及Pytorch的安装过程
目录
格式化U盘,格式化时文件系统采用FAT32(默认)。
下载网址:Index of /releases/18.04.5
使用diskgenius工具分配空间,预留足够的空间给新系统,同时保证系统里面没有未分配的空间(这一点极为重要)。
使用rufus工具刻录镜像到U盘,下载地址为:Rufus - The Official Website (Download, New Releases)
安装时,选择install ubuntu
使用apt-get安装时,会很慢,更换了国内的源后,就可以解决这个问题了。
1. 备份sources.list文件
|
2. 打开sources.list文件
|
3. 删除原内容,添加下列内容
- #添加阿里源
- deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
保存修改后使用下面的命令更新
- sudo apt-get update
- sudo apt-get upgrade
接下来可以安装一些必须的编译软件,比如make、gcc、g++等:
- sudo apt install make
- sudo apt install gcc
- sudo apt install g++
在终端中输入python,如果出现下面的界面说明当前首选python版本为python2,需要切换到python3才可以。
在终端输入:
- sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
- sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150
即可切换到python3,此时可以打开终端输入python重新验证下,如下图所示:
官网下载地址:Anaconda | Individual Edition
这里选择64-Bit (x86) Installer (550 MB)进行下载。一般情况下,官方下载比较慢,可以选择清华源进行下载,下载地址为:Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
选择时间最新的下载,这里是Anaconda3-2020.07-Linux-x86_64.sh 550.1 MiB 2020-07-24 02:25
下载完成后在终端输入下述命令开始安装:
bash ./Anaconda3-5.1.0-Linux-x86_64.sh
安装完成后添加conda到环境变量。首先打开bashrc配置文件:
gedit ~/.bashrc
在文件末尾处添加以下语句:
export PATH=/home/XXX/anaconda3/bin:$PATH
这里的XXX即为对应的用户名。然后点击保存即可。
最后需要让etc/profile文件修改后立即生效,在终端输入:
source ~/.bashrc
此时使用命令:
echo $PATH
可以查看当前环境变量中有anconda了。
此时,输入python出现下图所示界面说明成功:
首先需要到NAVIDIA官网去查自己的电脑是不是支持GPU运算。
网址是:CUDA GPUs | NVIDIA Developer。打开后的界面大致如下,只要里边有对应的型号就可以用GPU运算。
Ubuntu18.04自带了NVIDIA驱动,但是它没有安装完整,在之后的CUDA编译测试里面也会出现问题,因此需要重新安装。重新安装的方式如下。
首先,检测NVIDIA图形卡和推荐的驱动程序的模型,在终端输入:
ubuntu-drivers devices
从中可以看到,这里有一个设备是Geforce GTX 1080Ti,对应的驱动是nvidia -driver-440,所以安装440版本的驱动。输入命令进行安装:
sudo apt install nvidia-driver-440
安装完成后更新:
sudo apt upgrade
更新结束以后重启系统,然后在终端中输入命令:
nvidia-smi
可以看到下图所示效果(本机有2个1080显卡)
要使用英伟达显卡进行深度学习运算,需要安装cuda。为了能够兼容后面的pytorch安装,需要先去pytorch官网确认需要下载的cuda和cudnn版本。pytorch官网地址:PyTorch
如上图所示,当前最新的pytorch1.6版需要cuda10.2。那么接下来需要在英伟达官网下载cuda10.2即可。下载地址:
https://developer.nvidia.com/cuda-10.2-download-archive
接下来操作系统选择linux。然后选择x86_64。然后选择Ubuntu。接下来选择18.04。然后选择runfile(local)。此时会出现响应的安装代码:
按照代码提示进行安装即可。安装过程中需要注意,中间会提示要安装的具体内容,其中把driver用空格键取消掉,否则会把我们刚才安装的驱动driver破坏掉。
安装完成后添加环境变量:
sudo gedit ~/.bashrc
然后在末尾添加:
- export PATH=/usr/local/cuda-10.2/bin${PATH:+:${PATH}}
- export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
- export CUDA_HOME=/usr/local/cuda-10.2
最后使它生效:
source ~/.bashrc
安装完成后重启。测试下是否安装成功:
- cd /usr/local/cuda-10.2/samples/1_Utilities/deviceQuery
- sudo make
- sudo ./deviceQuery
测试效果如下:
最后显示Result=PASS则表示成功。
cudnn封装了一些常见的深度学习算子加速库,可以提升运算性能。cudnn要和前面的cuda版本对应起来。下载网址:https://developer.nvidia.com/rdp/cudnn-download。下载前需要在nvidia上注册账户之类的。
这里选择“Download cuDNN v8.0.3 (August 26th, 2020), for CUDA 10.2”。然后选择“cuDNN Library for Linux (x86)”,下载该压缩包。
注意,解压后的文件夹名称为cuda ,将对应文件复制到 /usr/local中的cuda内。采用如下命令完成复制:
- sudo cp cuda/include/cudnn.h /usr/local/cuda/include
- sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
- sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
到这里,cudnn就安装完成了。
由于拥有两张显卡,为了加速后面的训练过程,希望能够将两张卡的资源都用起来,因此后面会采用分布式训练方式(只支持linux)。由于深度学习分布式训练需要nccl支持,因此本小节来安装nccl。
nccl 下载链接:https://developer.nvidia.com/nccl/nccl-legacy-downloads (与cudnn相似,需要注册登录后才能下载) 需要注册登录后 本人选择的是:NCCL 2.7.8, for CUDA 10.2。
下载本地文件后具体的操作链接是: https://docs.nvidia.com/deeplearning/nccl/install-guide/index.html
针对本文环境,总共使用下面的命令来安装:
- sudo dpkg -i nccl-repo-ubuntu1804-2.7.8-ga-cuda10.2_1-1_amd64
- sudo apt update
- sudo apt install libnccl2=2.7.8-1+cuda10.2 libnccl-dev=2.7.8-1+cuda10.2
先安装numpy,需要将包安装到制定目录:
sudo pip3 install numpy-1.19.2-cp36-cp36m-manylinux1_x86_64.whl --target='/usr/lib/python3/dist-packages'
然后直接从pytorch官网直接进行下载:PyTorch
但是这种方式下载速度很慢,可以先设置镜像源,如清华的conda镜像:
- conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- conda config --set show_channel_urls yes
- conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
然后输入命令:
conda install pytorch torchvision cudatoolkit=10.2
安装过程中有可能还是会失败中断,只需要重复运行上述命令即可。安装完成后验证pytorch和torchvision是否安装成功,在python命令行输入import torch,无警告代表成功。
至此,Pytorch安装成功!
最后,测试一下安装完这些能不能使用GPU加速:
打开Python,输入以下命令:
- import torch
- print(torch.cuda.is_available())
如果返回True说明成功!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。