Win10双系统安装Ubuntu18.04以及安装Pytorch_ubuntu18.04 安装pytorch

简要记录一下Win10双系统安装Ubuntu18.04以及Pytorch的安装过程

目录

一、从U盘安装Ubuntu系统

1. 准备U盘

2. 下载Ubuntu18.04的iso镜像

3. 分配空间

4.刻录镜像到U盘

5.更新源

二、安装Pytorch深度学习框架

1.切换python版本

2. 安装anaconda

3.安装英伟达显卡驱动

4.安装cuda

5.安装cudnn

6.安装Pytorch

---

一、从U盘安装Ubuntu系统

1. 准备U盘

格式化U盘，格式化时文件系统采用FAT32（默认）。

2. 下载Ubuntu18.04的iso镜像

下载网址：Index of /releases/18.04.5

3. 分配空间

使用diskgenius工具分配空间，预留足够的空间给新系统，同时保证系统里面没有未分配的空间（这一点极为重要）。

4.刻录镜像到U盘

使用rufus工具刻录镜像到U盘，下载地址为：Rufus - The Official Website (Download, New Releases)

安装时，选择install ubuntu

5.更新源

使用apt-get安装时，会很慢，更换了国内的源后，就可以解决这个问题了。

1. 备份sources.list文件

2. 打开sources.list文件

3. 删除原内容，添加下列内容

#添加阿里源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

保存修改后使用下面的命令更新

sudo apt-get update
sudo apt-get upgrade

接下来可以安装一些必须的编译软件，比如make、gcc、g++等：

sudo apt install make
sudo apt install gcc
sudo apt install g++

二、安装Pytorch深度学习框架

1.切换python版本

在终端中输入python，如果出现下面的界面说明当前首选python版本为python2，需要切换到python3才可以。

在终端输入：

sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

即可切换到python3，此时可以打开终端输入python重新验证下，如下图所示：

2. 安装anaconda

官网下载地址：Anaconda | Individual Edition

这里选择64-Bit (x86) Installer (550 MB)进行下载。一般情况下，官方下载比较慢，可以选择清华源进行下载，下载地址为：Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

选择时间最新的下载，这里是Anaconda3-2020.07-Linux-x86_64.sh    550.1 MiB    2020-07-24 02:25

下载完成后在终端输入下述命令开始安装：

bash ./Anaconda3-5.1.0-Linux-x86_64.sh

安装完成后添加conda到环境变量。首先打开bashrc配置文件：

gedit ~/.bashrc

在文件末尾处添加以下语句：

export PATH=/home/XXX/anaconda3/bin:$PATH

这里的XXX即为对应的用户名。然后点击保存即可。

最后需要让etc/profile文件修改后立即生效，在终端输入：

source ~/.bashrc

此时使用命令：

echo $PATH

可以查看当前环境变量中有anconda了。

此时，输入python出现下图所示界面说明成功：

3.安装英伟达显卡驱动

首先需要到NAVIDIA官网去查自己的电脑是不是支持GPU运算。

网址是：CUDA GPUs | NVIDIA Developer。打开后的界面大致如下，只要里边有对应的型号就可以用GPU运算。

Ubuntu18.04自带了NVIDIA驱动，但是它没有安装完整，在之后的CUDA编译测试里面也会出现问题，因此需要重新安装。重新安装的方式如下。

首先，检测NVIDIA图形卡和推荐的驱动程序的模型，在终端输入：

ubuntu-drivers devices

从中可以看到，这里有一个设备是Geforce GTX 1080Ti，对应的驱动是nvidia -driver-440，所以安装440版本的驱动。输入命令进行安装：

sudo apt install nvidia-driver-440

安装完成后更新：

sudo apt upgrade

更新结束以后重启系统，然后在终端中输入命令：

nvidia-smi

可以看到下图所示效果（本机有2个1080显卡）

4.安装cuda

要使用英伟达显卡进行深度学习运算，需要安装cuda。为了能够兼容后面的pytorch安装，需要先去pytorch官网确认需要下载的cuda和cudnn版本。pytorch官网地址：PyTorch

如上图所示，当前最新的pytorch1.6版需要cuda10.2。那么接下来需要在英伟达官网下载cuda10.2即可。下载地址：

https://developer.nvidia.com/cuda-10.2-download-archive

接下来操作系统选择linux。然后选择x86_64。然后选择Ubuntu。接下来选择18.04。然后选择runfile(local)。此时会出现响应的安装代码：

按照代码提示进行安装即可。安装过程中需要注意，中间会提示要安装的具体内容，其中把driver用空格键取消掉，否则会把我们刚才安装的驱动driver破坏掉。

安装完成后添加环境变量：

sudo gedit ~/.bashrc

然后在末尾添加：

export PATH=/usr/local/cuda-10.2/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda-10.2

最后使它生效：

source ~/.bashrc

安装完成后重启。测试下是否安装成功：

cd /usr/local/cuda-10.2/samples/1_Utilities/deviceQuery
sudo make
sudo ./deviceQuery

测试效果如下：

最后显示Result=PASS则表示成功。

5.安装cudnn

cudnn封装了一些常见的深度学习算子加速库，可以提升运算性能。cudnn要和前面的cuda版本对应起来。下载网址：https://developer.nvidia.com/rdp/cudnn-download。下载前需要在nvidia上注册账户之类的。

这里选择“Download cuDNN v8.0.3 (August 26th, 2020), for CUDA 10.2”。然后选择“cuDNN Library for Linux (x86)”，下载该压缩包。

 注意，解压后的文件夹名称为cuda ,将对应文件复制到 /usr/local中的cuda内。采用如下命令完成复制：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

到这里，cudnn就安装完成了。

6.安装nccl

由于拥有两张显卡，为了加速后面的训练过程，希望能够将两张卡的资源都用起来，因此后面会采用分布式训练方式（只支持linux）。由于深度学习分布式训练需要nccl支持，因此本小节来安装nccl。

nccl 下载链接：https://developer.nvidia.com/nccl/nccl-legacy-downloads （与cudnn相似，需要注册登录后才能下载） 需要注册登录后 本人选择的是：NCCL 2.7.8, for CUDA 10.2。

下载本地文件后具体的操作链接是： https://docs.nvidia.com/deeplearning/nccl/install-guide/index.html

针对本文环境，总共使用下面的命令来安装：

sudo dpkg -i nccl-repo-ubuntu1804-2.7.8-ga-cuda10.2_1-1_amd64
sudo apt update
sudo apt install libnccl2=2.7.8-1+cuda10.2 libnccl-dev=2.7.8-1+cuda10.2

7.安装Pytorch

先安装numpy，需要将包安装到制定目录：

sudo pip3 install numpy-1.19.2-cp36-cp36m-manylinux1_x86_64.whl --target='/usr/lib/python3/dist-packages'

然后直接从pytorch官网直接进行下载：PyTorch

但是这种方式下载速度很慢，可以先设置镜像源，如清华的conda镜像：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

然后输入命令：

conda install pytorch torchvision cudatoolkit=10.2

安装过程中有可能还是会失败中断，只需要重复运行上述命令即可。安装完成后验证pytorch和torchvision是否安装成功,在python命令行输入import torch,无警告代表成功。

至此，Pytorch安装成功！

最后，测试一下安装完这些能不能使用GPU加速：
打开Python,输入以下命令：

import torch
print(torch.cuda.is_available())

如果返回True说明成功！