Ubuntu16.04配置深度学习环境(pyTorch):Ubuntu16.04 + cuda10.2 + cuDNN7.6.5 + Anaconda + pyTorch1.5 + pycharm

    技术2023-09-27  90

    NVIDIA驱动--cuda10.2--cudnn7.6--Anaconda(此时就可以选择Python3.x或Python2.x下载对应的版本)--pyTorch1.5--pycharm

     

    安装 NVIDIA驱动

    我之前已经安装好驱动了,不赘述。大体参考的是,【转】Ubuntu16.04使用apt get 命令安装 Nvidia 显卡驱动

    通过如下命令简单验证

    nvidia-smi

     

    安装 CUDA 和 cuDNN

    如果cuda版本不合适,过低啊之类的,先卸载,然后安装。卸载参考,Ubuntu安装和卸载CUDA和CUDNN

    安装 CUDA 10.2

    官方下载地址,CUDA Toolkit 10.2 Download

    参考了,Ubuntu安装和卸载CUDA和CUDNN,Ubuntu16.04+CUDA9.0 安装(全网最简便快速安装,测试成功)

    通过如下命令简单验证

    (查看CUDA版本信息) nvcc -V (测试CUDA的samples例子 - 成功则正常输入显卡设备相关信息) cd /usr/local/cuda-10.2/samples/1_Utilities/deviceQuery make ./deviceQuery

     

    安装 cuDNN v7.6.5 for cuda10.2

    官方下载地址,cuDNN Download (需要注册账号登录);选择了 "cuDNN  Library for Linux"

    参考了,官方(deep learning SDK documentation),Ubuntu安装和卸载CUDA和CUDNN

    通过如下命令简单验证

    (查看 cudnn 版本信息) cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

     

    安装 Anaconda

    下载地址,https://www.anaconda.com/products/individual。选择的Linux Python3.7的64-Bit (x86) Installer,然后完成安装。检查是否安装成功,参考ubuntu16.04安装和使用Anaconda3(详细)

    conda --version (我的输出是:conda 4.8.2)

     

    安装完成后,终端前部分出现了(base)字样,这是因为 ~/.bashrc 文件中被Anaconda加入了命令,在打开终端时自动conda  activate base。解决方案见ubuntu系统,anaconda3安装后,命令行界面打开默认进入base环境解决办法。我用的是(取消默认加载环境,命令行执行)

    conda config --set auto_activate_base false

     

    使用conda命令管理包、管理环境等,参考,linux笔记:使用conda命令管理包、管理环境详细讲解

    配置清华的镜像。参考,anaconda配置清华大学开源软件镜像

    (在Anaconda Prompt中运行) conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes (前往当前用户的目录下,查看.condarc文件) channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ - defaults show_channel_urls: true 注意:配置完成之后,要关闭控制台再重新打开控制台,这样新配置的文件才会被加载进来

    安装 pyTorch

    注意,先在Anaconda中创建一个自己的Python环境(用来各种倒腾;不同的环境可以方便隔离项目,以免互相干扰陷入大坑),然后再在这个环境下来安装pyTorch等;例如,这里我创建的环境叫做pytorch,如下

    conda create -n pytorch python=3.6 conda activate pytorch

    上面在创建新环境时,我出现了错误 ”NotWritableError: The current user does not have write permissions to a required path.“。先改变文件夹权限(下面这条命令,注意改成自己的Anaconda文件夹路径),然后再执行上面就可以了

    sudo chmod 777 -R /home/xxx/anaconda3

     

    参考,pyTorch官网,〖Pytorch笔记0〗Ubuntu16.04系统Anaconda下安装Pytorch(基于conda或pip)。注意此时是在上面我创建的自定义环境pytorch中

    注意到,在博客《〖Pytorch笔记0〗Ubuntu16.04系统Anaconda下安装Pytorch(基于conda或pip)》中说到,”但是这里一定要注意,去掉-c pytorch,安装的时候才会默认从清华源下载相应的包,因此这里用命令行“ conda install pytorch torchvision cudatoolkit=10.2

    这里安装时,第一次出错,错误“Conda - Downloaded bytes did not match Content-Length”(在用conda安装包的时候下载包的长度不够导致安装包不成功。原因一般是在下载的时候速度较慢,导致下载timeout而终止;参考,Conda - Downloaded bytes did not match Content-Length 问题解决方案)。由于我上面其实已经配置过清华源了,所以我什么都没干,又重新执行了一遍命令就好了。看来还是因为有时连接不稳定?反正接下来就正常了,pyTorch就装好了。

    简单验证

    (终端输入) python (然后输入Python命令) import torch torch.cuda.is_available() (输出是 True 则表示安装成功)

    结果我的输出是 False。晕,一路下来,版本应该都没问题,为什么没安装成功?——检查后发现还是版本问题。

    输入: conda list pytorch 显示: pytorch 1.3.1 cpu_py36h62f834f_0 https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main 输入: conda list torchvision 显示: torchvision 0.4.2 cpu_py36h9ec355b_0 https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main (# Name Version Build Channel)

    注意到上面是用清华源的安装的(当时也是没想太多,心想建议用清华源就用呗)。但现在看来,可能是清华源的更新没这么快。上面安装的pyTorch并不是1.5版本而是1.3版本,且pyTorch和torchvision的build信息中带有cpu字样。显然这装的有问题啊。于是我安装pyTorch官网说明,不用清华源了,直接输入如下

    conda install pytorch torchvision cudatoolkit=10.2 -c pytorch

    输入后显示出了如下信息

    ## Package Plan ## environment location: /home/xxx/anaconda3/envs/pytorch added / updated specs: - cudatoolkit=10.2 - pytorch - torchvision The following packages will be downloaded: package | build ---------------------------|----------------- pytorch-1.5.1 |py3.6_cuda10.2.89_cudnn7.6.5_0 424.4 MB pytorch torchvision-0.6.1 | py36_cu102 11.8 MB pytorch ------------------------------------------------------------ Total: 436.2 MB The following packages will be UPDATED: pytorch anaconda/pkgs/main::pytorch-1.3.1-cpu~ --> pytorch::pytorch-1.5.1-py3.6_cuda10.2.89_cudnn7.6.5_0 torchvision anaconda/pkgs/main::torchvision-0.4.2~ --> pytorch::torchvision-0.6.1-py36_cu102

    如上,可以看出来的pyTorch的版本确实和预想不一样。很快我就安装好了。然后再运行上面的验证部分就没问题了

    (终端输入) python (Python命令) import torch torch.cuda.is_available()

    这次我的输出是True了。OK。所以,是否选择清华源,选择哪个版本的pyTorch进行安装,就需要根据各自情况考虑了。

    安装 pycharm

    下载社区版本(Community),https://www.jetbrains.com/pycharm/download/#section=linux

    安装并建立桌面快捷方式(固定到快速启动栏),参考,Ubuntu16.04安装Pycharm教程及快捷方式添加

    建立工程,配置,开始使用吧!

    Processed: 0.016, SQL: 9