目录
前言
最近打算在Linux上进行深度学习,但手头没有现成的Linux环境,同时希望在个人的台式电脑和无独显的笔记本上都能使用,需要新安装的系统具有一定的便捷性,恰好手头有闲置的移动硬盘,故尝试并实现了在移动硬盘上搭建深度学习环境,在此记录下Ubuntu24.04系统从镜像烧录到Pytorch-gpu安装的全过程
准备工作:
- 8GB以上U盘*1(用于烧录系统镜像)
- 大容量移动硬盘*1(也可使用速度较快的固态U盘,本文以容量1T的移动硬盘为例,存取速度1000M/s)
一、Ubuntu安装
(1)安装U盘制作
本文使用的Ubuntu 24.04 LTS amd64下载链接:Ubuntu 24.04 LTS amd64
也可以在官网下载其他版本的系统镜像:Download Ubuntu Desktop
插入U盘,这里使用rufus进行安装U盘的制作,选项配置如下(注意:U盘需要被格式化)
确认无误后点击“开始”,即可完成安装U盘的制作
(2)固态硬盘格式化
这里使用DiskGenius进行硬盘操作,其他软件或Windows系统自带的“磁盘管理”也可以
选择“删除所有分区”
操作结果如下所示:
(3)正式安装Ubuntu
插入制作好的安装U盘并重新启动,进入Ubuntu安装界面,需要注意的点有以下:
欢迎界面 > 选择语言“中文(简体)”
安装类型 > 选择手动分区
具体空间分配可以参考:
注:
- sda1,即efi的挂载点是选择了”用于安装的引导程序“后自动生成的,分完空间后我多留了一些空间,以便后续格式化为NTFS格式,继续当成普通移动硬盘用
以上操作完成后,再次重启电脑,选择新安装的系统盘引导启动,进入安装完成的Ubuntu系统
二、Ubuntu更换下载源
安装gedit编辑工具:sudo apt-get install gedit
由于是新系统,所以首先要设置root账户:sudo passwd root
进入root账户的指令:
su root
使用gedit文本编辑器打开sources文件:sudo gedit /etc/apt/sources.list.d/ubuntu.sources
将内容替换为:
Types: deb deb-src URIs: https://mirrors.aliyun.com/ubuntu/ Suites: noble noble-updates noble-backports noble-security noble-proposed Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg Types: deb deb-src URIs: https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ Suites: noble noble-updates noble-backports noble-security noble-proposed Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg Types: deb deb-src URIs: http://mirrors.163.com/ubuntu/ Suites: noble noble-updates noble-backports noble-security noble-proposed Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg Types: deb deb-src URIs: https://mirrors.ustc.edu.cn/ubuntu/ Suites: noble noble-updates noble-backports noble-security noble-proposed Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg Types: deb URIs: http://cn.archive.ubuntu.com/ubuntu/ Suites: noble noble-updates noble-backports Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg Types: deb URIs: http://security.ubuntu.com/ubuntu/ Suites: noble-security Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
更新下载源:sudo apt-get update
三. Anaconda安装+换源
(1) Anconda安装
首先在镜像站下载Anaconda:清华大学开源软件镜像站
我下载的版本是:Anaconda3-2024.02-1-Linux-x86_64.sh,可以直接点这个链接下载:Anaconda3-2024.02-1-Linux-x86_64.sh
进入安装包所在目录,使用bash指令安装:bash Anaconda3-2024.02-1-Linux-x86_64.sh
enter > yes > enter > yes 完成安装,若想验证是否安装成功,可重启终端输入:conda info
(2)换源
由于我们还没使用过conda config指令,所以先执行一下以生成.condarc文件:conda config
打开文件:sudo gedit ~/.condarc
替换为以下内容并保存:
channels: - defaults show_channel_urls: true default_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2 custom_channels: conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
验证是否更改成功:conda config --show-sources
出现以上结果即为安装成功
四、显卡驱动安装
(1)安装准备
在官网下载安装程序:官方驱动 | NVIDIA
我的设备是4060Ti,下载的驱动是:NVIDIA-Linux-x86_64-550.78.run
由于系统安装时语言选择了中文,一般默认下载到“下载”文件夹,这里先把文件移动到/home目录下,避免中文路径产生问题
安装所需依赖:sudo apt-get update
sudo apt-get install g++ gcc make
安装NVIDIA驱动要禁用系统自带显卡驱动nouveau,首先打开文件:sudo gedit /etc/modprobe.d/blacklist.conf
在末尾添加并保存:
blacklist nouveau options nouveau modeset=0
改完要更新系统镜像文件,在终端中输入:sudo update-initramfs -u
完成后重启Ubuntu,开机后在终端中输入:lsmod | grep nouveau
如果没有输出就说明禁用了nouveau
(2)正式安装
接下来要进入tty正式安装显卡驱动,用其他设备继续阅读以下内容,虽然Ctrl+Alt+F2可以切回图形桌面(不行的话试试Ctrl+Alt+F1到F6),但是剪贴板用不了
进入tty3,组合键:Ctrl+Alt+F3
禁用X-window:sudo service gdm3 stop
进入驱动安装程序的存放目录(pwd可查看当前路径,ls列出目录下文件)
给安装文件权限:sudo chmod 777 NVIDIA-Linux-x86_64-525.53.run
安装显卡驱动:sudo ./NVIDIA-Linux-x86_64-525.53.run –no-opengl-files -no-x-check
出现这个选择 “Yes”:Would you like to run the nvidia-xconfig utility to automatically update your X configuration file so that the NVIDIA X driver dill be used dhen you restart X? Any pre-existing X configuration file will be backed up.
安装完毕后启动X-window:sudo service gdm3 start
回到图形桌面,按组合键:Ctrl+Alt+F2
验证安装是否成功,在终端输入:nvidia-smi
出现以上结果即为安装成功
五、CUDA + cuDNN 安装和配置
(1)CUDA安装
理论上,可以直接从官网下载并安装Ubuntu24.04对应的cuda版本,但截止发稿时官网相应版本的CUDA还没放出,故下文采用先前版本安装,相比直接安装对应版本多一个安装libtinfo5的步骤
官网下载:CUDA Toolkit Archive | NVIDIA Developer
若直接安装了适配24.04的版本,安装完成后跳至配置部分,否则继续本节操作:
下载libtinfo5:wget http://archive.ubuntu.com/ubuntu/pool/universe/n/ncurses/libtinfo5_6.4-2_amd64.deb
防止权限不足,先进到root账户提高权限:su root
安装libtinfo5:dpkg -i libtinfo5_6.4-2_amd64.deb
下面正式开始安装cuda11.8,这里选择用run文件安装,依次执行以下命令:
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run
安装过程中注意取消勾选Driver选项,以避免重复安装显卡驱动导致安装失败,取消勾选后的界面如下图所示:
如果下错了,可以用官方给的指令删除cuda:
sudo apt-get --purge remove "*cublas*" "*cufft*" "*curand*" "*cusolver*" "*cusparse*" "*npp*" "*nvjpeg*" "cuda*" "nsight*"
再进入 /usr/local,删除剩余的cuda文件(xx改为你的版本号):
sudo rm -rf cuda-xx.x
(2)CUDA配置
打开环境变量配置文件:gedit ~/.bashrc
添加以下内容:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64 export PATH=$PATH:/usr/local/cuda/bin export CUDA_HOME=$CUDA_HOME:/usr/local/cuda
激活环境变量:source ~/.bashrc
检查是否完成安装:nvcc -V
出现以上结果即为安装成功
cuda也可以通过anaconda或直接安装多个版本,在.bashrc的配置可以参考:http://t.csdnimg.cn/fQXX8
如果想为不同conda虚拟环境安装不同的cuda版本,以11.8版本为例,进入环境后执行以下命令也可快速完成安装:
conda install cudatoolkit==11.8 -c nvidia
conda install -c "nvidia/label/cuda-11.8.0" cuda-nvcc
(3)安装cuDNN
前往官网下载与cuda对应版本的cuDNN,我装的是cuda11.8,所以选择的版本是:cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz
下载地址:cudnn-archive
下载完成后,进入下载目录,进行以下操作:(xxx.tar.xz改为你的包名):
提取cuDNN文件:tar -xf xxx.tar.xz
依次执行以下指令,将提取后的文件复制到cuda目录下,cuda版本不一样的注意修改路径:
sudo cp xxx/include/* /usr/local/cuda-11.8/include
sudo cp xxx/lib/libcudnn* /usr/local/cuda-11.8/lib64
提升权限:
sudo chmod 777 /usr/local/cuda-11.8/include/cudnn.h
sudo chmod 777 /usr/local/cuda-11.8/lib64/libcudnn*
测试:cat /usr/local/cuda-11.8/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
出现以上结果即为安装成功
六.、Pytorch安装
推荐先用anaconda创建并进入一个虚拟环境,再安装Pytorch:
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
检查安装:
先进入python,在终端输入:python
import torch print(torch.cuda.is_available()) print(torch.__version__)
其他:
- pycharm下载:Download PyCharm: The Python IDE for data science and web development by JetBrains
- pip换源:
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple