在移动硬盘上搭建Ubuntu24.04深度学习环境(Anaconda + CUDA + Pytorch)

avatar
作者
筋斗云
阅读量:0

目录


前言

最近打算在Linux上进行深度学习,但手头没有现成的Linux环境,同时希望在个人的台式电脑和无独显的笔记本上都能使用,需要新安装的系统具有一定的便捷性,恰好手头有闲置的移动硬盘,故尝试并实现了在移动硬盘上搭建深度学习环境,在此记录下Ubuntu24.04系统从镜像烧录到Pytorch-gpu安装的全过程

准备工作:

  1. 8GB以上U盘*1(用于烧录系统镜像)
  2. 大容量移动硬盘*1(也可使用速度较快的固态U盘,本文以容量1T的移动硬盘为例,存取速度1000M/s)

一、Ubuntu安装

(1)安装U盘制作

本文使用的Ubuntu 24.04 LTS amd64下载链接:Ubuntu 24.04 LTS amd64
也可以在官网下载其他版本的系统镜像:Download Ubuntu Desktop

插入U盘,这里使用rufus进行安装U盘的制作,选项配置如下(注意:U盘需要被格式化

在这里插入图片描述

确认无误后点击“开始”,即可完成安装U盘的制作

(2)固态硬盘格式化

这里使用DiskGenius进行硬盘操作,其他软件或Windows系统自带的“磁盘管理”也可以

选择“删除所有分区”

在这里插入图片描述

操作结果如下所示:

在这里插入图片描述

(3)正式安装Ubuntu

插入制作好的安装U盘并重新启动,进入Ubuntu安装界面,需要注意的点有以下:

  1. 欢迎界面 > 选择语言“中文(简体)”

    在这里插入图片描述

  2. 安装类型 > 选择手动分区

    在这里插入图片描述

  3. 具体空间分配可以参考:

    在这里插入图片描述

注:

  • sda1,即efi的挂载点是选择了”用于安装的引导程序“后自动生成的,分完空间后我多留了一些空间,以便后续格式化为NTFS格式,继续当成普通移动硬盘用

以上操作完成后,再次重启电脑,选择新安装的系统盘引导启动,进入安装完成的Ubuntu系统

二、Ubuntu更换下载源

安装gedit编辑工具:sudo apt-get install gedit

由于是新系统,所以首先要设置root账户:sudo passwd root

进入root账户的指令:su root

使用gedit文本编辑器打开sources文件:sudo gedit /etc/apt/sources.list.d/ubuntu.sources

将内容替换为:

Types: deb deb-src URIs: https://mirrors.aliyun.com/ubuntu/ Suites: noble noble-updates noble-backports noble-security noble-proposed Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg  Types: deb deb-src URIs: https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ Suites: noble noble-updates noble-backports noble-security noble-proposed Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg  Types: deb deb-src URIs: http://mirrors.163.com/ubuntu/ Suites: noble noble-updates noble-backports noble-security noble-proposed Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg  Types: deb deb-src URIs: https://mirrors.ustc.edu.cn/ubuntu/ Suites: noble noble-updates noble-backports noble-security noble-proposed Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg  Types: deb URIs: http://cn.archive.ubuntu.com/ubuntu/ Suites: noble noble-updates noble-backports Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg  Types: deb URIs: http://security.ubuntu.com/ubuntu/ Suites: noble-security Components: main restricted universe multiverse Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg 

更新下载源:sudo apt-get update

三. Anaconda安装+换源

(1) Anconda安装

首先在镜像站下载Anaconda:清华大学开源软件镜像站
我下载的版本是:Anaconda3-2024.02-1-Linux-x86_64.sh,可以直接点这个链接下载:Anaconda3-2024.02-1-Linux-x86_64.sh

进入安装包所在目录,使用bash指令安装:bash Anaconda3-2024.02-1-Linux-x86_64.sh

enter > yes > enter > yes 完成安装,若想验证是否安装成功,可重启终端输入:conda info

(2)换源

由于我们还没使用过conda config指令,所以先执行一下以生成.condarc文件:conda config

打开文件:sudo gedit ~/.condarc

替换为以下内容并保存:

channels:   - defaults show_channel_urls: true default_channels:   - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main   - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r   - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2 custom_channels:   conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud   msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud   bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud   menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud   pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud   pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud   simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud 

验证是否更改成功:conda config --show-sources

在这里插入图片描述
出现以上结果即为安装成功

四、显卡驱动安装

(1)安装准备

在官网下载安装程序:官方驱动 | NVIDIA

我的设备是4060Ti,下载的驱动是:NVIDIA-Linux-x86_64-550.78.run

由于系统安装时语言选择了中文,一般默认下载到“下载”文件夹,这里先把文件移动到/home目录下,避免中文路径产生问题

在这里插入图片描述

安装所需依赖:
sudo apt-get update
sudo apt-get install g++ gcc make

安装NVIDIA驱动要禁用系统自带显卡驱动nouveau,首先打开文件:sudo gedit /etc/modprobe.d/blacklist.conf

在末尾添加并保存:

blacklist nouveau options nouveau modeset=0 

改完要更新系统镜像文件,在终端中输入:sudo update-initramfs -u

完成后重启Ubuntu,开机后在终端中输入:lsmod | grep nouveau

如果没有输出就说明禁用了nouveau

(2)正式安装

接下来要进入tty正式安装显卡驱动,用其他设备继续阅读以下内容,虽然Ctrl+Alt+F2可以切回图形桌面(不行的话试试Ctrl+Alt+F1到F6),但是剪贴板用不了

进入tty3,组合键:Ctrl+Alt+F3

禁用X-window:sudo service gdm3 stop

进入驱动安装程序的存放目录(pwd可查看当前路径,ls列出目录下文件)

给安装文件权限:sudo chmod 777 NVIDIA-Linux-x86_64-525.53.run

安装显卡驱动:sudo ./NVIDIA-Linux-x86_64-525.53.run –no-opengl-files -no-x-check

出现这个选择 “Yes”:Would you like to run the nvidia-xconfig utility to automatically update your X configuration file so that the NVIDIA X driver dill be used dhen you restart X? Any pre-existing X configuration file will be backed up.

安装完毕后启动X-window:sudo service gdm3 start

回到图形桌面,按组合键:Ctrl+Alt+F2

验证安装是否成功,在终端输入:nvidia-smi

在这里插入图片描述

出现以上结果即为安装成功

五、CUDA + cuDNN 安装和配置

(1)CUDA安装

理论上,可以直接从官网下载并安装Ubuntu24.04对应的cuda版本,但截止发稿时官网相应版本的CUDA还没放出,故下文采用先前版本安装,相比直接安装对应版本多一个安装libtinfo5的步骤

官网下载:CUDA Toolkit Archive | NVIDIA Developer

若直接安装了适配24.04的版本,安装完成后跳至配置部分,否则继续本节操作:

下载libtinfo5:wget http://archive.ubuntu.com/ubuntu/pool/universe/n/ncurses/libtinfo5_6.4-2_amd64.deb

防止权限不足,先进到root账户提高权限:su root

安装libtinfo5:dpkg -i libtinfo5_6.4-2_amd64.deb

下面正式开始安装cuda11.8,这里选择用run文件安装,依次执行以下命令:

wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run

sudo sh cuda_11.8.0_520.61.05_linux.run

安装过程中注意取消勾选Driver选项,以避免重复安装显卡驱动导致安装失败,取消勾选后的界面如下图所示:

在这里插入图片描述

如果下错了,可以用官方给的指令删除cuda:

sudo apt-get --purge remove "*cublas*" "*cufft*" "*curand*" "*cusolver*" "*cusparse*" "*npp*" "*nvjpeg*" "cuda*" "nsight*"

再进入 /usr/local,删除剩余的cuda文件(xx改为你的版本号):sudo rm -rf cuda-xx.x

(2)CUDA配置

打开环境变量配置文件:gedit ~/.bashrc

添加以下内容:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64 export PATH=$PATH:/usr/local/cuda/bin export CUDA_HOME=$CUDA_HOME:/usr/local/cuda 

激活环境变量:source ~/.bashrc

检查是否完成安装:nvcc -V

在这里插入图片描述

出现以上结果即为安装成功

cuda也可以通过anaconda或直接安装多个版本,在.bashrc的配置可以参考:http://t.csdnimg.cn/fQXX8

如果想为不同conda虚拟环境安装不同的cuda版本,以11.8版本为例,进入环境后执行以下命令也可快速完成安装:

conda install cudatoolkit==11.8 -c nvidia

conda install -c "nvidia/label/cuda-11.8.0" cuda-nvcc

(3)安装cuDNN

前往官网下载与cuda对应版本的cuDNN,我装的是cuda11.8,所以选择的版本是:cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz
下载地址:cudnn-archive
Alt

下载完成后,进入下载目录,进行以下操作:(xxx.tar.xz改为你的包名):

提取cuDNN文件:tar -xf xxx.tar.xz

依次执行以下指令,将提取后的文件复制到cuda目录下,cuda版本不一样的注意修改路径:

sudo cp xxx/include/* /usr/local/cuda-11.8/include

sudo cp xxx/lib/libcudnn* /usr/local/cuda-11.8/lib64

提升权限:

sudo chmod 777 /usr/local/cuda-11.8/include/cudnn.h
sudo chmod 777 /usr/local/cuda-11.8/lib64/libcudnn*

测试:cat /usr/local/cuda-11.8/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

Alt

出现以上结果即为安装成功

六.、Pytorch安装

推荐先用anaconda创建并进入一个虚拟环境,再安装Pytorch:

pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118

检查安装:

先进入python,在终端输入:python

import torch print(torch.cuda.is_available()) print(torch.__version__) 

其他:

  1. pycharm下载:Download PyCharm: The Python IDE for data science and web development by JetBrains
  2. pip换源:pip config set global.index-url https://mirrors.aliyun.com/pypi/simple

参考:

  1. Ubuntu 24.04 配置镜像源-CSDN博客
  2. pip切换下载源(多种国内源)_pip国内换源-CSDN博客
  3. ubuntu安装及深度学习框架(CUDA、cuDNN、Anaconda、pytorch、pycharm)
  4. Ubuntu20.04安装到U盘里(以及ros环境的搭建)_ubuntu20.04 安装到u盘-CSDN博客
  5. ubuntu完全卸载CUDA_卸载cuda linux-CSDN博客
  6. 【超详细】【ubunbu 22.04】 手把手教你安装nvidia驱动,有手就行,隔壁家的老太太都能安装
  7. Ubuntu 24.04 Preview 版安装 libtinfo5

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!