Skip to content

移动系统盘内容数据盘

当遇到系统盘不足的时候,我们可以将部分较大的文件,转移到数据盘,方便扩容。

根据linux的知识,我们有一些常见的方式来减轻系统盘的负担。如果例子当中,没有正在用的框架,要活用DeepSeek等大模型来帮助。

修改安装位置

python虚拟环境 或者 很多框架模型文件,都可以放在数据盘。尤其是巨大的模型文件或者数据集。

1. 虚拟环境 - conda

  • 安装conda 可以参考MiniConda的安装教程,按此教程做,将会设定安装位置在数据盘。
  • 修改已经安装的conda位置 现寻找conda的安装位置,执行
    bash
    which conda
    >>> /root/gpufree-data/miniconda3
    然后直接进入到这个文件夹。编辑此文件夹下的.condarc文件。在此文件中修改或者加入此段:
    yaml
    envs_dirs:
      - /root/gpufree-data/miniconda3/envs
    路径可以换成其他的数据盘的路径,即以/root/gpufree-data开头的路径。

2. 虚拟环境 venv

  • 当使用 python -m venv my_env,会直接创建到当前文件夹下。在数据盘下执行即可保证安装在数据盘中。
  • 也可以使用完整路径来指定安装位置,例如:
bash
python -m venv /root/gpufree-data/my_env
  • 如果想要移动到数据盘,只能通过重新安装一个新的相同的虚拟环境并删除掉旧环境。
bash
# 假设当前已经激活了虚拟环境,要记下这个环境路径
which python
# /your/env是虚拟环境路径,bin/python是其中的python位置
>>> /your/env/bin/python
# 获取当前所有的安装库包列表
pip free > /root/gpufree-data/my_env.txt
# 退出当前虚拟环境
deactivate
# 创建新环境,最后的路径要换成想要的路径。可以用相对路径。
python -m venv /root/gpufree-data/new_env
# 激活新环境
source /root/gpufree-data/new_env/Script/activate
# 创新安装,使用上文的列表文件
pip install -r /root/gpufree-data/my_env.txt
# 删除旧环境,
rm -rf /your/env

利用DeepSeek

我们可以修改其他的各种框架的配置文件。可以利用大模型的搜索能力来配置文件的修改。例如修改模型的安装位置,输入输出文件的安装位置。

利用Linux的ln命令

ln命令可以理解为windows操作系统中的快捷方式,做一个连接到源文件或者文件夹的link。

移动ComfyUI的模型到数据盘

以ComfyUI为例,平台自带的ComfyUI的路径,在/opt/ComfyUI/models下,可以将此文件移动到数据盘。

bash
# 具体路径可以替换为数据盘下其他的路径
mv /opt/ComfyUI/models /root/gpufree-data
# 创建连接link
# 注意使用绝对路径保证正确
ln -s /root/gpufree-data/models /opt/ComfyUI/

此时就有一个在原目录下的链接。使用表现和操作前一致。

关于依赖

这个方法对于模型文件,权重文件,AI的输入输出等数据文件是可用的。但是对于需要有其他依赖的代码文件,例如apt安装的程序,可能会出现依赖找不到的问题。所以如果导致错误,需要反向操作。

配置模型下载目录

很多的模型框架,拥有下载模型的功能,修改他们的下载、加载模型位置,调整到数据盘,也可以节约系统盘。

INFO

部分官方镜像自带多个模型,为了不占用用户空间,此部分模型只能放在系统盘中,且不计入磁盘占用。相应的系统配置也要指向系统盘。用户需要自行修改模型下载位置的配置。

Huggingface

Huggingface的下载地址,由环境变量HF_HOME控制,修改这个环境变量即可。

bash
echo $HF_HOME # 查看当前配置,如果没有输出即没有配置
export HF_HOME=/root/gpufree-data/hf_models/ # 一次性改法,最后的文件夹可以自行修改
# 修改bashrc文件,使得长期有效
echo "export HF_HOME=/root/gpufree-data/hf_models/" >> ~/.bashrc 
source ~/.bashrc