Huggingface 使用问题与加速
模型与数据集下载加速
由于众所周知的原因，HuggingFace在国内是完全无法直接访问的。如果使用huggingface-cli下载，可以使用国内的hf-mirror镜像站。
bash
echo $HF_ENDPOINT # 查看当前配置，如果没有输出即没有配置
export HF_ENDPOINT=https://hf-mirror.com # 一次性改法，最后的文件夹可以自行修改
# 修改bashrc文件，使得长期有效
echo "export HF_ENDPOINT=https://hf-mirror.com" >> ~/.bashrc
source ~/.bashrc
# 举例下载模型
huggingface-cli download --resume-download gpt2 --local-dir gpt2
# 举例下载数据集，可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext更多的使用方法，可以查看官方文档
修改模型下载位置
请参考此文档