HuggingFace加速

由于国内完全无法访问HuggingFace，因此需要使用国内镜像。

我们推荐使用HF-Mirror镜像。官方提供了多种复杂的使用方式，可以访问官方查看。

最简单的方式是修改环境变量。

# 修改环境变量
echo "export HF_ENDPOINT=https://hf-mirror.com" >> ~/.bashrc 
source ~/.bashrc 
# 举例下载模型
huggingface-cli download --resume-download gpt2 --local-dir gpt2
# 举例下载数据集，可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得
huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

可以参考清理Huggingface转移已下载模型转移教程