安装

在开始之前，你需要设置环境，安装适当的包，并配置 Accelerate。Accelerate 在 Python 3.8+ 上进行了测试。

Accelerate 可以在 pypi 和 conda 上获取，也可以在 GitHub 上获取。以下是从每个来源安装的详细信息：

pip

要从 pypi 安装 Accelerate，请执行：

pip install accelerate

conda

Accelerate 也可以使用 conda 安装，命令如下：

conda install -c conda-forge accelerate

Source

每天都会添加尚未发布的新功能。要亲自尝试这些功能，请从 GitHub 仓库安装：

pip install git+https://github.com/huggingface/accelerate

如果你正在为库做贡献，或者希望在运行代码时看到实时结果，可以从本地克隆的仓库安装一个可编辑的版本：

git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .

配置

安装完成后，你需要根据当前系统的设置来配置 Accelerate 以进行训练。 为此，请运行以下命令并回答提示的问题：

accelerate config

要编写一个不包含 DeepSpeed 配置或在 TPUs 上运行等选项的基本配置，你可以快速运行：

python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"

Accelerate 将自动利用可用的最大数量的 GPU 并设置混合精度模式。

要检查你的配置是否正确，请运行：

accelerate env

下面是一个示例输出，描述了单台机器上的两个 GPU，且未使用混合精度：

- `Accelerate` version: 0.11.0.dev0
- Platform: Linux-5.10.0-15-cloud-amd64-x86_64-with-debian-11.3
- Python version: 3.7.12
- Numpy version: 1.19.5
- PyTorch version (GPU?): 1.12.0+cu102 (True)
- `Accelerate` default config:
        - compute_environment: LOCAL_MACHINE
        - distributed_type: MULTI_GPU
        - mixed_precision: no
        - use_cpu: False
        - num_processes: 2
        - machine_rank: 0
        - num_machines: 1
        - main_process_ip: None
        - main_process_port: None
        - main_training_function: main
        - deepspeed_config: {}
        - fsdp_config: {}