lightning hydra template

python train.py trainer.max_epochs=20 model.optimizer.lr=1e-4

注意：您还可以添加带有+标志的新参数。

python train.py +model.new_param= \" owo \"

 # train on CPU
python train.py trainer=cpu

# train on 1 GPU
python train.py trainer=gpu

# train on TPU
python train.py +trainer.tpu_cores=8

# train with DDP (Distributed Data Parallel) (4 GPUs)
python train.py trainer=ddp trainer.devices=4

# train with DDP (Distributed Data Parallel) (8 GPUs, 2 nodes)
python train.py trainer=ddp trainer.devices=4 trainer.num_nodes=2

# simulate DDP on CPU processes
python train.py trainer=ddp_sim trainer.devices=2

# accelerate training on mac
python train.py trainer=mps

警告：目前DDP模式存在问题，请阅读此问题以了解更多信息。

 # train with pytorch native automatic mixed precision (AMP)
python train.py trainer=gpu +trainer.precision=16

 # set project and entity names in `configs/logger/wandb`
wandb :
  project : \" your_project_name \"
  entity : \" your_wandb_team_name \" 

 # train model with Weights&Biases (link to wandb dashboard should appear in the terminal)
python train.py logger=wandb

注意：Lightning提供了最流行的记录框架的方便集成。在这里了解更多。

注意：使用wandb要求您首先设置帐户。之后，只需完成如下的配置即可。

注意：单击此处查看使用此模板生成的示例Wandb仪表板。

python train.py experiment=example

注意：实验配置放置在配置/实验/中。

python train.py callbacks=default

注意：可以将回调用于诸如模型检查点，早期停止等的事物。

注意：回调配置放置在配置/回调/中。

 # gradient clipping may be enabled to avoid exploding gradients
python train.py +trainer.gradient_clip_val=0.5

# run validation loop 4 times during a training epoch
python train.py +trainer.val_check_interval=0.25

# accumulate gradients
python train.py +trainer.accumulate_grad_batches=10

# terminate training after 12 hours
python train.py +trainer.max_time=\"00:12:00:00\"

注意：Pytorch Lightning提供约40多个有用的教练标志。

 # runs 1 epoch in default debugging mode
# changes logging directory to `logs/debugs/...`
# sets level of all command line loggers to \'DEBUG\'
# enforces debug-friendly configuration
python train.py debug=default

# run 1 train, val and test loop, using only 1 batch
python train.py debug=fdr

# print execution time profiling
python train.py debug=profiler

# try overfitting to 1 batch
python train.py debug=overfit

# raise exception if there are any numerical anomalies in tensors, like NaN or +/-inf
python train.py +trainer.detect_anomaly=true

# use only 20% of the data
python train.py +trainer.limit_train_batches=0.2 \\
+trainer.limit_val_batches=0.2 +trainer.limit_test_batches=0.2

注意：有关不同的调试配置，请访问configs/ debug/。

 python train.py ckpt_path=\"/path/to/ckpt/name.ckpt\"

注意：检查点可以是路径或URL。

注意：当前加载CKPT并未恢复Logger实验，但将在将来的闪电发布中支持。

 python eval.py ckpt_path=\"/path/to/ckpt/name.ckpt\"

注意：检查点可以是路径或URL。

 # this will run 6 experiments one after the other,
# each with different combination of batch_size and learning rate
python train.py -m data.batch_size=32,64,128 model.lr=0.001,0.0005

注意：Hydra在启动时懒洋洋地撰写配置。如果您在启动作业/扫描后更改代码或配置，则最终组合的配置可能会受到影响。

 # this will run hyperparameter search defined in `configs/hparams_search/mnist_optuna.yaml`
# over chosen experiment config
python train.py -m hparams_search=mnist_optuna experiment=example

注意：使用Optuna扫地机不需要您将任何样板添加到代码中，而是在单个配置文件中定义的所有内容。

警告：Optuna扫除不是抗故障的（如果一个工作崩溃，那么整个扫荡崩溃）。

python train.py -m \' experiment=glob(*) \'

注意：Hydra提供了用于控制多次行为的特殊语法。在这里了解更多。上面的命令执行来自configs/实验/的所有实验。

python train.py -m seed=1,2,3,4,5 trainer.deterministic=True logger=csv tags=[ \" benchmark \" ]

注意： trainer.deterministic=True使Pytorch更加确定性，但会影响性能。

注意：使用Ray AWS启动器用于Hydra，应该可以通过简单的配置来实现这一点。示例未在此模板中实现。

注意：Hydra允许您通过按tab键在编写壳牌时自动完成配置参数覆盖。阅读文档。

pre-commit run -a

注意：应用预加压挂钩来执行诸如自动形成代码和配置，执行代码分析或从Jupyter笔记本电脑中删除输出的事情。有关更多信息，请参见＃最佳实践。

在.pre-commit-config.yaml中更新前签名版本：

pre-commit autoupdate

 # run all tests
pytest

# run tests from specific file
pytest tests/test_train.py

# run all tests except the ones marked as slow
pytest -k \" not slow \"

每个实验都应被标记，以便在文件或Logger UI中轻松过滤它们：

python train.py tags=[ \" mnist \" , \" experiment_X \" ]

注意：您可能需要使用python train.py tags=\\[\"mnist\",\"experiment_X\"\\]逃脱外壳中的括号字符。

如果没有提供标签，将要求您从命令行输入它们：

>>> python train.py tags=[]
[2022-07-11 15:40:09,358][src.utils.utils][INFO] - Enforcing tags ! < cfg.extras.enforce_tags=True >
[2022-07-11 15:40:09,359][src.utils.rich_utils][WARNING] - No tags provided in config. Prompting user to input tags...
Enter a list of comma separated tags (dev):

如果没有为多室提供标签，将会引起错误：

>>> python train.py -m +x=1,2,3 tags=[]
ValueError: Specify tags before launching a multirun !

注意：Hydra目前不支持命令行的附加列表:(

 # order of defaults determines the order in which configs override each other
defaults :
  - _self_
  - data : mnist.yaml
  - model : mnist.yaml
  - callbacks : default.yaml
  - logger : null # set logger here or use command line (e.g. `python train.py logger=csv`)
  - trainer : default.yaml
  - paths : default.yaml
  - extras : default.yaml
  - hydra : default.yaml

  # experiment configs allow for version control of specific hyperparameters
  # e.g. best hyperparameters for given model and datamodule
  - experiment : null

  # config for hyperparameter optimization
  - hparams_search : null

  # optional local config for machine/user specific settings
  # it\'s optional since it doesn\'t need to exist and is excluded from version control
  - optional local : default.yaml

  # debugging config (enable through command line, e.g. `python train.py debug=default)
  - debug : null

# task name, determines output directory path
task_name : \" train \"

# tags to help you identify your experiments
# you can overwrite this in experiment configs
# overwrite from command line with `python train.py tags=\"[first_tag, second_tag]\"`
# appending lists from command line is currently not supported :(
# https://githu*b.*c*om/facebookresearch/hydra/issues/1547
tags : [\"dev\"]

# set False to skip model training
train : True

# evaluate on test set, using best model weights achieved during training
# lightning chooses best weights based on the metric specified in checkpoint callback
test : True

# simply provide checkpoint path to resume training
ckpt_path : null

# seed for random number generators in pytorch, numpy and python.random
seed : null 

 # @package _global_

# to execute this experiment run:
# python train.py experiment=example

defaults :
  - override /data : mnist.yaml
  - override /model : mnist.yaml
  - override /callbacks : default.yaml
  - override /trainer : default.yaml

# all parameters below will be merged with parameters from default configurations set above
# this allows you to overwrite only specified parameters

tags : [\"mnist\", \"simple_dense_net\"]

seed : 12345

trainer :
  min_epochs : 10
  max_epochs : 10
  gradient_clip_val : 0.5

model :
  optimizer :
    lr : 0.002
  net :
    lin1_size : 128
    lin2_size : 256
    lin3_size : 64

data :
  batch_size : 64

logger :
  wandb :
    tags : ${tags}
    group : \" mnist \" 

 # @package _global_

defaults :
  - override /hydra/sweeper : optuna

# choose metric which will be optimized by Optuna
# make sure this is the correct name of some metric logged in lightning module!
optimized_metric : \" val/acc_best \"

# here we define Optuna hyperparameter search
# it optimizes for value returned from function with @hydra.main decorator
hydra :
  sweeper :
    _target_ : hydra_plugins.hydra_optuna_sweeper.optuna_sweeper.OptunaSweeper

    # \'minimize\' or \'maximize\' the objective
    direction : maximize

    # total number of runs that will be executed
    n_trials : 20

    # choose Optuna hyperparameter sampler
    # docs: https://optuna.*rea*d*thedocs.io/en/stable/reference/samplers.html
    sampler :
      _target_ : optuna.samplers.TPESampler
      seed : 1234
      n_startup_trials : 10 # number of random sampling runs before optimization starts

    # define hyperparameter search space
    params :
      model.optimizer.lr : interval(0.0001, 0.1)
      data.batch_size : choice(32, 64, 128, 256)
      model.net.lin1_size : choice(64, 128, 256)
      model.net.lin2_size : choice(64, 128, 256)
      model.net.lin3_size : choice(32, 64, 128, 256)

通常不需要安装完整的Anaconda环境，Minconda应该足够（约80MB）。

CONDA的最大优势是，它允许安装软件包，而无需系统中的某些编译器或库（因为它安装了预编译的二进制文件），因此通常会使安装某些依赖关系更容易，例如cudatoolkit来获得GPU支持。

它还使您可以在全球范围内访问环境，这可能比为每个项目创建新的本地环境更方便。

示例安装：

wget https://repo.ana**con*da.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

更新conda：

conda update -n base -c defaults conda

创建新的Conda环境：

conda create -n myenv python=3.10
conda activate myenv

使用预先承诺的钩子标准化项目的代码格式并节省精神能量。
只需使用：

pip install pre-commit

接下来，从.pre-commit-config.yaml安装钩子：

pre-commit install

之后，您的代码将在每个新提交中自动重新格式化。

重新格式化项目使用命令中的所有文件：

pre-commit run -a

在.pre-commit-config.yaml中更新挂钩版本：

pre-commit autoupdate

系统特定变量（例如，数据集的绝对路径）不应在版本控制下，否则将导致不同用户之间的冲突。您的私钥也不应该版本，因为您不希望它们被泄漏。

模板包含.env.example文件，作为示例。创建一个名为.env的新文件（此名称不包括在.gitignore中的版本控件中）。您应该将其用于存储这样的环境变量：

 MY_VAR=/home/user/my_system_path

来自.env的所有变量都会自动加载在train.py中。

hydra允许您在类似的.yaml配置中引用任何ENV变量：

 path_to_data : ${oc.env:MY_VAR}

根据您使用的记录器的不同，通常可以使用/字符定义公制名称：

 self . log ( \"train/loss\" , loss )

这样，伐木者将把您的指标视为属于不同部分的指标，这有助于使它们在UI中组织起来。

使用官方的Torchmetrics库来确保对指标的正确计算。这对于多GPU培训尤其重要！

例如，您应该使用这样的提供的Accuracy类，而不是自己计算准确性：

 from torchmetrics . classification . accuracy import Accuracy

class LitModel ( LightningModule ):

    def __init__ ( self )

        self . train_acc = Accuracy ()

        self . val_acc = Accuracy ()
    def training_step ( self , batch , batch_idx ):

        ...

        acc = self . train_acc ( predictions , <span