LMFlow

• [2024-03-27]支持LISA，在不卸载的情况下实现24G内存训练！

• [2023-09-11]支持投机解码。查看使用和加速详细信息的投机_decoding。

• [2023-08-14]为Llama模型支持长上下文推断，以插值的位置插值（线性和NTK缩放）。查看Postion_interpolation有关更多详细信息。

• [2023-08-07]支持Flash Guate-2。查看flash_atections，以获取更多详细信息。

• [2023-08-02]支持Llama2，Chatglm2和Baichuan模型。

• [2023-07-23] LMFlow多模式聊天机器人现在可用！支持图像和文本的多模式输入。还提供了在线演示（我们在单个GPU上持有该服务，因此有时可能会在多个用户同时访问时会遇到“排队”或“应用程序忙”，请等待，稍后再尝试此类事件发生时）

• [2023-06-22] LMFlow纸已经熄灭了！在https://arx*iv.o**rg/abs/2306.12420上查看我们的实施详细信息

• [2023-06-16]我们的Finetuntuned Robin-33B-V2在我们的离线评估中在Huggingface LLM排行榜上得分令人印象深刻，表现优于主要的开源LLM！所有检查点（7b，13b，33b和65b）都发布了！在这里查看表演。

• [2023-06-07] LMFlow现在在PYPI上正式提供！使用PIP安装LMFlow -FINETUNE安装它！

• [2023-05-30]发布Robin-13b-V2和Robin-33b-V2！

• [2023-05-15]释放LMFlow -DATA，Robin-7b-V2的培训数据集。还发布了新的测试数据。

• [2023-05-09]发布Robin-7b-V2，在Chitchat，Commensense推理和跟随指导的任务上实现竞争性能。请参阅我们的全面研究。

• [2023-05-08] Release LMFlow Benchmark，这是一个开源聊天风格LLM的自动评估框架。报告了31种流行模型的基准结果。参与LMFlow基准测试。

• [2023-04-21]版本Robin-7b（基于Llama-7b），以及两种商业用途的型号：Parakeets-2.7b（基于GPT-Neo-2.7b）和Cokatoo-7B（基于StableLM-7B）

• [2023-04-15]推断：支持流输出和ChatGlm。

• [2023-04-10]我们提出了一种新的对齐算法：奖励排名较高（RAFT），它比常规（基于PPO的）RLHF更有效。 [纸]

• [2023-04-02] Web服务在线！

• [2023-04-01]在模型动物园中释放三个指令调节检查点和三个医疗检查点：Llama-7b-tuned，Llama-13b-tuned，Llama-33b-tuned，Llama-7b-7b-Mendical，Llama-13b-Mentical，Llama-13b-Mensical和Llama-33b-Medical。

• [2023-03-27]为所有解码器模型支持完整的调整和LORA调整。

• [2023-03-27]任务是调谐模型在医疗领域击败chatgpt。

• [2023-03-27]发布代码和检查点 – 版本0.0.1！我们任务的模型在医疗领域击败了Chatgpt。

LMFlow
conda create -n LMFlow python=3.9 -y
conda activate LMFlow
conda install mpi4py
pip install -e .\”>

git clone -b v0.0.10 https://g*ith*ub.c*om/OptimalScale/LMFlow.git
cd LMFlow
conda create -n LMFlow python=3.9 -y
conda activate LMFlow
conda install mpi4py
pip install -e .

LMFlow
conda create -n LMFlow python=3.9 -y
conda activate LMFlow
conda install mpi4py
pip install -e .\”>

git clone -b v0.0.5 https://g*ith*ub.c*om/OptimalScale/LMFlow.git
cd LMFlow
conda create -n LMFlow python=3.9 -y
conda activate LMFlow
conda install mpi4py
pip install -e . 

一个人可以通过任何一个禁用魔杖：

1. 在运行训练命令之前，添加环境变量。

 export WANDB_MODE=disabled

2. 或者，指定集成以报告结果和日志。在培训脚本中，补充：

--report_to none \\

 cd data && ./download.sh alpaca && cd -

bash ./scripts/run_finetune.sh \\
 --model_name_or_path meta-llama/Meta-Llama-3-8B \\
 --dataset_path data/alpaca/train_conversation \\
 --conversation_template llama3 \\
 --output_model_path output_models/finetuned_llama3_8b

 cd data && ./download.sh alpaca && cd -

bash ./scripts/run_finetune_with_lisa.sh \\
 --model_name_or_path meta-llama/Llama-2-7b-hf \\
 --dataset_path data/alpaca/train_conversation \\
 --conversation_template llama2 \\
 --output_model_path output_models/finetuned_llama2_7b_lisa \\
 --lisa_activated_layers 1 \\
 --lisa_interval_steps 20

 cd data && ./download.sh alpaca && cd -

bash ./scripts/run_finetune_with_lora.sh \\
 --model_name_or_path meta-llama/Llama-2-7b-hf \\
 --dataset_path data/alpaca/train_conversation \\
 --conversation_template llama2 \\
 --output_model_path output_models/finetuned_llama2_7b_lora \\

使用以下方式将洛拉重量和基本模型合并为一个：

bash ./scripts/run_merge_lora.sh \\
 --model_name_or_path Qwen/Qwen1.5-1.8B \\
 --lora_model_path output_models/lora \\
 --output_model_path output_models/lora_merged \\

bash ./scripts/run_vllm_inference.sh \\
  --model_name_or_path Qwen/Qwen2-0.5B \\
  --dataset_path data/alpaca/test_conversation \\
  --output_dir data/inference_results \\

• 丽莎：层次的重要性抽样对记忆有效的大语言模型微调

  丽莎（Lisa）是针对大语言模型的一种新颖且记忆效率的训练策略，在优化过程中选择性冻结层，超过了诸如洛拉（Lora）的现有方法。查看丽莎以获取更多详细信息。
  在LMFlow中，在训练命令中使用-use_lisa 1激活LISA。用-lisa_activated_layers 2控制激活层的数量，并使用-lisa_step_interval 20调整冻结层间隔。

• 洛拉

  洛拉（Lora）是一种参数效率的芬特算法，比全面填充更有效。查看Finetuning-Lora以获取更多详细信息。

• 闪存

  LMFlow支持Flashattention-1和最新的Flashattention-2。查看flash_atections，以获取更多详细信息。

• 梯度检查点

  梯度检查点是一种内存优化技术，可将计算的计算用于内存。当模型太大而无法适应GPU内存时，这很有用。仅将其添加到您的培训命令中来使用它。

• 深速零3

  LMFlow支持DeepSpeed Zero-3卸载。我们提供了一个示例深速配置，您可以直接使用它。

• Llama推断CPU

  多亏了Llama.cpp的巨大努力。每个人都有可能通过4位量化在CPU上运行自己的Llama模型。我们提供一个脚本将Llama Lora权重转换为.pt文件。您只需要在llama.cpp中使用convert-pth-to-ggml.py来执行量化。

• 闪存

  LMFlow支持Flashattention-1和最新的Flashattention-2。查看flash_atections，以获取更多详细信息。

• vllm

  尝试VLLM快速，易于使用的LLM推理和服务。感谢您的出色工作！

• 骆驼模型的位置插值

  现在， LMFlow支持Llama模型的最新线性和NTK（神经内核理论）缩放技术。查看Postion_interpolation有关更多详细信息。

• 词汇扩展

  现在，您可以训练自己的句子令牌，并将其与Model的Origin HF Tokenizer合并。查看vocab_extension有关更多详细信息。

• 多模式聊天机器人

  LMFlow支持图像和文本的多模式输入。查看我们的LMFlow多模式聊天机器人。

• 自定义优化

  LMFlow现在支持各种优化器的自定义优化器培训。通过量身定制的优化策略来提升模型的性能。深入了解详细信息，并在Custom_optimizers上使用我们更新的脚本尝试新功能。

  下表评估了自定义优化器在羊驼数据集上GPT-2的微调过程中的性能，从而强调了他们的个人对培训损失的影响。特定的超参数设置利用默认配置，可以在custom_optimizers上自定义和调整。重要的是要注意，评估是在0.1个时期内进行的，以提供对优化者有效性的初步见解。

  优化器名称	火车损失
  RMSPROP	2.4016
  狮子-32位	2.4041
  亚当	2.4292
  Adamp	2.4295
  adamw	2.4469
  afactor	2.4543
  Adabound	2.4547
  Adamwschedulefree	2.4677
  阿丹	2.5063
  纳达姆	2.5569
  适应性	2.5857
  Adamax	2.5924
  radam	2.6104
  阿达德尔塔	2.6298
  Adagrad	2.8657
  瑜伽士	2.9314
  诺维格拉德	3.1071
  索菲亚	3.1517
  羊肉	3.2350
  拉斯	3.3329
  sgdschedulefree	3.3541
  SGDP	3.3567
  SGD	3.3734