DataFlex：构建在 LLaMA-Factory 之上的以数据为中心的动态训练系统
输入“/”快速插入内容
DataFlex：构建在 LLaMA-Factory 之上的以数据为中心的动态训练系统
DataFlex：构建在 LLaMA-Factory 之上的以数据为中心的动态训练系统
用户2893用户2893
用户5442用户54426月16日修改
1. 引言
准备高质量的训练数据集只是大语言模型训练过程的一部分。一旦训练开始，另一个重要问题就值得我们关注：模型接下来应该看到和利用哪些样本？近期的一些工作表明，根据模型当前状态动态调整训练数据通常可以提升训练性能。尽管这些方法已经展示出很有前景的结果，但到目前为止，它们大多散落在彼此割裂的仓库中，每个仓库都有自己的约定和入口。
DataFlex 的开发目标，是把这些动态数据中心训练策略带入一个直接构建在 LLaMA Factory 之上的统一框架。DataFlex 专注于控制整个训练过程中呈现给模型的数据。通过为数据选择（data selection）、数据混合（data mixture）和数据重加权（data reweighting）方法提供通用接口，DataFlex 让复现现有研究结果和实验新的训练策略变得更加容易。
在本教程中，我们将通过一个实际案例，演示如何将 DataFlex 与 LESS 选择器结合使用，以便在监督微调（SFT）过程中从 OpenHermes 数据集中动态选择训练样本。
2. DataFlex 概览
DataFlex 的整体架构：DataFlex 位于 LLaMA Factory 训练循环之上，并添加了动态数据选择器、混合器和加权器
DataFlex 是一个 以数据为中心（Data-Centric）的 AI 训练系统，搭建于 LLaMA Factory 之上，可使用 DataFlow 作为上游数据处理工具。LLaMA Factory 负责训练中的模型侧内容（加载器、训练器、deepspeed 接线、导出），而 DataFlex 关注训练器在每一步被喂入什么，也就是哪些样本处于激活状态、跨领域数据以什么比例出现，以及每个样本带有什么样的权重。
DataFlex 背后的动机很简单：目前已经出现了越来越多的讨论模型训练时的动态数据选择方法的工作，但复现和比较它们仍然困难，因为每种方法只都在自己的训练框架内实现。DataFlex 通过提供一个统一、可扩展的系统来解决这一问题，使得不同方法可以通过共同接口进行配置和评估。
2.1 安装
最简单的方式是直接从 PyPI 一行命令安装：
代码块
pip install dataflex
如果用于开发，或者你想修改源码，可以选择可编辑安装方式：
代码块
git clone https://github.com/OpenDCAI/DataFlex.git
cd DataFlex
pip install -e .
2.2 DataFlex 架构概览
DataFlex 直接构建在 LLaMA Factory 之上，并复用了 LLaMA Factory 中的大部分训练栈，包括模型加载器、SFT / LoRA 训练器、DeepSpeed 与 Accelerate 相关配置，以及模型导出工具。DataFlex 并不会重新实现这些训练能力，而是在此基础上新增了一组可以在训练步骤之间作用于训练数据的 components。
•
Selectors 用于决定训练语料中哪些样本会在当前步骤参与训练。它们可以依据损失、验证集梯度相似度，或与目标分布之间的距离等信号来选择数据子集。
•
Mixers 用于控制训练过程中来自多个领域的数据比例。这类组件实现的是会随训练过程动态调整的课程学习和领域均衡策略。
•
Weighters 用于为 batch 内的每个样本分配不同的 loss 权重。这样一来，更“有信息量”的样本可以在梯度更新中发挥更大作用，同时又不需要修改磁盘上的原始数据集。
从实现机制上看，DataFlex 在 LLaMA Factory 的 YAML 配置中新增了一个 dynamic_train 部分，在 src/dataflex/configs/components.yaml 中注册各类组件，并提供自己的 dataflex-cli train 入口。这个入口会包装 LLaMA Factory 原有训练循环，并在合适的 hook 点插入用户选择的动态数据组件。因此，对用户来说，一个 DataFlex YAML 配置基本上就是一个普通 LLaMA Factory YAML，只是额外添加了一个 dynamic_train 部分。如果去掉这个部分，整个运行就会退回到标准 LLaMA Factory 训练流程。
2.3 DataFlex 组件目录
根据 DataFlex 组件在训练循环中扮演的角色，可以对它们进行如下的分组：
•
Data Selection 决定在训练的某个阶段使用训练语料中的哪些样本。DataFlex 当前包含基于梯度影响的方法，例如 LESS 和 NICE；基于损失的方法，例如 Loss 和 DeltaLoss；基于分布的方法，例如 NEAR 和 TSDS；以及 Static 和 Random 等基线策略。
•
Data Mixture 控制训练过程中如何组合来自多个领域的数据。这类方法不会让各领域数据比例始终固定，而是会随着训练推进动态调整每个领域的采样比例。当前实现包括 DoReMi 和 ODM：前者使用参考模型估计不同领域的重要性，后者在训练过程中进行在线领域再均衡。
•
Data Reweighting 保持当前参与训练的数据集合不变，但改变每个样本对梯度更新的贡献程度。当前实现中包含一个 Loss-based reweighter，同时框架也预留了统一接口，方便后续接入其他重加权策略。
3. 一个端到端的示例：在 OpenHermes 数据集上利用 DataFlex-LESS 进行训练
3.1 输入与配置
在本教程中，我们使用 LESS 作为数据选择组件。对于一次 LESS 运行我们只需要准备三类内容：训练语料、一个用于计算影响分数的小型验证集，以及一份连接 LLaMA Factory 训练设置与 DataFlex dynamic_train 配置的 YAML 文件。训练语料和验证集都放在 data/ 目录下，YAML 配置放在 configs/ 目录下。
代码块
my_less_run/
├── data/
│ ├── dataset_info.json # standard LLaMA Factory dataset registry
│ ├── openhermes.json # training corpus
│ └── mmlu_val.json # validation set used for the influence score
└── configs/
└── less_llama70b.yaml # the only file you actually edit
dataset_info.json 遵循 LLaMA Factory 对注册数据集要求的标准格式。训练 YAML 中引用到的 dataset 和 eval_dataset 都必须能够通过这个文件解析出来。如果把数据放在 DataFlex 仓库内部，也可以通过 DataFlex/data/dataset_info.json 完成解析。
3.2 训练配置
下面是一份完整的在 Llama-3.1-70B 上执行 LESS 方法的训练配置。文件的大部分内容都与标准 LLaMA Factory SFT\-LoRA 配置一致，包括模型、训练方法、数据集和输出目录等部分。唯一与 DataFlex 相关的部分是 dynamic_train，它负责启用训练过程中的动态数据选择。
代码块
### model
model_name_or_path: meta-llama/Llama-3.1-70B
trust_remote_code: true
### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
lora_rank: 16
lora_alpha: 32
deepspeed: examples/deepspeed/ds_z3_config.json
### dataset
dataset: openhermes_10k
template: llama3
cutoff_len: 4096
overwrite_cache: true
preprocessing_num_workers: 16
seed: 42
### output
output_dir: ../dataflex_saves/Llama-3.1-70B/less_setting2
logging_steps: 10
save_steps: 100
plot_loss: true
overwrite_output_dir: true
### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 1
learning_rate: 1.0e-4
num_train_epochs: 1.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000
### dynamic_train
train_type: dynamic_select
components_cfg_file: src/dataflex/configs/components.yaml
component_name: less
warmup_step: 100
update_step: 200
update_times: 3
eval_dataset: mmlu_val