大模型微调实战（二）：训练数据集准备的艺术与科学

技术分享 10个月前 (05-17) 0 999+

在上一篇文章中，我分享了使用ModelScope Swift框架微调Qwen2.5-Coder模型的完整过程。今天，我将深入探讨微调过程中最关键的环节之一：训练数据集的准备策略。

前言

在上一篇文章中，我们详细讲解了如何利用ModelScope Swift框架对Qwen2.5-Coder模型进行微调，打造了一个TA404前端开发助手。然而，微调过程中最具挑战性的部分其实是训练数据集的设计与准备。事实上，数据集的质量往往比模型结构更能决定最终的效果。

经过一段时间的实践和思考，我总结出了一套更系统化的数据集准备方法论，希望能够帮助正在探索大模型微调的开发者们少走弯路。

一、微调数据集准备的关键洞察

通过多次实验，我发现大模型训练数据集的准备过程可以归纳为几个关键洞察：

1. 保留基础能力是首要原则

在早期实验中，我犯了一个典型错误：只使用特定领域的数据集进行微调。结果模型成功学习了TA404框架的用法，但却丧失了正常的对话能力，无法输出原有的认知信息。

# 错误示例：只使用单一领域数据集 swift sft    --model Qwen/Qwen2.5-Coder-0.5B-Instruct    --dataset '/mnt/e/projects/pythonProject/ta404-dataset-gen/training-data.jsonl'    # 缺少通用能力数据集

经验教训：必须在自己准备的私有数据集中混合公开的通用数据集，以避免让原有的模型能力丢失。这就像教专业知识时不能让学生忘记基础常识一样。

2. 推理能力需要特殊训练

如果数据集中不包含推理过程，模型将难以为新知识生成合理的推理链条。简单地说，如果你只给模型"问题-答案"对，而没有展示"思考过程"，那么模型可能会记住答案但不理解解题思路。

// 不好的示例：缺乏推理过程 {   "instruction": "如何使用TA404的表格组件实现行选择功能？",   "input": "",   "output": "使用ta-table组件的rowSelection属性可以实现行选择。" }  // 更好的示例：包含推理过程 {   "instruction": "如何使用TA404的表格组件实现行选择功能？",   "input": "",   "output": "要实现表格的行选择功能，需要考虑以下几点：n1. TA404框架中，表格组件是ta-tablen2. 行选择功能通过rowSelection属性控制n3. 需要定义selectedRowKeys来存储选中的行键值nn具体实现代码如下：n```vuen<template>n  <ta-tablen    :columns="columns"n    :dataSource="data"n    :rowSelection="{selectedRowKeys: selectedRowKeys, onChange: onSelectChange}"n  />n</template>nn<script>nexport default {n  data() {n    return {n      selectedRowKeys: [],n      columns: [...],n      data: [...]n    }n  },n  methods: {n    onSelectChange(selectedRowKeys) {n      this.selectedRowKeys = selectedRowKeys;n    }n  }n}n</script>n```" }

二、分阶段微调策略

基于上述洞察，我设计了一种分阶段微调策略，既能保证模型学习新知识，又能维持原有能力：

第一阶段：学习框架的"语言"和"模式"

这个阶段的目标是让模型熟悉特定领域的代码结构、API用法和常见模式。

关键做法：将生成环境的代码直接包装成微调数据集

我们可以简单地将已有的Vue组件代码作为输出结果，指令部分则是通用的学习引导：

{   "instruction": "你是一位熟悉Vue 2.7和名为'ta404'的私有UI框架的前端开发专家。你的任务是学习如何基于'ta404'框架来编写Vue 2.7组件。请仔细分析以下提供的组件代码。",   "input": "这是一个Vue 2.7组件，它使用了'ta404'框架。该组件的原始文件路径是'src/components/UserProfile.vue'。",   "output": "<template>n  <ta-card title="用户信息">n    <ta-form :model="form" layout="vertical">n      <ta-form-item label="用户名">n        <ta-input v-model="form.username" placeholder="请输入用户名" />n      </ta-form-item>n      <!-- 其他表单项 -->n    </ta-form>n  </ta-card>n</template>nn<script>nexport default {n  data() {n    return {n      form: {n        username: ''n      }n    }n  }n}n</script>" }

有人可能会质疑：训练数据的指令（"学习这段代码"）和实际使用时的提示词（"根据这个需求生成代码"）存在差异，这样有效吗？

答案是：在很多情况下，这样做是可行的，并且是微调过程中的常见做法。原因在于：

现代大语言模型在预训练阶段已具备强大的指令理解和代码生成能力
通过大量接触特定框架的代码示例，模型能够内化这些知识，并在需要时应用
模型学习的是"ta404的词汇和语法"，而测试时则是要求它"用这些词汇写作文"

这种方法的优势在于数据准备成本低，可以直接利用已有的代码库，无需额外的人工标注。

第二阶段：提升应用能力

如果第一阶段后发现模型对指令的理解或应用能力不足，可以进入第二阶段：使用人工专家或顶级大模型进行知识蒸馏。

具体做法是：

设计一系列实际使用场景中的指令（如"创建一个带分页的用户列表页面"）
由领域专家或强大的大模型（如GPT-4、Claude等）生成高质量的回答
将这些"指令-回答"对作为新的训练数据

{   "instruction": "创建一个Vue 2.7组件，使用ta404-card展示用户信息，包含姓名和邮箱字段。用户信息通过名为'userData'的prop传入。",   "input": "",   "output": "以下是使用ta404框架的Vue 2.7组件，展示用户信息：nn```vuen<template>n  <ta-card title="用户详情" :bordered="false">n    <ta-descriptions :column="1">n      <ta-descriptions-item label="姓名">n        {{ userData.name }}n      </ta-descriptions-item>n      <ta-descriptions-item label="邮箱">n        {{ userData.email }}n      </ta-descriptions-item>n    </ta-descriptions>n  </ta-card>n</template>nn<script>nexport default {n  props: {n    userData: {n      type: Object,n      required: true,n      default: () => ({n        name: '',n        email: ''n      })n    }n  }n}n</script>n```nn这个组件接收一个名为`userData`的prop，它应该是一个包含`name`和`email`字段的对象。组件使用`ta-card`作为容器，内部使用`ta-descriptions`展示用户的详细信息。" }

这部分数据集虽然规模较小，但质量极高，能够有效引导模型学习如何将领域知识应用到实际问题中。

三、混合数据集的比例选择

一个常见问题是：私有数据集和通用数据集的比例应该是多少？经过多次实验，我总结出以下经验：

50:50比例：当私有知识不复杂，且样本充足时
30:70比例（私有:通用）：当私有知识较为专业，但希望保持较强的通用能力时
70:30比例：当极度专注于特定领域能力，且可以接受一定程度的通用能力损失时

在我的TA404助手案例中，采用了约40:60的比例，确保模型既能理解TA404框架的特性，又能保持良好的对话和推理能力。

swift sft    --model Qwen/Qwen2.5-Coder-0.5B-Instruct    --dataset '/mnt/e/projects/pythonProject/ta404-dataset-gen/training-data.jsonl'   # 私有数据集               'swift/self-cognition#500'   # 通用能力数据集   # 其他参数

四、训练过程监控与防过拟合

数据集准备好后，训练过程的监控同样重要。一个常见的陷阱是模型过拟合，导致无法泛化到新问题。

如何识别过拟合？

及时分析训练日志是识别过拟合的关键。以下是一些典型的过拟合信号：

训练损失持续下降，但验证损失开始上升
模型对训练数据中的问题回答极其精确，但对稍有变化的问题表现糟糕
输出中出现训练数据的直接复制，而非理解后的生成

# 训练日志片段（正常） Epoch 1/3: Train Loss: 1.243, Eval Loss: 1.193 Epoch 2/3: Train Loss: 0.892, Eval Loss: 0.878 Epoch 3/3: Train Loss: 0.714, Eval Loss: 0.742  # 训练日志片段（过拟合） Epoch 1/3: Train Loss: 1.243, Eval Loss: 1.193 Epoch 2/3: Train Loss: 0.892, Eval Loss: 1.215 Epoch 3/3: Train Loss: 0.515, Eval Loss: 1.897  # 验证损失显著上升，可能过拟合

防止过拟合的策略

早停（Early Stopping）：当验证损失连续多次上升时停止训练
降低学习率：使用较小的学习率如5e-5
增加正则化：调整lora_dropout参数（Swift框架中默认为0.1）
减少训练轮次：对于小数据集，1-2个epoch通常足够

五、数据集准备工具与流程自动化

为了提高数据集准备的效率，我开发了一套半自动化工具，主要功能包括：

代码扫描器：自动扫描项目中的Vue组件，并转换为训练数据格式
数据增强器：基于现有样本生成变体，增加数据多样性
质量检查器：识别并修复数据集中的潜在问题（如格式错误、指令不明确等）

核心实现代码示例：

import os import json import re from pathlib import Path  def scan_vue_files(project_path):     """扫描项目中的所有Vue文件并提取组件代码"""     training_data = []     for vue_file in Path(project_path).glob("**/*.vue"):         relative_path = vue_file.relative_to(project_path)         with open(vue_file, "r", encoding="utf-8") as f:             vue_content = f.read()                      # 创建训练数据项         data_item = {             "id": f"vue-component-{len(training_data)}",             "instruction": "你是一位熟悉Vue 2.7和名为'ta404'的私有UI框架的前端开发专家。你的任务是学习如何基于'ta404'框架来编写Vue 2.7组件。请仔细分析以下提供的组件代码。",             "input": f"这是一个Vue 2.7组件，它使用了'ta404'框架。该组件的原始文件路径是'{relative_path}'。",             "output": vue_content         }         training_data.append(data_item)          return training_data  def save_training_data(data, output_file):     """将训练数据保存为JSONL格式"""     with open(output_file, "w", encoding="utf-8") as f:         for item in data:             f.write(json.dumps(item, ensure_ascii=False) + "n")  # 使用示例 project_path = "/path/to/your/ta404/project" output_file = "training-data.jsonl"  training_data = scan_vue_files(project_path) save_training_data(training_data, output_file) print(f"生成了{len(training_data)}条训练数据")

这套工具极大地提高了数据准备效率，使我能够专注于数据质量而非繁琐的格式转换工作。

六、实战案例分析：TA404助手数据集优化

在开发TA404前端助手的过程中，我经历了三次数据集迭代：

第一版数据集：纯代码示例

直接将项目中的Vue组件转换为训练数据
问题：模型掌握了语法但缺乏应用能力

第二版数据集：增加应用场景

针对常见开发需求，编写具体问答对
增加了如何使用TA404组件解决实际问题的示例
改进：模型能够处理简单的开发需求

第三版数据集：融入最佳实践

加入了错误处理、性能优化等高级主题
包含常见问题排查和解决方案
效果：模型能够提供更全面的开发建议，不仅仅是代码生成

以下是第三版数据集中的一个示例：

{   "instruction": "在TA404框架中，如何优化包含大量数据的表格组件性能？",   "input": "",   "output": "在TA404框架中优化大数据量表格性能需要考虑多个方面：nn1. **使用虚拟滚动**nTA404的表格组件支持虚拟滚动，可以显著提升大数据量表格的渲染性能：nn```vuen<template>n  <ta-tablen    :columns="columns"n    :dataSource="largeDataSource"n    :scroll="{ y: 500 }"n    :virtual="true"n    :row-key="record => record.id"n  />n</template>n```nn关键点是设置`:virtual="true"`和合适的`scroll`属性。nn2. **按需加载数据**n实现分页或无限滚动，每次只加载部分数据：nn```vuen<template>n  <ta-tablen    :columns="columns"n    :dataSource="pagedData"n    :pagination="{n      current: current,n      pageSize: pageSize,n      total: totalCount,n      onChange: handlePageChangen    }"n  />n</template>nn<script>nexport default {n  data() {n    return {n      current: 1,n      pageSize: 10,n      totalCount: 1000,n      pagedData: []n    }n  },n  methods: {n    handlePageChange(page, pageSize) {n      this.current = page;n      this.loadData(page, pageSize);n    },n    loadData(page, pageSize) {n      // 从API加载指定页的数据n      this.loading = true;n      fetchPagedData(page, pageSize).then(res => {n        this.pagedData = res.data;n        this.loading = false;n      });n    }n  },n  created() {n    this.loadData(this.current, this.pageSize);n  }n}n</script>n```nn3. **避免不必要的响应式数据**n对于不需要响应式的大型数据集，使用`Object.freeze()`：nn```jsndata() {n  return {n    // 冻结大型数据，防止Vue为每个属性创建getter/settern    staticOptions: Object.freeze([...大量静态选项...])n  }n}n```nn4. **使用函数式组件渲染表格行**n对于表格行可以考虑使用函数式组件：nn```jsnconst TableRow = {n  functional: true,n  render(h, ctx) {n    const { props } = ctx;n    return h('tr', {}, [n      // 渲染单元格n    ]);n  }n};n```nn5. **合理使用`v-show`替代`v-if`**n对于频繁切换显示状态但DOM结构复杂的内容，使用`v-show`而非`v-if`可以避免频繁的DOM重建。nn实施这些优化后，即使是上万条数据的表格也能保持流畅的用户体验。" }