SFT 实操笔记：LLaMA-Factory + Qwen2.5-1.5B

环境

• 本地：RTX 4060 Laptop 8GB
• 框架：LLaMA-Factory 0.9.5
• 模型：Qwen2.5-1.5B-Instruct
• 数据：alpaca_gpt4_zh（48818条，取子集）

五次对比实验

实验	rank	lr	samples	epoch	loss
exp1 基准	8	1e-4	1000	1	1.486
exp2 加数据+epoch	8	1e-4	10000	3	1.406
exp3 大rank	32	1e-4	1000	1	1.476
exp4 大lr	8	5e-4	1000	1	1.475
exp5 过大lr	8	5e-3	1000	1	1.999

结论

samples + epoch 是最有效的旋钮，其他超参在数据量不足时边际收益极低。

rank 翻4倍可训练参数翻4倍，训练开销翻4倍，1000条数据下loss只降0.01，性价比低。通用指令跟随任务rank=8足够。

lr 安全范围 5e-5 到 2e-4，1e-4是常用好参数。5e-3出现剧烈震荡，最终loss=1.999，推理输出出现编号错乱、内容重复等格式损坏症状。

踩坑

• Windows PowerShell 没有 grep，用 Select-String
• pip 默认装 CPU 版 PyTorch，需手动指定 cu128
• OOM内存溢出 时降低 batch_size，用 gradient_accumulation 补偿，总 batch size 不变
• dataset_info.json 注册本地数据集时路径用正斜杠 /